网易有道自研知识库问答引擎QAnything开源

学学看科技 2024-01-20 07:32:17

网易有道自研的知识库问答引擎 QAnything 正式开源:Q 是 question,A 是 answer,QAnything 的目标在于 “万物皆可问”。

除了可以调用云端大模型服务,还支持纯本地部署。系统支持 word、ppt、excel、pdf、图片等多种文档格式,直接导入进去即可像 "ChatGPT" 一样问答。

(QAnything 系统架构图)

QAnything 的主要原理是基于检索增强的生成(Retrieval Augmented Generation,简称 RAG)。作为有道自研的 RAG 引擎,QAnything 结合了用户私有数据和大模型的优势 —— 用户的任何内容,以任意的形式存在,比如各种格式的文档,音频,数据库等,都可以在 QAnything 的支持下,变成可以针对其内容进行问答的使用方式,通过这个技术框架用户可以很方便地搭建自己的智能知识助手。

值得一提的是,QAnything 是一套完整的 RAG 系统,包括专门优化的自研的 embedding 和 rerank 模型,微调后的 LLM,优化后的推理代码,向量数据库,以及一个立即上手可用的前端。所有的算法模型(包括 7B 大模型 + embedding/rerank+OCR)占用显存不超过 16G。

如今,QAnything 已在有道翻译文档问答、有道速读及有道内部业务的客服系统等多个产品中进行了应用。

公告表示,目前 QAnything 项目还在不断迭代,欢迎大家参与开发,并给予更多反馈。

0 阅读:4

学学看科技

简介:感谢大家的关注