LangChain框架的核心

云的事情不好说 2024-02-11 11:40:04

附图代表了LangChain框架的核心。位于堆栈顶部的应用程序通过Python或JavaScript SDK与LangChain的一个模块进行交互。

数据源

应用程序需要从外部源(如PDF、网页、CSV和关系数据库)检索数据,为LLM构建上下文。LangChain无缝集成了可以访问和检索来自不同来源的数据的模块。

词嵌入

从一些外部源检索的数据必须转换成向量。这是通过将文本传递给与LLM关联的词嵌入模型来完成的。例如,OpenAI的GPT-3.5模型有一个关联的词嵌入模型,需要使用它来发送上下文。LangChain根据选择的LLM选择最佳嵌入模型,消除了配对模型的猜测工作。

向量数据库

生成的嵌入被存储在向量数据库中,以进行相似性搜索。LangChain使得从各种来源(从内存数组到托管向量数据库如Pinecone)存储和检索向量变得容易。

大型语言模型

LangChain支持OpenAI、ChatGLM等主流LLM,以及Hugging Face上可用的开源LLM。支持的模型列表和API端点正在迅速增长。



0 阅读:4

云的事情不好说

简介:感谢大家的关注