LlamaIndex 通过定制的数据帮助我们构建由大型语言模型（LLMs）驱动的强大应用程序。

以下是其在不同阶段的功能细分：

第一阶段：数据加载（Data Loading）

这个阶段专注于将数据导入系统，以便大型语言模型（LLMs）使用。LlamaIndex 在这里提供两个关键功能：加载和转换。

加载：可以使用内置工具，如 SimpleDirectoryReader 用于本地文件，或利用 LlamaHub 社区开发的库从几乎任何来源摄取数据。

转换：加载后，可以使用转换处理数据。这包括将文本分割成句子或 Token 等日常操作。

第二阶段：索引（Indexing）

索引是将加载的数据组织起来以实现高效检索的过程。它允许 LlamaIndex 根据用户查询快速定位相关信息。这种索引能力对于检索增强生成（RAG）技术至关重要。LlamaIndex 提供灵活性，提供多种索引选项以匹配特定用例。

以下是一些最常见的选项：

向量存储索引（Vector Store Index）：这是最广泛使用的选择。它以数值表示（嵌入）存储数据，实现基于相似性的高效搜索。

摘要索引（Summary Index）：这种索引按顺序存储数据，非常适合基于信息顺序的直接检索。

树索引（Tree Index）：构建类似于家谱的层次结构。它通过从宽泛类别开始，逐步细化到具体细节，促进有组织的搜索。

关键词表索引（Keyword Table Index:）：从数据中提取关键词并创建映射。这允许基于查询中出现的关键词快速检索。

第三阶段：查询（Querying）

查询涉及从索引数据中检索信息。LlamaIndex 提供一个查询接口，处理索引数据上的输入提示，返回用相关数据增强的响应。

当提交一个查询时，LlamaIndex 根据它检索相关数据块（节点）。然后这些节点被送入响应合成模块，将其转换为人类可读的格式，本质上是制作答案。节点检索的方法取决于所选的索引。

以下是不同索引如何处理查询的介绍：

摘要索引（Summary Index）：这更简单。它按存储顺序检索节点，并提供基于相似性或关键词的高级过滤选项。

基于相似性（例如，VectorStoreIndex）：这种方法根据嵌入表示找到与查询最相似的节点。

导航式（Navigational）（例如，树索引）：这种方法遍历索引的层次结构，从更广泛的类别开始，根据查询逐步细化到具体内容。

基于关键词（Keyword-based）（例如，关键词表索引）：这种策略识别包含与查询搜索匹配的关键词的节点。

第四阶段：存储（Storage）

存储在管理和保留索引数据和嵌入以实现高效且成本效益的检索中至关重要。

当创建一个索引时，数据和嵌入以结构化格式存储。持久化这些索引将它们保存到存储介质（本地存储或数据库）以便重复使用，而无需每次都重新处理原始数据。这对于大型语言模型应用的效率和可扩展性至关重要。重建索引可能在计算上很昂贵，特别是对于大型数据集。持久化避免了这些重复成本，特别是对于像 LlamaIndex 可以利用的 OpenAI 的 GPT-4 API 这样的服务，它们根据 API 使用情况收费。

LlamaIndex 提供了一个灵活且强大的存储解决方案，具有高级接口。这个接口允许我们管理各种数据组件，包括：

文档存储（Document stores）：存储加载到系统中的原始数据对象。索引存储（Index stores）：LlamaIndex 保留与索引相关的元数据，确保它们有效运作。向量存储（特定于 VectorStoreIndex）：存储数据的数值表示（嵌入），用于相似性搜索。图存储（特定于属性图索引）：这个组件存储知识图本身，其中包含用于复杂查询的信息和连接。聊天存储（聊天应用程序）：如果正在构建聊天应用程序，LlamaIndex 提供专用的聊天消息存储，保持对话组织。

这种存储管理的灵活性确保数据安全且随时可供 LlamaIndex 利用。