LlamaIndex

是什么

LlamaIndex 是一个开源的 Python 库，用来把大语言模型和用户手头的数据接起来——这些数据模型在训练时并没有见过。它主要服务于两类应用：检索增强生成（retrieval-augmented generation，RAG）和 AI 智能体（agent）。智能体指的是让模型自己决定要采取哪些动作、调用哪些工具，而不是只回答一个问题。项目代码托管在 GitHub 的 run-llama/llama_index 仓库，该仓库创建于 2022 年 11 月 2 日，采用 MIT 许可证，约有 5.3 万个 star。^[1]

它要解决的问题

要理解它存在的理由，先要理解 RAG 在做什么。语言模型只知道自己训练时读过的东西，加上这次对话里塞进提示词（prompt）的那部分文字，而提示词是有长度上限的。检索增强生成把这个任务拆成两步：先做检索，在一堆文档里找出和问题最相关的片段；再做生成，让模型只依据这些片段来回答。这样一来，模型不必一次装下整个资料库，只需要读几页为它挑出来的内容。

LlamaIndex 的起源于这个问题直接相关。GPT-3 无法可靠地处理私有或专有的数据，而它的上下文窗口（context window，即一次能考虑多少文字）只有 4096 个 token。^[2] 在文档集合上建一层索引，就是在提问时决定把私有资料中的哪几个小片段放到模型面前。

由来

LlamaIndex 最初是 Jerry Liu 在 2022 年底做的一个副业项目。他当时在 AI 安全创业公司 Robust Intelligence 担任机器学习工程经理，此前在 Uber 的自动驾驶部门做研究科学家。^[2] 他写了一个小型的索引工具，2022 年 11 月以 GPT Tree Index 的名字发布到 GitHub 上。^[2]

联合创始人与公司

Simon Suo 是 Liu 在 Uber 的前同事，后来在自动驾驶创业公司 Waabi 工作，他以联合创始人的身份加入 LlamaIndex。^[2] 公司在 2023 年 4 月正式注册成立，项目也更名为 LlamaIndex。^[2]

框架里有什么

作为一个框架，LlamaIndex 把这类应用所需的几块积木放在一起：数据连接器（data connector）负责从文档存放的地方把内容读进来；索引结构（index structure）把这些文档组织好，使得相关的片段之后还能被找出来；查询引擎（query engine）接收一个问题，返回由检索到的片段拼成的答案；面向智能体的编排原语（orchestration primitive）则支持模型调用工具、把多个步骤串起来。^[2] 把它们打包在一起之所以有用，是因为每一块单独做都很琐碎——把文档切成块、记住每一块来自哪里、判断检索到的文字还能不能塞进提示词，都是些容易出错的细节工作。

在领域中的位置

LlamaIndex 出现在围绕 RAG 形成的开源工具潮流的早期：2022 年 11 月它还只是一个人发布的小工具，到 2023 年 4 月已经变成一家注册成立的公司。^[2] MIT 许可证和仓库约 5.3 万个 star 说明，有相当多的开发者至少尝试过它。^[1] 它属于把「把自家文档放到模型面前」变成标准做法的这一类框架——在此之前，每个团队都得自己从头搭一遍。