Ollama

Ollama 是什么

Ollama 是一个在自己电脑上运行和管理大语言模型（large language model，LLM）的程序，而不是把请求发给远程服务。它支持 macOS、Linux 和 Windows，可以用命令行界面操作，也可以由其他软件通过本地 REST 接口（API）调用。^[3]它用 Go 语言编写。^[3]

这里说的「本地」，指的是模型权重放在用户自己的硬盘上、计算发生在用户自己的硬件上。用户不必把提示词发给某家公司的服务器再等回复，而是在本机启动一个模型，直接得到答案。

由来

Ollama 由 Jeffrey Morgan 和 Michael Chiang 在 2023 年创建。^[3]项目的代码仓库 ollama/ollama 于 2023 年 6 月 26 日在 GitHub 上建立^[1]，第一个版本 v0.0.1 于 2023 年 7 月 8 日发布。^[2]代码以 MIT 许可证发布，这是一种宽松的开源许可证，允许他人复用和修改；仓库在 GitHub 上约有 18.6 万颗星标。^[1]

怎么工作

有两个设计选择决定了它的使用方式。

第一个是推理后端。Ollama 使用 llama.cpp 在本地完成模型推理。^[3]llama.cpp 是一个开源推理引擎，作用是让语言模型能在普通电脑上高效运行，包括没有数据中心加速卡的机器。也就是说，一台笔记本或者一台台式工作站就可以承担推理工作。

第二个是打包方式。Ollama 采用一种模型库（model library）格式，按名字拉取并运行模型的各个变体。^[3]实际用起来就是：用户报出一个模型的名字，工具去取回对应的变体并跑起来，而不需要自己去找权重文件、做格式转换、再手工搭一套服务。把模型名字和运行时放在同一个工具里，是它命令行体验简短的原因——说出模型名，就得到一个能用的模型。

为什么重要

Ollama 与本地大语言模型软件的兴起联系在一起，让用户能在自己的机器上运行 Llama、Gemma、Mistral、Qwen、gpt-oss、GLM、DeepSeek 等模型。^[3]

这件事有几层实际意义。模型在本地跑，意味着提示词和文档不必离开这台机器，适合处理私密或敏感材料；模型下载好之后，断网也能用；它还降低了试验成本——不必分别申请各家托管服务的接口，用户可以在同一台电脑上换用不同家族的模型，看它们在自己的任务上表现如何。由于同一套界面覆盖了许多不同的模型家族，选模型就变成了输入一个名字，而不是再装一套新软件。

从位置上看，这个项目处在几股趋势交汇的地方：许多机构公开发布的开放模型权重、高效的开源推理引擎，以及希望在自己的模型之上构建应用、又不完全依赖托管接口的开发者。Ollama 的贡献主要在于「管道」——提供一种统一的方式来获取、运行和管理模型——而不是新的建模研究。

局限

本地推理受运行它的那台机器限制。一个模型如果需要的内存超过电脑拥有的内存，就跑不好甚至跑不起来；在消费级硬件上，更大的模型通常比小模型回答得更慢。能舒舒服服装进笔记本的模型，规模一般比最大的托管系统要小，效果也可能有差别。下载、磁盘空间和版本管理，也仍然要用户自己操心。这些是「在本地跑模型」本身的约束，而不是某一个工具的毛病，它们也划定了这类软件的适用范围：私密使用、离线使用和试验，多于彻底取代大型托管服务。