本地跑开源模型：Ollama 加 Qwen 或 DeepSeek

这篇适合谁

这篇适合想在自己的电脑上跑开源大模型，并让代码通过本地接口调用它的读者。读完你能装好 Ollama，在终端里和模型对话，再用 Python 请求本地服务。

Ollama 是什么

Ollama 是在自己硬件上下载和运行语言模型的工具，由一个服务端和一个命令行客户端组成。ollama 命令与服务端通信，需要时可以用 ollama serve 手动启动服务。项目同时提供 Docker 镜像 ollama/ollama，适合习惯用容器的读者。^[1][7]

准备工作

先看硬件，它决定哪些模型跑得动。macOS 要求 macOS Sonoma（v14）或更新版本，以及 Apple M 系列或 x86 处理器，模型和配置保存在 ~/.ollama。^[5] Windows 要求 Windows 10 22H2 或更新版本，Home 或 Pro 版，API 服务地址是 http://localhost:11434。^[6] Nvidia 显卡需要计算能力 5.0 以上、驱动 550 或更新版本；Apple 显卡通过 Metal API 加速。^[13]

内存通常是最先卡住人的地方。快速开始用的 Gemma 小模型下载约 7.2 GB，官方建议 Mac 上有 8 GB 可用显存或统一内存。更大的上下文窗口还需要更多内存。^[2]

安装

按自己的系统选择安装方式。macOS 打开 ollama.dmg，把 Ollama 拖进系统的 Applications 文件夹，应用会询问是否把 ollama 命令链接到 /usr/local/bin。^[5] macOS 和 Linux 的一行安装命令是：^[1]

curl -fsSL https://ollama.com/install.sh | sh

Windows 在 PowerShell 里运行 irm https://ollama.com/install.ps1 | iex。^[1]

Linux 装好后，用 ollama -v 确认安装成功，再用 ollama serve 启动服务。^[7] 安装页还建议用系统服务运行它，服务文件放在 /etc/systemd/system/ollama.service，其中 ExecStart=/usr/bin/ollama serve。^[7] 要固定版本，同一页面用环境变量传入版本号：^[7]

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

Windows 想把模型放到别的盘，可以设置用户环境变量 OLLAMA_MODELS，或者用安装程序参数 OllamaSetup.exe /DIR="d:\some\location" 指定安装目录。^[6]

第一次运行模型

快速开始用一条命令运行一个小的 Gemma 模型：^[2]

ollama run gemma4:e2b

这条命令会下载模型并在本机打开对话，输入 /bye 退出。^[2] 只下载不对话用 ollama pull gemma4。命令行参考里的常用管理命令有：ollama ls 列出已安装的模型，ollama ps 查看已加载的模型，ollama stop gemma4 卸载模型，ollama rm gemma4 删除模型。^[3]

本文标题里的两个模型，Qwen3 和 DeepSeek-R1，在 Ollama 模型库里各有专门页面。^[14][15] 默认的 Qwen3 用下面的命令运行：^[14]

ollama run qwen3

模型库列出的大小：qwen3:0.6b 为 523MB，qwen3:1.7b 为 1.4GB，qwen3:4b 为 2.5GB，qwen3:8b 为 5.2GB；较大的版本有 qwen3:14b 为 9.3GB，qwen3:30b 为 19GB，qwen3:32b 为 20GB，qwen3:235b 为 142GB。页面一共列出 58 个模型。^[14]

DeepSeek-R1 用 ollama run deepseek-r1 运行，本地已有的旧版本可以用 ollama pull deepseek-r1 更新。^[15] 页面共列出 35 个模型。较小的蒸馏版本有 deepseek-r1:1.5b（1.1GB）、deepseek-r1:7b（4.7GB）、deepseek-r1:8b（5.2GB）和 deepseek-r1:14b（9.0GB）；最大的版本有 deepseek-r1:32b（20GB）、deepseek-r1:70b（43GB）和 deepseek-r1:671b（404GB）。^[15] 想在普通笔记本上试，可以从蒸馏版本开始，比如 ollama run deepseek-r1:7b。模型权重使用 MIT 许可证。^[15]

用代码调用

Ollama 在同一个端口上提供两套接口：原生接口在 http://localhost:11434/api 下，OpenAI 兼容接口在 http://localhost:11434/v1 下。^[8] 对话接口分别是 http://localhost:11434/api/chat 和 http://localhost:11434/v1/chat/completions。^[2]

兼容接口位于 /v1 下，所以 OpenAI 的 Python 客户端只要把 base_url 指向本地服务就能用。api_key 必须填，但本地服务会忽略它。^[9] 兼容页面的示例代码如下：^[9]

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama',  # required but ignored
)

responses_result = client.responses.create(
  model='qwen3:8b',
  input='Write a short poem about the color blue',
)
print(responses_result.output_text)

兼容接口包括 /v1/chat/completions、/v1/completions、/v1/models、/v1/embeddings 和 /v1/responses。如果某个工具必须使用 OpenAI 的模型名，可以用 ollama cp llama3.2 gpt-3.5-turbo 把模型复制成这个默认名称。^[9]

用 Modelfile 定制模型

Modelfile 是定制模型的蓝图，每行的格式是 INSTRUCTION arguments。FROM 是唯一必填的指令，其余可选指令有 PARAMETER、TEMPLATE、SYSTEM、LICENSE、MESSAGE、REQUIRES 和 CAPABILITY。^[4] 参考页给出的默认值是 num_ctx 为 2048、temperature 为 0.8。^[4]

一个基础例子设置了 PARAMETER temperature 1、PARAMETER num_ctx 4096，并加入一条 SYSTEM 消息，构建命令是 ollama create choose-a-model-name -f <location of the file e.g. ./Modelfile>。^[4]

要导入 GGUF 格式的模型文件，Modelfile 里写 FROM /path/to/file.gguf，然后执行 ollama create my-model。分享时用 ollama cp mymodel myuser/mymodel 复制，再用 ollama push myuser/mymodel 推送。^[10]

要为 OpenAI 兼容接口调整上下文长度，兼容页面的做法是在 Modelfile 里写 PARAMETER num_ctx <context size>，再执行 ollama create mymodel。^[9]

上下文长度和内存

Ollama 会根据显存决定默认上下文长度：显存不足 24 GiB 时为 4k，24 到 48 GiB 为 32k，48 GiB 及以上为 256k。要调大时，在启动服务前设置 OLLAMA_CONTEXT_LENGTH：^[11]

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

上下文越长，占用的内存越多。FAQ 说明，所需内存会随 OLLAMA_NUM_PARALLEL（默认为 1）和 OLLAMA_CONTEXT_LENGTH 增长。^[12]

模型默认在内存中保留 5 分钟。想提前卸载可以用 ollama stop，想调整保留时长则用 keep_alive 参数。^[12] 服务默认监听 127.0.0.1 的 11434 端口，也就是说只有同一台机器上的程序能访问它。^[12]

模型文件的存放位置：macOS 是 ~/.ollama/models，Linux 是 /usr/share/ollama/.ollama/models，Windows 是 C:\Users\%username%\.ollama\models。^[12]

限制和常见问题

模型体积差距很大。最小的 Qwen3 版本只有 523MB，而 qwen3:235b 要 142GB，deepseek-r1:671b 要 404GB。^[14][15] 选版本时，先看你的磁盘空间和内存，再看模型名。

显存不足 24 GiB 的机器，默认上下文只有 4k，处理长文档时可能不够。调大它会占用更多内存，见上一节。^[11][12]

硬件页列出的 GPU 条件是：Nvidia 需要计算能力 5.0 以上和 550 或更新的驱动，另外支持 Apple Metal 加速。显卡不在这些条件之内时，先查硬件页，再决定要不要指望 GPU 加速。^[13]

服务默认绑定 127.0.0.1，其他机器上的客户端不改这项设置就无法访问。^[12]

下一步

下一站是命令行参考，里面有完整的命令列表，还有 ollama launch claude --model qwen3.5 这样的集成启动方式。^[3] API 细节看 API 介绍和 OpenAI 兼容页面。^[8][9] 定制模型看 Modelfile 参考。^[4] 准备为更大的模型买硬件之前，先读一下硬件支持页面。^[13]