TellWorldAI 世界档案
问档案English

首页›实践›实践

实践

在 Hugging Face 上通过 OpenRouter 调用开源模型

语言模型请求改由 OpenRouter 路由,代码不用改;费用计入 Hugging Face 账单,自带的 provider key 不能再用。

这篇适合谁,改了什么

如果你已经通过 Hugging Face 调用开源权重模型,这篇讲的是 Inference Providers 把语言模型请求改由 OpenRouter 路由之后,有哪些地方变了。代码不用改,但路由、计费和 API key 的用法都不一样了。读完你应该知道怎样选路由策略,怎样控制由哪些供应商提供服务,以及怎样查看花费去了哪里。

请求现在怎么走

语言模型请求现在经过 OpenRouter 转发。它会根据每次调用时的实时价格、速度和可靠性选择供应商;如果第一个供应商失败,就换另一个重试[1]。改动之前,Inference Providers 对每个请求只选一个供应商,失败时直接返回那个供应商的错误[1]。

路由支持 OpenAI 的 Chat Completions 和 Responses API,以及 Anthropic 的 Messages API,所有聊天模型都适用,不论背后是哪家供应商[1]。官方提供了 Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的接入指南[1]。

怎么选路由策略

默认策略是在价格、速度和可靠性之间选出最佳组合[1]。想换策略,就在模型 ID 后面加后缀[1]:

zai-org/GLM-5.3            # default: best mix of price, speed and reliability
zai-org/GLM-5.3:fastest    # highest throughput
zai-org/GLM-5.3:cheapest   # lowest price
zai-org/GLM-5.3:novita     # only Novita

:fastest 选吞吐量最高的,:cheapest 选价格最低的。供应商后缀如 :novita,则只把请求发给那家供应商[1]。

路由背后是什么

OpenRouter 每月处理超过 800 万亿(800 trillion)个 token,服务超过 1000 万用户,覆盖 600 多个模型、80 多家供应商[1]。它重建了供应商路由,让每个请求去往价格、速度和可靠性组合最好的供应商,而不是只看最低标价[1]。

供应商变慢或开始失败时,流量会先从它那里移开,直到它恢复。失败的尝试会在同一次调用里转给下一个最优供应商重试[1]。OpenRouter 自己的测量显示,新路由把容量错误减少了 46%,首 token 时间改善 16.9%,吞吐量提升 16.3%[1]。

让一段对话固定在同一个供应商

路由会考虑缓存:一段对话会留在持有其提示缓存的供应商上[1]。想让这一点更明确,就为每段对话发送一个稳定的 UUID,放在 X-HF-Session-Id 请求头里[1]。

价格和额度

价格不变。你按供应商的标价在 Hugging Face 账单上付费,Hugging Face 不加价[1]。PRO 用户每月获得 2 美元额度;Team 和 Enterprise 组织每个席位获得 2 美元额度[1]。

查看是哪家供应商提供的服务

在模型页面,Providers 标签页列出 OpenRouter 能把该模型路由到的全部供应商,显示每家的输入、输出价格,以及过去 24 小时内的速度和可用率[1]。Metrics 标签页则比较这些供应商里的最优价格、吞吐量、首 token 时间、上下文长度和可用率[1]。用量概览会按每个请求实际去往的供应商拆分花费[1]。

在设置里,可以关闭任意供应商,路由不会再把请求发给它。组织的设置对所有记在组织名下的请求都生效[1]。

自带的 API key 不能再用于这些模型

这是一处破坏性变更。语言模型请求记在你的 Hugging Face 账户或组织名下,所以这些模型再也不能使用你自己的供应商 API key[1]。仍然可以用 model:provider 后缀指定供应商,或在设置里关闭供应商,代码本身不用改[1]。图像和视频供应商的自定义 key 仍然有效[1]。

图像、视频和音频没有变

图像、视频和音频生成仍然直接经过 Hugging Face Inference Providers,不经过 OpenRouter[1]。同一个 Hugging Face token 也可以用于 Storage Buckets、Jobs 和 Inference Endpoints[1]。

开源权重模型为什么流量在涨

开源权重模型平均便宜约四倍:每百万输入 token 0.28 美元,输出 1.62 美元;闭源模型分别是 1.27 美元和 6.36 美元[1]。在 OpenRouter 上,开源权重模型的 token 占比从 2025 年 10 月的 26.8% 升到 2026 年 9 月底的 71.7%[1]。

下一步

把 OpenRouter 账号连接到 Hugging Face 是合作的下一步,之后还会有更多任务通过 OpenRouter 路由[1]。

来源

  1. 1

引用本页: 在 Hugging Face 上通过 OpenRouter 调用开源模型. TellWorld, https://www.tellworld.net/zh/practice/practice-hf-inference-openrouter. 更新于 2026-11-18

相关动态