这篇适合谁,读完能做到什么
这篇写给想在自己的机器或服务器上跑腾讯 Hy4 flash 的开发者。内容包括三条路线:用 Transformers 在本地加载做推理,用 vLLM 或 SGLang 把它部署成服务,再用 OpenAI 兼容的客户端调用。读完你应该能选对模型版本,知道推理开关是干什么的,也知道部署时最容易卡在哪里。
Hy4 flash 是什么
腾讯把 Hy4 flash 称为目前性价比最高的 Hy 模型[1]。它的总参数为 220B,其中包括 64B 的 Engram 参数,每个 token 只激活 12B 参数[1]。模型接受文本和图像输入,输出文本,上下文窗口最长为 1M 个 token,即 1,048,576 个[1]。
语言主干共 42 层,第一层是稠密前馈层,其余 41 层是混合专家(MoE)层。每个 token 会激活 512 个路由专家中的 16 个,外加一个共享专家[1]。注意力部分把稀疏注意力和滑动窗口注意力按 1:3 的比例交错排列[1]。图像部分的视觉编码器改自 SigLIP2-So400m-Patch16-Res512,通过一个 MLP 投影层接入主干[1]。
模型还内置了一个 5 层的草稿模型 DFly2,参数为 0.85B,用于投机解码[1]。
怎么选版本
Hy4 flash 在 Hugging Face、ModelScope 和 GitCode 上都有发布[1]。其中 Hy4 flash 是指令模型;Hy4 flash-FP8 是 FP8 量化的指令模型,下面的 vLLM 和 SGLang 示例用的都是它;Hy4 flash-base 是预训练的基座模型,不是对话模型,本文的示例不适用于它[1]。
模型采用腾讯 Hy 许可证发布,用在产品里之前,请先读许可证文件[1]。
推理模式和采样参数
指令模型的 reasoning_effort 有两个取值:"high" 是默认值,开启思考;"no_think" 直接给出回答[1]。腾讯推荐的采样参数是 temperature 0.9、top_p 1.0[1]。下面的示例都用 no_think,所以回答不带思考步骤[1]。
方式一:用 Transformers 加载
Hy4 flash 的支持还没有进入 Transformers 主分支。在合并之前,需要从一个 Pull Request 的提交安装[1]:
pip install "transformers[torch,vision] @ git+https://github.com/huggingface/transformers.git@refs/pull/50903/head"用模型 ID tencent/Hy4-flash 加载处理器和模型,示例中模型使用 device_map="auto"[1]:
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "tencent/Hy4-flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, device_map="auto")之后在 apply_chat_template 里传入 reasoning_effort="no_think",再用 max_new_tokens=256 调用 model.generate[1]。
方式二:用 vLLM 部署
生产环境部署,腾讯推荐 vLLM 或 SGLang[1]。vLLM 路线使用官方预构建镜像 vllm/vllm-openai:hy4-flash[1]。下面的命令加载 Hy4-flash-FP8,张量并行大小设为 8,所以照抄之前先核对自己的 GPU 数量。它还开启了 DFly 方式的投机解码,投机 token 数为 5,注意力后端选 FLASHMLA_SPARSE,在 8000 端口上以 hy4-flash 为名提供服务[1]。
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \
--tensor-parallel-size 8 \
--speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \
--attention-backend FLASHMLA_SPARSE \
--tool-call-parser hy_v4 \
--reasoning-parser hy_v4 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy4-flash方式三:用 SGLang 部署
SGLang 的镜像是 lmsysorg/sglang:hy4-flash,它是多架构镜像,x86 和 Arm 都能跑[1]。先拉取镜像,再用 sglang serve 启动服务。命令里有 --trust-remote-code,加载 tencent/Hy4-flash-FP8,张量并行 --tp 8,投机算法选 DFLY,block size 为 6,监听 127.0.0.1 的 8000 端口[1]。
docker pull lmsysorg/sglang:hy4-flash
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
lmsysorg/sglang:hy4-flash \
sglang serve \
--trust-remote-code \
--model-path tencent/Hy4-flash-FP8 \
--tp 8 \
--cuda-graph-backend-prefill disabled \
--speculative-algorithm DFLY \
--speculative-dfly-block-size 6 \
--host 127.0.0.1 \
--port 8000用 OpenAI 客户端调用
vLLM 服务起来以后,把 OpenAI 客户端的地址指向 http://127.0.0.1:8000/v1,API key 填 EMPTY[1]。模型名填 hy4-flash。如果想让某次请求关闭思考,就在 chat_template_kwargs 里把 reasoning_effort 设为 no_think[1]。
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="hy4-flash",
messages=[
{"role": "user", "content": "Hello! Can you briefly introduce yourself?"},
],
temperature=0.9,
top_p=1.0,
extra_body={"chat_template_kwargs": {"reasoning_effort": "no_think"}},
)
print(response.choices[0].message.content)投机解码和速度
DFly2 复用主模型的 KV cache,以及索引器选出的位置。腾讯称,无论上下文多长,每个草稿 token 的注意力最多只关注约 2000 个 key,不需要单独的 KV 显存,也不参与预填充阶段[1]。腾讯还称,结合 megakernel、4bit 量化和 DFly2,解码速度可以超过每秒 150 个 token[1]。
量化和测试
AngelSlim 是腾讯的模型压缩工具包,覆盖量化、低比特量化和投机采样等功能[1]。如果只想做端到端测试,腾讯还提供了一个 GGUF 压缩版本[1]。
微调
模型仓库里有一套微调流程,说明放在仓库的 finetune 目录中[1]。
常见问题
- Transformers 安装失败时,确认装的是那个 Pull Request 提交,而不是主分支,因为主分支目前还没有合并这部分支持[1]。
- 回答慢或太长时,先查推理开关。默认是
high,会开启思考;no_think才是直接回答[1]。 - vLLM 和 SGLang 的命令都把张量并行设为 8,GPU 数量少于 8 时要改这个值[1]。
下一步
部署细节可以分别参考腾讯指向的 vLLM 配方和 SGLang 指南[1]。
来源
- 1tencent/Hy4-flashTencent Hy (Hugging Face model card)
引用本页: 腾讯 Hy4 flash 本地部署:Transformers、vLLM 和 SGLang. TellWorld, https://www.tellworld.net/zh/practice/practice-hy4-flash-deploy. 更新于 2026-11-18