云计算 产品

vLLM 是一个开源的大语言模型服务系统，建立在 PagedAttention 之上，用操作系统管理虚拟内存的思路管理 KV 缓存。论文报告在时延相同的情况下，其吞吐是此前服务系统的 2-4 倍。

Amazon SageMaker 是 AWS 于 2017 年推出的全托管机器学习服务，把托管笔记本、分布式训练和可扩展的推理端点打包在一起，各组件也可以单独使用。

Hugging Face Hub是人们分享机器学习模型、数据集和演示应用的平台，到2026年9月已有300多万个模型和1800多万用户。

OpenAI API 是 OpenAI 面向开发者的商业平台，2020 年 6 月 11 日随 GPT-3 公布，后逐步发展为构建 AI 智能体的平台。

OpenRouter 是大语言模型的交易市场与网关，2023 年初上线，让开发者通过一个接口调用多家供应商的数百个模型。官方称其月处理 700 万亿以上 token，全球用户超过 1000 万。

Amazon Bedrock 是 AWS 的托管服务，用于调用多家公司的基础模型，2023年4月宣布，同年9月正式可用，后加入 Nova 与 AgentCore。

TensorRT-LLM 是 NVIDIA 的开源库，用于在 NVIDIA GPU 上加速和优化大语言模型推理，2023 年 10 月 19 日公开发布，可从 GitHub 免费获取，也随 NVIDIA NeMo 提供。

SGLang 是一个用于高效执行复杂语言模型程序的系统，由前端语言和运行时组成；它复用键值缓存、加速结构化输出解码，论文报告在评测负载上吞吐最高达到当时先进推理系统的 6.4 倍。

Kiro 是亚马逊云科技的智能体集成开发环境，2025 年 7 月发布。它先从一条提示词生成用户故事、设计文档和任务清单，再进入写代码的环节，这种方式被称为「规格驱动开发」。

Apache MXNet 是开源深度学习库，同时提供符号式与命令式写法，可运行在手机到 GPU 集群上，并有 8 种语言接口。论文由陈天奇、李沐等人在 2015 年 12 月发布。

Amazon Q 是 AWS 推出的面向工作的生成式 AI 助手。2023 年 11 月 28 日在 re:Invent 大会上以预览形式发布，2024 年 4 月 30 日以 Amazon Q Business 正式可用。