用大模型 API 做一个聊天应用

聊天是大多数用户第一次接触生成式 AI 的地方，做一个聊天应用，核心功课是三件事：什么该复用、什么该定制、上线后盯什么。这篇按这个顺序走一遍，从第一次 API 调用一直讲到运维指标。

先分清：聊天机器人还是 AI 聊天应用

这两个词经常混用，但设计决策完全不同。聊天机器人（chatbot）自动化特定的对话任务——回答常见问题、查快递——通常由规则逻辑或复杂 AI 算法驱动 ^[1]。AI 驱动的聊天应用则是大得多的环境：承载文字、语音、视频等多种沟通方式，它的标志性特征是内置生成式 AI 模型，能模拟细腻的类人对话、适应不断变化的对话上下文，甚至产出有创意的复杂对话 ^[1]。

落到差异上：聊天机器人任务导向、规则驱动，常常嵌在更大的系统里，功能受限于编程时写死的能力；生成式 AI 聊天应用懂上下文，可以同时托管一个或多个机器人，能进行开放领域的讨论 ^[1]。动手前先想清楚自己要做哪个——它决定了架构、团队技能和出错方式。

第一步：能用现成的就用现成的

动手前先评估市场上已有什么。基于文档完善的 SDK 和 API 来搭建，好处有四 ^[1]：开发更快、开销更低——精力留给业务逻辑而不是底层管道；性能更好——维护良好的 SDK 和 API 对「用户突然涌入怎么办」这类扩展性问题已有内置方案；维护更容易——新版本发布通常只需更新依赖库；还能用到最前沿的技术——在海量数据集上微调过的模型。

使用 SDK 或 API 通常要先用唯一的密钥或认证令牌拿到权限。Python 里第一次调用只要几行 ^[1]：

import os
from openai import OpenAI

API_KEY = os.getenv("OPENAI_API_KEY","")

client = OpenAI(
    api_key=API_KEY
    )

response = client.responses.create(model="gpt-5-mini", input="Suggest two titles for an instructional lesson on chat applications for generative AI.", store=False)
print(response.output_text)

这里用的是 GPT-5 mini 模型和 Responses API；密钥必须提前设置，否则调用会报错 ^[1]。

AI 给用户体验带来的三个新问题

通用 UX 原则照常适用，但机器学习组件带来三个特殊考虑 ^[1]：

1. 模糊性。生成式模型偶尔会给出含糊的回答，要给用户一个追问澄清的入口；
2. 上下文保留。模型能记住对话中的上下文，这对体验是加分项；让用户能控制和管理上下文更好，但保留敏感信息有风险——用保留策略（retention policy）在上下文需求和隐私之间找平衡；
3. 个性化。用户画像这类功能让交互更高效、更让人满意。ChatGPT 的「自定义指令」设置是典型例子：用户在资料里写明自己的专业背景，之后请求「讲讲链表」的教案时，系统会自动给出更有深度的版本，不用改提示 ^[1]。

系统消息（system message）是塑造模型行为的主要抓手。微软给出的系统消息写法框架覆盖四块：模型为谁服务、能力与限制是什么；输出格式是什么；用具体示例展示期望行为；再加上额外的行为护栏 ^[1]。

无障碍设计要当成显性需求而不是事后补充：视觉障碍要高对比度主题、可缩放文字、屏幕阅读器兼容；听觉障碍要语音转文字、文字转语音、音频通知的可视化提示；运动障碍要键盘导航和语音指令；认知障碍要简化语言选项 ^[1]。

领域定制：DSL 与微调

把聊天应用带进专业领域有两条路：用 DSL 模型（domain-specific language，领域专用模型，在特定领域的概念和场景上训练）和微调（fine-tuning，用特定数据继续训练模型）^[1]。DSL 的获取方式从从零训练、通过 SDK 和 API 用现成的，到把已有的预训练模型微调到特定领域，都有 ^[1]。

当预训练模型在专业领域力不从心时，微调才值得投入。医疗场景最能说明问题：一个给医生快速查治疗方案、药物相互作用、最新研究的应用，遇到高度复杂的病例会吃力——比如「耐药性癫痫患儿目前的管理最佳实践是什么」——也可能给不出纳入最新神经病学和药理学进展的答案 ^[1]。用专业医疗数据集微调能明显改善，但前提是拿得到大规模的相关数据集 ^[1]。

上线后盯哪些指标

质量必须量化。核心指标 ^[1]：正常运行时间（uptime）和响应时间；精确率（预测为正中真正为正的比例）、召回率（真正为正中被找出来的比例）和平衡两者的 F1 分数；困惑度（perplexity，模型预测的概率分布与真实分布的吻合程度）；用户满意度（一般靠问卷收集）；错误率；重训练周期（模型多久更新一次新数据）；异常检测。每个指标背后都有一个运维问题——怎么减少停机、什么触发重训练、出现异常怎么响应——值得在上线前就写清楚 ^[1]。

负责任的 AI 要放进同一个规划循环。微软的框架提出六项原则：公平（不因用户数据歧视）、可靠与安全（测试和故障保护）、隐私与安全（加密和数据保护）、包容（面向不同人群的易用界面）、透明（为 AI 的回答提供清晰的说明和理由）、问责（建立审计和改进 AI 决策的明确流程）^[1]。

本文改编自 Microsoft 开源课程《Generative AI for Beginners》第 7 课^[1]，原文以 MIT 许可证发布。