大模型应用的开发生命周期（LLMOps）

这篇适合谁、读完能做到什么

这篇适合已经做出第一个大模型原型、准备把它变成稳定产品的开发者，也适合需要规划 AI 项目流程的人。读完你能说出大模型应用的生命周期分为哪几步，知道每一步要做什么、用哪些指标衡量，以及 Microsoft 的 PromptFlow 和 Microsoft Foundry 能在哪些环节帮上忙。^[1]

为什么需要生命周期

AI 是一个发展很快的领域。一个 AI 应用上线以后，如果不持续监控、评估和改进，很快就会失去相关性，也可能变得不可靠。生成式 AI 生命周期就是为此设计的框架，它指导你开发、部署和维护一个生成式 AI 应用。^[1]

它还帮助你明确目标、衡量效果、找出挑战并落实解决方案，同时让应用符合所在领域和相关方的伦理与法律标准。按照这个框架，应用才能持续产生价值、让用户满意。^[1]

对于只做一次性实验的项目，不必把每个阶段都做得很重；但只要应用要长期服务用户，监控、评估和改进就不能省。生命周期更像一组取舍的依据，而不是一次走完的清单。^[1]

从 MLOps 到 LLMOps

传统的 AI 应用可以称为「ML 应用」，新一代的则称为「生成式 AI 应用」或「AI 应用」，名称变化反映了所用技术的变化。^[1]

大模型（LLM）是一种新工具，在分析和生成任务上能力很强，但它也改变了 AI 项目的组织方式。与传统的 MLOps 相比，LLMOps 更关注应用开发者，把集成作为重点，并以「模型即服务」（Models-as-a-Service）的方式使用模型。^[1]

大模型的生命周期多出了几项新要求：提示工程，提升质量的技术（如微调、RAG 和元提示），负责任 AI 的评估，以及新的评估指标。^[1]

对新手来说，可以这样区分两者：MLOps 主要围绕训练和部署自己的模型，重点是数据管道和训练结果；LLMOps 主要是基于别人提供的模型搭建应用，提示词、集成、质量和成本更受关注。^[1]

大模型应用的五个评估指标

大模型应用需要关注五个指标，可以作为上线前后的检查清单：

质量（Quality）：回答的质量如何。^[1]
危害（Harm）：是否符合负责任 AI 的要求。^[1]
诚实（Honesty）：回答有没有依据，内容是否合理、正确。^[1]
成本（Cost）：方案的预算。^[1]
延迟（Latency）：生成每个 token 的平均响应时间。^[1]

三个阶段：探索、构建、上线

生命周期的每一步并不是线性的，而是一组相互嵌套、反复迭代的循环，外面还有一个贯穿全程的大循环。为了理解它，可以先看三个主要阶段。^[1]

探索（Ideating/Exploring）：根据业务需求探索各种可能性。用 PromptFlow 做原型，测试这个思路是否足够高效，能否验证你的假设。^[1]
构建（Building/Augmenting）：在更大的数据集上评估方案，并实现微调和 RAG 等技术，检验方案的稳健性。如果不达标，可以重新实现，给流程增加步骤，或者重新组织数据。流程和规模都测试通过、指标达标后，才进入下一步。^[1]
上线（Operationalizing）：加入监控和告警系统，完成部署，并集成到应用中。^[1]

贯穿全程的是管理（Management）这个大循环，重点是安全、合规和治理。^[1]

可以把三个阶段看成一个不断转动的圈：探索阶段决定做什么，构建阶段决定做得够不够好，上线阶段决定能否稳定地服务用户。管理则让整个圈子在安全和合规的前提下运转。上线之后，监控和告警能及时发现质量下降或成本上升，让团队有机会回到构建阶段调整。^[1]

用什么工具

微软提供 Azure AI 平台和 PromptFlow，帮助你更容易地实现上面的循环。^[1]

Azure AI 平台可以让你使用 Microsoft Foundry。Microsoft Foundry（原名 Azure AI Studio）是一个网页门户，可以浏览模型、示例和工具，管理资源，使用图形化的界面开发流程，也可以用 SDK 或命令行做代码优先的开发。Azure AI 还允许你使用多种资源，管理运营、服务、项目、向量搜索和数据库。^[1]

PromptFlow 适合从概念验证一直做到大规模应用，具体可以这样用：