首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 3 · 清除筛选
测试时计算（Test-time compute）测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。键值缓存（KV cache）键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。合成数据（Synthetic data）合成数据是由模型生成、而非从人或从网上收集的训练材料。phi-1 的实验显示，混入模型生成的「教科书」后，一个小规模代码模型也能在代码基准上取得不错的成绩，说明数据质量本身影响能力。