首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 7 · 清除筛选
LoRA（低秩适配）LoRA（低秩适配）是一种高效微调方法：冻结预训练模型权重，只训练新加入的低秩矩阵，从而大幅减少可训练参数与显存开销，效果接近全量微调。Llama 社区许可证Llama 社区许可证是 Meta 为 Llama 3 模型定制的授权协议：允许免费使用和修改，但附带用途限制、署名义务和按用户规模设定的门槛，因此不符合通常意义上的开源定义。测试时计算（Test-time compute）测试时计算指模型答题时额外投入的算力，而非训练阶段已固化在参数中的算力。Snell 等人 2024 年 8 月的研究表明，按题目难度分配这份算力，能让小模型在同等总计算量下胜过大得多的模型。开源人工智能定义（OSAID）开源人工智能定义（OSAID）是开源促进会于 2024 年 10 月发布的 1.0 版标准，规定一个模型要被称为开源，须公开设计与训练数据信息，并允许使用、修改和在此基础上继续开发。键值缓存（KV cache）键值缓存把模型为先前 token 算出的键和值保存下来，生成新词时直接复用而不重算。它的显存占用是决定一台服务器能同时服务多少请求的关键。合成数据（Synthetic data）合成数据是由模型生成、而非从人或从网上收集的训练材料。phi-1 的实验显示，混入模型生成的「教科书」后，一个小规模代码模型也能在代码基准上取得不错的成绩，说明数据质量本身影响能力。语义网语义网是 W3C 推动的一套标准与技术，用 RDF 和 OWL 描述数据，让不同应用、企业和社区能够共享和复用信息，并推动相关技术走向实用工具。