首页›原理
原理
原理
用通俗的话讲清 AI 怎么工作：从人工神经元到 Transformer、预训练和推理模型。
共 20 · 清除筛选
信息论把信息当作可以度量、编码和传输的量来研究的理论，奠基于香农 1948 年的论文；比特、熵与信道容量都是它给出的概念。图灵测试图灵测试是艾伦·图灵（Alan Turing）在1950年提出的一种替代方案：用一场游戏取代「机器能思考吗」这个问题——如果提问者分辨不出机器的书面回答与人的回答，机器就算通过。AI 寒冬AI 寒冬指人工智能研究经费与关注度大幅收缩的时期；该领域经历过多轮炒作与失望的循环，其中两次大收缩通常被定在 1974 至 1980 年和 1987 至 2000 年。Hopfield 网络John Hopfield 于 1982 年提出的循环神经网络，把模式存为能量函数的极小值，能从残缺或失真的输入回忆出完整模式，并让统计物理成为研究神经网络的常用工具。玻尔兹曼机玻尔兹曼机是一种用全局能量给每种网络配置打分、并用随机学习算法训练的神经网络。它由杰弗里·辛顿与特里·塞诺夫斯基提出，把能量模型带进了认知科学与机器学习。模仿学习模仿学习通过从专家示范中做监督学习来训练智能体完成任务，而不是靠反复试错。最基本的形式是行为克隆，最主要的弱点是分布偏移。主题模型主题模型把文档表示为主题的混合，用潜在主题为文本集合提供紧凑的统计描述；2003 年的 Latent Dirichlet Allocation 论文将这一思想形式化为分层贝叶斯模型。联结时序分类（CTC）联结时序分类（CTC）是一种训练循环神经网络为未切分序列（如语音、手写）打标签的方法，不需要逐帧对齐。它于 2006 年提出，用 CTC 训练的 LSTM 因此赢得了循环网络早期的国际竞赛。图神经网络图神经网络是为图结构数据设计的一类神经网络，节点之间通过传递消息更新各自的表示。自2009年这一模型被正式提出以来，它已成为图上学习的常用方法。深度神经网络声学建模深度神经网络声学建模用多层网络把语音映射为音素等单元。2010 年 NIPS 论文用深度信念网络与均值-协方差 RBM 提取语音特征，在 TIMIT 上取得 20.5% 音素错误率。Xavier / Glorot 初始化Xavier（Glorot）初始化是 Glorot 与 Bengio 在 2010 年提出的权重初始化方法，按层规模设定初始权重尺度，使信号稳定传播，让深层网络收敛更快。内容溯源（C2PA）内容溯源是附在文件里的来源与编辑记录，让别人能核查媒体从哪里来、经过了哪些改动。Adobe、Arm、BBC、Intel、Microsoft 和 Truepic 于 2021 年共同发起 C2PA 来制定这一标准。文本水印（Watermarking）文本水印是在语言模型生成的文字里嵌入一种人看不见、但程序能从一小段词元中检测出来的信号，用来判断一段文本是否出自某个模型。提示注入（Prompt injection）提示注入（prompt injection）指模型输入里的文字压过原本的指令和外围控制，让攻击者劫持整个应用；2023 年的研究进一步指出，恶意内容可以藏在应用自己检索到的资料里。开源人工智能定义（OSAID）开源人工智能定义（OSAID）是开源促进会于 2024 年 10 月发布的 1.0 版标准，规定一个模型要被称为开源，须公开设计与训练数据信息，并允许使用、修改和在此基础上继续开发。强化学习强化学习是机器学习与最优控制的一个分支：智能体在动态环境中通过试错，学习怎样的动作能让奖励信号最大化。多智能体系统多智能体系统由多个相互作用的智能体组成，能解决单个智能体难以完成的问题。近年以大型语言模型为内核的框架，让智能体之间直接对话协作，使这一方向重新受到关注。红队测试（Red teaming）红队测试（red teaming）指在模型部署前主动试探它，看它会不会做出有害或不被期望的行为。2022 年 Perez 等人提出用一个语言模型为另一个语言模型自动生成测试用例的方法，把这件事部分自动化了。越狱（Jailbreak）越狱（jailbreak）是用对抗性提示让经过安全训练的模型做出其训练本应阻止的行为。Wei 等人在 2023 年 7 月的一篇分析中，把这类失败归因于目标冲突与泛化不匹配两种失效模式。语义网语义网是 W3C 推动的一套标准与技术，用 RDF 和 OWL 描述数据，让不同应用、企业和社区能够共享和复用信息，并推动相关技术走向实用工具。