谷歌发布 5400 亿参数的 PaLM
2022 年 4 月 4 日,Google Research 发布 5400 亿参数的 PaLM,它在 6144 块 TPU v4 芯片上借助 Pathways 系统训练,多步推理表现出色,在 BIG-bench 上超过人类平均水平。
共 1,098
2022 年 4 月 4 日,Google Research 发布 5400 亿参数的 PaLM,它在 6144 块 TPU v4 芯片上借助 Pathways 系统训练,多步推理表现出色,在 BIG-bench 上超过人类平均水平。
本田的人形机器人 ASIMO 于 2022 年 3 月 31 日正式退役,最后一场定期演示在本田东京总部展厅举行;本田表示今后将专注远程操控的化身机器人。
2022 年 3 月 22 日,英伟达在 GTC 发布 Hopper 架构及首款 GPU H100,主打为 Transformer 模型设计的 Transformer 引擎。
《互联网信息服务算法推荐管理规定》由四部门联合发布,2022年3月1日起施行,要求服务提供者建立用户注册、发布审核、数据安全等制度,禁止诱导沉迷的模型和操纵榜单。
EleutherAI 于2022年2月2日宣布 GPT-NeoX-20B,2月9日发布权重。模型采用 Apache 2.0 许可证,团队称其为研究制品。
2022 年 2 月 7 日,英伟达与软银集团宣布终止 Arm 收购交易,理由是监管障碍。软银保留 12.5 亿美元预付款并筹备 Arm 上市,英伟达保留 20 年授权。
2022 年 2 月 2 日,DeepMind 发布 AlphaCode,它能以竞赛水平编写计算机程序,在 10 场 Codeforces 比赛中的平均排名位于参赛者的前 54%。
2022 年 1 月 27 日,OpenAI 发布 InstructGPT,这是一组借助人类反馈训练、更能听懂用户指令的 GPT-3 改进模型。此后,这些模型成为 OpenAI API 的默认模型。
2021 年 12 月 23 日,百度与鹏城实验室发布 2600 亿参数的 ERNIE 3.0 Titan,作者称其为当时最大的中文稠密预训练模型,并在 68 个自然语言处理数据集上超过已有最优结果。
2021 年 12 月 21 日,Hugging Face 收购 Gradio。它是一个用 Python 搭建机器学习模型网页演示的库,被收购时已有超过 30 万个演示。
2021年12月8日,DeepMind 连发三篇语言模型论文:2800亿参数的 Transformer 模型 Gopher、梳理 21 项伦理与社会风险的调查,以及从大型文本数据库检索段落的 RETRO。
NVIDIA 与微软于 2021 年 10 月 11 日公布 5300 亿参数的 Megatron-Turing NLG,两家公司称其为同类中最大、最强的模型;完整报告于 2022 年 1 月发布。
2021 年 8 月 19 日,特斯拉在首届 AI Day 上公布人形机器人概念,称其将接手危险、重复、枯燥的工作;同场还展示了纯视觉自动驾驶、D1 训练芯片与 Dojo 超级计算机。
2021年8月10日,小米发布四足仿生机器人 CyberDog(昵称铁蛋),工程探索版售价9999元、全球限量1000台,首轮400名用户参与内测。
2021 年 8 月 10 日,OpenAI 通过 API 以非公开测试发布改进版 Codex,一个在公开代码上微调的 GPT 模型,它驱动了 GitHub Copilot。
2021年8月,AI21 Labs 推出开发者平台 AI21 Studio 与 Jurassic-1 大语言模型。其中最大的 Jumbo 拥有 1780 亿参数,开发者可通过接口或网页试验场使用。
2021 年 7 月 15 日,蛋白质设计研究所发布 RoseTTAFold,把代码放到 GitHub 并开放公共网页服务器,使准确的结构预测对所有人可用。
2021 年 7 月,《自然》(Nature)发表了 DeepMind 的 AlphaFold2 论文。该系统可根据氨基酸序列预测蛋白质三维结构,DeepMind 随后公开代码并推出免费数据库。
2021 年 7 月 5 日,百度研究人员在 arXiv 发布 ERNIE 3.0 论文:模型有 100 亿参数,在纯文本加知识图谱上训练,把自编码与自回归网络结合起来,在 54 项中文任务和 SuperGLUE 上取得领先成绩。
2021 年 6 月 29 日,GitHub 宣布推出 Copilot 技术预览版,这是一款由 OpenAI Codex 驱动的 AI 结对编程工具,可建议整行或整个函数。