AI21 Labs 推出 AI21 Studio 与 1780 亿参数的 Jurassic-1

背景

AI21 Labs 是一家以色列公司，此次发布把自己的模型开放给外部开发者。开发者平台是一套工具、文档与访问入口，让程序员无需自己训练模型，就能在模型之上开发产品。

发生了什么

2021年8月，AI21 Labs 推出 AI21 Studio 与 Jurassic-1 大语言模型^[2][1]。这次发布的公告日期为2021年8月4日，两者一同推出^[1]。公司对其中最大模型的描述是，它是当时面向开发者通用使用的规模最大、最为复杂的语言模型^[1]。

关键细节

最大的 Jurassic-1 Jumbo 拥有 1780 亿参数^[1]。参数是模型用来存储所学知识的可调数值，因此参数数量可以粗略反映模型的规模。这样规模的模型，运行时需要相当可观的算力。

模型使用约 25 万个词元（token）的词表。AI21 表示，这一词表至少是多数现有词表的5倍大，并且包含短语、命名实体等多词词元^[1]。词表越大，常见的多词表达就越可能被当作一个整体处理，而不必拆成许多小片段。

AI21 Studio 以公开测试版的形式开放，任何人都可以加入^[1]。开发者可以通过接口（API）或网页试验场使用这些模型^[1]。

影响

此次发布让 AI21 的模型走向了公司之外的开发者，也为其后来的产品线奠定了基础，其中包括 Jurassic-2 系列与 Jamba 系列。本条记录的是发布本身以及 AI21 当时给出的数据，之后的定价与模型变化见相应模型的条目。公开测试版（open beta）是尚未完全定型的产品向公众开放的早期版本，任何人都可以报名参加，用来试用并反馈意见。