StableLM,旨在高效地生成文本和代码
发布的消息是 稳定性人工智能, 稳定扩散成像人工智能模型背后的公司, 宣布了其第一套 StableLM 语言模型.
有了它 Stability希望复制其开源图像合成模型的效果 稳定扩散,于 2022 年发布。经过改进,StableLM 可用于构建 ChatGPT 的开源替代方案。
对于那些不熟悉 Stability AI 的人,您应该知道这是一家总部位于伦敦的公司,将自己定位为 OpenAI 的开源竞争对手,OpenAI 是一家开发强大但专有的人工语言模型(如 ChatGPT)的公司。
关于 StableLM
稳定LM 是 Stability AI 创建的人工语言模型家族的名称, 哪些是开源的 在 GitHub 上,知识共享 BY-SA-4.0 许可. StableLM 是一个文本生成模型 可以通过预测序列中的下一个单词来编写人类文本和编写程序. 它使用一种称为“芯片预测”的技术 这涉及从人类以“提示”的形式提供的上下文中猜测下一个单词片段。
像其他“小型”法学硕士一样 StableLM 声称可以实现与 GPT-3 参考模型相似的性能 OpenAI,同时使用更少的通用参数(StableLM 为 7 亿,GPT-175 为 3 亿)。
StableLM 的发布基于我们之前与非营利研究中心 EleutherAI 的开源语言模型的经验。 这些语言模型包括 GPT-J、GPT-NeoX 和 Pythia 套件,它们在开源数据集 The Pile 上进行了训练。
稳定LM 声称具有与 GPT-3 相似的性能, 为 ChatGPT 提供支持的语言模型,同时使用更少的参数(7 亿对 175 亿)。 参数是模型用来从训练数据中学习的变量。 参数越少,模型越小、效率越高,从而更容易在智能手机和笔记本电脑等本地设备上运行。
稳定LM 在基于 The Pile 的新数据集上训练, 包含 1,5 万亿个令牌,大约是 The Pile 大小的 3 倍。 The Pile 是用于训练语言模型的高质量和多样化的数据集。
Stability AI 提到模板已经在 GitHub 存储库中可用,完整的白皮书即将发布,并期待在推出 StableLM 套件时继续与开发人员和研究人员合作。
此外,他们还提到启动 RLHF 开放协作计划,并与 Open Assistant 等社区合作,为 AI 助手创建一个开源数据集。
最后但并非最不重要的, 说到 Stability AI 版本,我们还可以强调它宣布 的测试版 标清线 (代表 Stable Diffusion Extra Large),一种新的人工智能模型,能够从文本描述中生成图像。 SDXL 是 Stable Diffusion 套件的最新成员,该套件还包括 SD、SDT 和 SDC 模型。
SDXL 在尺寸和功能方面与其他型号不同。 SDXL 拥有 2300 亿个参数,比只有 2,5 亿个参数的原始 SD 模型大 890 倍以上。 这些附加参数允许 SDXL 生成更符合复杂模式的图像。 例如,SDXL 可以在图像上生成可读的文本或创建极其逼真的虚构人物肖像。
SDXL 目前在 DreamStudio 和其他流行的图像应用程序(如 NightCafe Creator)中处于测试阶段。 与所有 Stability AI 模型一样,SDXL 将很快作为开源发布以实现最佳可访问性。 Stability AI 宣布 SDXL 已获得商业和非商业用途的许可,只要您遵守道德和法律准则。
最后,如果你有兴趣了解更多,可以咨询详情 在下面的链接中。