StableLM призначений для ефективного створення тексту та коду
Про це оприлюднили новину Стабільність ШІ, компанія, яка розробила модель штучного інтелекту зі стабільною дифузією, анонсувала першу зі свого набору мовних моделей StableLM.
З ним Stability сподівається відтворити ефекти своєї моделі синтезу зображень з відкритим кодом Стабільна дифузія, випущений у 2022 році. З доопрацюванням StableLM можна було б використовувати для створення альтернативи ChatGPT з відкритим кодом.
Для тих, хто не знайомий зі Stability AI, ви повинні знати, що це лондонська компанія, яка позиціонує себе як суперник із відкритим кодом OpenAI, компанії, яка розробляє потужні, але запатентовані штучні мовні моделі, такі як ChatGPT.
Про StableLM
StableLM це назва сімейства штучних мовних моделей, створених Stability AI, які доступні у відкритому доступі на GitHub за ліцензією Creative Commons BY-SA-4.0. StableLM — це модель генерації тексту який може складати людський текст і писати програми, передбачаючи наступне слово в послідовності. Він використовує техніку під назвою «передбачення мікросхем» який передбачає вгадування наступного фрагмента слова з контексту, наданого людиною у вигляді «підказки».
Як і інші «малі» LLM StableLM стверджує, що досягає подібної продуктивності до еталонної моделі GPT-3 OpenAI, використовуючи набагато менше загальних параметрів (7 мільярдів для StableLM проти 175 мільярдів для GPT-3).
Випуск StableLM спирається на наш досвід роботи з попередніми моделями мови з відкритим кодом у EleutherAI, некомерційному дослідницькому центрі. Ці мовні моделі включають GPT-J, GPT-NeoX і пакет Pythia, які були навчені на наборі даних з відкритим кодом The Pile.
StableLM стверджує, що має подібну продуктивність до GPT-3, мовна модель, яка підтримує ChatGPT, використовуючи при цьому набагато менше параметрів (7 мільярдів проти 175 мільярдів). Параметри – це змінні, які модель використовує для навчання з навчальних даних. Менша кількість параметрів робить модель меншою та ефективнішою, що полегшує її роботу на локальних пристроях, таких як смартфони та ноутбуки.
StableLM навчався на новому наборі даних на основі The Pile, містить 1,5 трильйона токенів, що приблизно в 3 рази перевищує розмір The Pile. Pile — це високоякісний і різноманітний набір даних для навчання мовних моделей.
Стабільність ШІ зазначає, що шаблони вже доступні в сховищі GitHub і що незабаром з’явиться повний білий документ, і сподівається на продовження співпраці з розробниками та дослідниками під час розгортання набору StableLM.
Крім того, вони згадують про запуск відкритої програми співпраці RLHF і співпрацю з спільнотою, як-от Open Assistant, для створення набору даних з відкритим кодом для помічників AI.
Не в останню чергу, Говорячи про випуски Stability AI, ми також можемо відзначити, що він анонсував бета-версія SDXL (що розшифровується як Stable Diffusion Extra Large), нова модель штучного інтелекту, здатна генерувати зображення з текстових описів. SDXL є останнім доповненням до набору Stable Diffusion, який також включає моделі SD, SDT і SDC.
SDXL відрізняється від інших моделей своїми розмірами та можливостями. Маючи 2300 мільярда параметрів, SDXL більш ніж у 2,5 рази перевищує оригінальну модель SD, яка мала лише 890 мільйонів. Ці додаткові параметри дозволяють SDXL створювати зображення, які краще відповідають складним шаблонам. Наприклад, SDXL може створювати читабельний текст на зображеннях або створювати вражаюче реалістичні портрети вигаданих персонажів.
SDXL наразі перебуває в бета-версії DreamStudio та інших популярних програм для обробки зображень, таких як NightCafe Creator. Як і всі моделі Stability AI, SDXL незабаром буде випущено з відкритим кодом для оптимальної доступності. Стабільність AI оголошує, що SDXL має дозволену ліцензію на комерційне та некомерційне використання, якщо ви дотримуєтеся етичних і правових вказівок.
Нарешті, якщо вам цікаво дізнатися більше про це, ви можете ознайомитися з деталями У наступному посиланні.