StableLM und wurde entwickelt, um Text und Code effizient zu generieren
Die Nachricht wurde veröffentlicht Stabilitäts-KI, das Unternehmen hinter dem KI-Modell Stable Diffusion Imaging, hat das erste seiner Reihe von StableLM-Sprachmodellen angekündigt.
Mit ihm Stability hofft, die Effekte seines Open-Source-Bildsynthesemodells zu replizieren Stable Diffusion , veröffentlicht im Jahr 2022. Mit Verfeinerung könnte StableLM verwendet werden, um eine Open-Source-Alternative zu ChatGPT zu erstellen.
Für diejenigen, die mit Stability AI nicht vertraut sind, sollten Sie wissen, dass dies ein in London ansässiges Unternehmen ist, das sich als Open-Source-Rivale von OpenAI positioniert, einem Unternehmen, das leistungsstarke, aber proprietäre künstliche Sprachmodelle wie ChatGPT entwickelt.
Über StableLM
StabilLM ist der Name der Familie künstlicher Sprachmodelle, die von Stability AI erstellt wurden, die als Open Source verfügbar sind auf GitHub unter der Creative Commons BY-SA-4.0-Lizenz. StableLM ist ein Textgenerierungsmodell die menschlichen Text verfassen und Programme schreiben können, indem sie das nächste Wort in einer Sequenz vorhersagen. Es verwendet eine Technik namens „Chip-Vorhersage“. Dabei wird das nächste Wortfragment aus dem Kontext erraten, der von einem Menschen in Form eines „Hinweises“ bereitgestellt wird.
Wie andere "kleine" LLMs StableLM behauptet, eine ähnliche Leistung wie das GPT-3-Referenzmodell zu erreichen von OpenAI bei weitaus weniger allgemeinen Parametern (7 Milliarden für StableLM gegenüber 175 Milliarden für GPT-3).
Die Veröffentlichung von StableLM baut auf unseren Erfahrungen mit früheren Open-Source-Sprachmodellen bei EleutherAI, einem gemeinnützigen Forschungszentrum, auf. Zu diesen Sprachmodellen gehören GPT-J, GPT-NeoX und die Pythia-Suite, die auf dem Open-Source-Datensatz The Pile trainiert wurden.
StabilLM behauptet, eine ähnliche Leistung wie GPT-3 zu haben, das Sprachmodell, das ChatGPT antreibt, während weitaus weniger Parameter verwendet werden (7 Milliarden gegenüber 175 Milliarden). Parameter sind Variablen, die das Modell verwendet, um aus den Trainingsdaten zu lernen. Weniger Parameter machen das Modell kleiner und effizienter, was die Ausführung auf lokalen Geräten wie Smartphones und Laptops erleichtern kann.
StabilLM trainiert auf einem neuen Datensatz basierend auf The Pile, mit 1,5 Billionen Token, was etwa der dreifachen Größe von The Pile entspricht. The Pile ist ein hochwertiger und vielfältiger Datensatz zum Trainieren von Sprachmodellen.
Stability AI erwähnt, dass die Vorlagen bereits im GitHub-Repository verfügbar sind und dass bald ein vollständiges Whitepaper erscheint, und freut sich auf die weitere Zusammenarbeit mit Entwicklern und Forschern bei der Einführung der StableLM-Suite.
Darüber hinaus erwähnen sie den Start des RLHF Open Collaboration Program und die Zusammenarbeit mit Community-Bemühungen wie Open Assistant, um einen Open-Source-Datensatz für KI-Assistenten zu erstellen.
Zu guter Letzt, Apropos Stabilitäts-KI-Veröffentlichungen: Wir können auch hervorheben, dass sie angekündigt wurden die Beta-Version von SDXL (was für Stable Diffusion Extra Large steht), ein neues Modell der künstlichen Intelligenz, das Bilder aus Textbeschreibungen generieren kann. SDXL ist die neueste Ergänzung der Stable Diffusion-Suite, die auch SD-, SDT- und SDC-Modelle umfasst.
SDXL unterscheidet sich von anderen Modellen durch seine Größe und Fähigkeiten. Mit 2300 Milliarden Parametern ist SDXL mehr als 2,5-mal größer als das ursprüngliche SD-Modell, das nur 890 Millionen hatte. Diese zusätzlichen Parameter ermöglichen es SDXL, Bilder zu erzeugen, die komplexen Mustern besser entsprechen. SDXL kann beispielsweise lesbaren Text auf Bildern erzeugen oder verblüffend realistische Porträts fiktiver Charaktere erstellen.
SDXL befindet sich derzeit in der Betaversion von DreamStudio und anderen beliebten Imaging-Anwendungen wie NightCafe Creator. Wie alle Stability AI-Modelle wird SDXL bald als Open Source für optimale Zugänglichkeit veröffentlicht. Stability AI gibt bekannt, dass SDXL freizügig für die kommerzielle und nichtkommerzielle Nutzung lizenziert ist, solange Sie ethische und rechtliche Richtlinien befolgen.
Wenn Sie mehr darüber erfahren möchten, können Sie die Details einsehen im folgenden Link.