StableLM ed è progettato per generare in modo efficiente testo e codice
La notizia è stata rilasciata IA di stabilità, la società dietro il modello AI per l'imaging a diffusione stabile, ha annunciato il primo dei suoi modelli di linguaggio StableLM.
Con esso Stability spera di replicare gli effetti del suo modello di sintesi di immagini open source Diffusione stabile, rilasciato nel 2022. Con il perfezionamento, StableLM potrebbe essere utilizzato per creare un'alternativa open source a ChatGPT.
Per coloro che non hanno familiarità con Stability AI, dovresti sapere che si tratta di un'azienda con sede a Londra che si posiziona come un rivale open source di OpenAI, un'azienda che sviluppa modelli di linguaggio artificiale potenti ma proprietari come ChatGPT.
Informazioni su StableLM
StabileLM è il nome della famiglia di modelli di linguaggio artificiale creati da Stability AI, che sono disponibili come open source su GitHub con licenza Creative Commons BY-SA-4.0. StableLM è un modello di generazione di testo che può comporre testo umano e scrivere programmi prevedendo la parola successiva in una sequenza. Utilizza una tecnica chiamata "previsione del chip" che implica indovinare il prossimo frammento di parola dal contesto fornito da un essere umano sotto forma di "suggerimento".
Come altri LLM "piccoli". StableLM afferma di ottenere prestazioni simili al modello di riferimento GPT-3 di OpenAI utilizzando molti meno parametri generali (7 miliardi per StableLM contro 175 miliardi per GPT-3).
Il rilascio di StableLM si basa sulla nostra esperienza con i precedenti modelli linguistici open source con EleutherAI, un centro di ricerca senza scopo di lucro. Questi modelli linguistici includono GPT-J, GPT-NeoX e la suite Pythia, che sono stati addestrati sul set di dati open source The Pile.
StabileLM afferma di avere prestazioni simili a GPT-3, il modello linguistico che alimenta ChatGPT, utilizzando molti meno parametri (7 miliardi contro 175 miliardi). I parametri sono variabili utilizzate dal modello per apprendere dai dati di addestramento. Avere meno parametri rende il modello più piccolo ed efficiente, il che può rendere più facile l'esecuzione su dispositivi locali come smartphone e laptop.
StabileLM addestrato su un nuovo set di dati basato su The Pile, contenente 1,5 trilioni di gettoni, che è circa 3 volte la dimensione di The Pile. The Pile è un set di dati diversificato e di alta qualità per l'addestramento di modelli linguistici.
Stability AI afferma che i modelli sono già disponibili nel repository GitHub e che presto sarà disponibile un white paper completo e non vede l'ora di continuare a collaborare con sviluppatori e ricercatori durante il lancio della suite StableLM.
Inoltre, menzionano il lancio del programma di collaborazione aperta RLHF e la collaborazione con gli sforzi della comunità come Open Assistant per creare un set di dati open source per gli assistenti AI.
Ultimo, ma non per importanza, Parlando delle versioni di Stability AI, possiamo anche evidenziare che ha annunciato la versione beta di SDXL (che sta per Stable Diffusion Extra Large), un nuovo modello di intelligenza artificiale in grado di generare immagini a partire da descrizioni testuali. SDXL è l'ultima aggiunta alla suite Stable Diffusion, che comprende anche i modelli SD, SDT e SDC.
SDXL si differenzia dagli altri modelli per dimensioni e capacità. Con 2300 miliardi di parametri, SDXL è più di 2,5 volte più grande del modello SD originale, che ne aveva solo 890 milioni. Questi parametri aggiuntivi consentono a SDXL di generare immagini che aderiscono meglio a schemi complessi. Ad esempio, SDXL può produrre testo leggibile su immagini o creare ritratti sorprendentemente realistici di personaggi immaginari.
SDXL è attualmente in versione beta in DreamStudio e altre popolari applicazioni di imaging come NightCafe Creator. Come tutti i modelli Stability AI, SDXL sarà presto rilasciato come open source per un'accessibilità ottimale. Stability AI annuncia che SDXL è concesso in licenza per uso commerciale e non commerciale, a condizione che tu segua le linee guida etiche e legali.
Infine, se sei interessato a saperne di più, puoi consultare i dettagli nel seguente link