StableLM i està dissenyat per generar text i codi de manera eficient
Es va donar a conèixer la notícia que IA d'estabilitat, la companyia darrere del model d'IA de generació d'imatges Stable Diffusion, ha anunciat el primer del seu conjunt de models de llenguatge StableLM.
Amb això Stability espera repetir els efectes del model de síntesi d'imatges de codi obert Difusió estable, llançat el 2022. Amb refinament, StableLM podria utilitzar-se per construir una alternativa de codi obert a ChatGPT.
Per als que desconeixen de Stability AI, han de saber que aquesta és una empresa amb seu a Londres que es posiciona com un rival de codi obert d'OpenAI, una empresa que desenvolupa models de llenguatge artificial potents però patentats, com ara ChatGPT.
Sobre StableLM
StableLM és el nom de la família de models de llenguatge artificial creats per Stability AI, que estan disponibles com a codi obert a GitHub sota la llicència Creative Commons BY-SA-4.0. StableLM és un model de generació de text que pot compondre text humà i escriure programes en predir la següent paraula en una seqüència. Utilitza una tècnica anomenada «predicció de fitxes» que implica endevinar el següent fragment de paraula del context proporcionat per un humà en forma d'“indicació”.
Igual que altres LLM «petits» StableLM afirma assolir un rendiment similar al model de referència GPT-3 d'OpenAI mentre utilitza molts menys paràmetres generals (7 mil milions per a StableLM contra 175 mil milions per a GPT-3).
El llançament de StableLM es basa en la nostra experiència en models d'idioma anteriors de codi obert amb EleutherAI, un centre de recerca sense ànim de lucre. Aquests models de llenguatge inclouen GPT-J, GPT-NeoX i la suite Pythia, que es van entrenar al conjunt de dades de codi obert The Pile.
StableLM afirma tenir un rendiment similar al de GPT-3, el model de llenguatge que impulsa ChatGPT, mentre utilitza molts menys paràmetres (7 mil milions enfront de 175 mil milions). Els paràmetres són variables que el model fa servir per aprendre de les dades d'entrenament. Tenir menys paràmetres fa que el model sigui més petit i més eficient, cosa que pot facilitar la seva execució en dispositius locals com telèfons intel·ligents i ordinadors portàtils.
StableLM es va entrenar en un nou conjunt de dades basat en The Pile, que conté 1,5 bilions de tokens, que és aproximadament 3 vegades la mida de The Pile. The Pile és un conjunt de dades divers i d'alta qualitat per entrenar models de llenguatge.
Stability AI esmenta que les plantilles ja estan disponibles al repositori de GitHub i que properament estarà publicat un informe tècnic complet i espera seguir col·laborant amb desenvolupadors i investigadors a mesura que implementa la suite StableLM.
A més, esmenten que llancés el programa RLHF de col·laboració oberta i treballés amb els esforços de la comunitat, com Open Assistant, per crear un conjunt de dades de codi obert per als assistents d'IA.
Finalment i no menys important, parlant de llançaments de Stability AI, també podem destacar que va anunciar el llançament beta de SDXL (que vol dir Stable Diffusion Extra Large), un nou model d'intel·ligència artificial capaç de generar imatges a partir de descripcions textuals. SDXL és la darrera incorporació a la suite Stable Diffusion, que també inclou models SD, SDT i SDC.
SDXL es diferencia d'altres models en la mida i capacitats. Amb 2300 milions de paràmetres, SDXL és més de 2,5 vegades més gran que el model SD original, que només tenia 890 milions. Aquests paràmetres addicionals permeten que SDXL generi imatges que respectin millor les pautes complexes. Per exemple, SDXL pot produir text llegible en imatges o crear retrats de personatges ficticis amb un realisme sorprenent.
SDXL es troba actualment en versió beta a DreamStudio i altres aplicacions d'imatges populars, com NightCafe Creator. Com tots els models Stability AI, SDXL aviat es llançarà com a codi obert per a una accessibilitat òptima. Stability AI anuncia que SDXL ofereix una llicència permissiva per a ús comercial i no comercial, sempre que segueixi les pautes ètiques i legals.
Finalment si estàs interessat en poder conèixer més a l'respecte, pots consultar els detalls en el següent enllaç.