StableLM og er designet for å effektivt generere tekst og kode
Nyheten ble sluppet at Stabilitet AI, selskapet bak Stable Diffusion imaging AI-modellen, har annonsert den første av sitt sett med StableLM-språkmodeller.
Med det Stabilitet håper å gjenskape effektene av sin åpen kildekode-bildesyntesemodell Stabil diffusjon, utgitt i 2022. Med foredling kan StableLM brukes til å bygge et åpen kildekode-alternativ til ChatGPT.
For de som ikke er kjent med Stability AI, bør du vite at dette er et London-basert selskap som posisjonerer seg som en åpen kildekode-rival til OpenAI, et selskap som utvikler kraftige, men proprietære kunstige språkmodeller som ChatGPT.
Om StableLM
StableLM er navnet på familien av kunstige språkmodeller laget av Stability AI, som er tilgjengelig som åpen kildekode på GitHub under Creative Commons BY-SA-4.0-lisensen. StableLM er en tekstgenereringsmodell som kan komponere menneskelig tekst og skrive programmer ved å forutsi neste ord i en sekvens. Den bruker en teknikk kalt "chipprediksjon" som innebærer å gjette neste ordfragment fra konteksten gitt av et menneske i form av et "hint".
Som andre "små" LLM-er StableLM hevder å oppnå lignende ytelse som GPT-3-referansemodellen av OpenAI mens du bruker langt færre generelle parametere (7 milliarder for StableLM mot 175 milliarder for GPT-3).
Utgivelsen av StableLM bygger på vår erfaring med tidligere åpen kildekode-språkmodeller med EleutherAI, et non-profit forskningssenter. Disse språkmodellene inkluderer GPT-J, GPT-NeoX og Pythia-pakken, som ble trent på åpen kildekode-datasettet The Pile.
StableLM hevder å ha lignende ytelse som GPT-3, språkmodellen som driver ChatGPT, samtidig som den bruker langt færre parametere (7 milliarder mot 175 milliarder). Parametre er variabler som modellen bruker for å lære av treningsdataene. Å ha færre parametere gjør modellen mindre og mer effektiv, noe som kan gjøre det enklere å kjøre på lokale enheter som smarttelefoner og bærbare datamaskiner.
StableLM trent på et nytt datasett basert på The Pile, som inneholder 1,5 billioner tokens, som er omtrent 3 ganger størrelsen på The Pile. The Pile er et høykvalitets og mangfoldig datasett for opplæring av språkmodeller.
Stability AI nevner at malene allerede er tilgjengelige i GitHub-depotet og at en fullstendig hvitbok kommer snart, og ser frem til å fortsette å samarbeide med utviklere og forskere når den ruller ut StableLM-pakken.
I tillegg nevner de lansering av det åpne samarbeidsprogrammet RLHF og arbeid med samfunnsinnsats som Open Assistant for å lage et åpen kildekode-datasett for AI-assistenter.
Sist men ikke minst, Når vi snakker om utgivelser av Stability AI, kan vi også fremheve at den annonserte betaversjonen av SDXL (som står for Stable Diffusion Extra Large), en ny kunstig intelligensmodell som er i stand til å generere bilder fra tekstbeskrivelser. SDXL er det siste tilskuddet til Stable Diffusion-pakken, som også inkluderer SD-, SDT- og SDC-modeller.
SDXL skiller seg fra andre modeller i størrelse og muligheter. Med 2300 milliarder parametere er SDXL mer enn 2,5 ganger større enn den originale SD-modellen, som bare hadde 890 millioner. Disse tilleggsparametrene lar SDXL generere bilder som bedre overholder komplekse mønstre. For eksempel kan SDXL produsere lesbar tekst på bilder eller lage slående realistiske portretter av fiktive karakterer.
SDXL er for øyeblikket i betaversjon i DreamStudio og andre populære bildebehandlingsapplikasjoner som NightCafe Creator. Som alle Stability AI-modeller, vil SDXL snart bli utgitt som åpen kildekode for optimal tilgjengelighet. Stability AI kunngjør at SDXL er tillatt lisensiert for kommersiell og ikke-kommersiell bruk, så lenge du følger etiske og juridiske retningslinjer.
Til slutt, hvis du er interessert i å vite mer om det, kan du se detaljene I den følgende lenken.