StableLM og er designet til effektivt at generere tekst og kode
Nyheden blev offentliggjort Stabilitet AI, virksomheden bag Stable Diffusion imaging AI-modellen, har annonceret den første af sit sæt StableLM-sprogmodeller.
Med det Stabilitet håber at kopiere virkningerne af sin open source-billedsyntesemodel Stabil diffusion, udgivet i 2022. Med forfining kunne StableLM bruges til at bygge et open source-alternativ til ChatGPT.
For dem, der ikke er bekendt med Stability AI, bør du vide, at dette er en London-baseret virksomhed, der positionerer sig som en open source-rival til OpenAI, en virksomhed, der udvikler kraftfulde, men proprietære kunstige sprogmodeller såsom ChatGPT.
Om StableLM
StableLM er navnet på familien af kunstige sprogmodeller skabt af Stability AI, som er tilgængelige som open source på GitHub under Creative Commons BY-SA-4.0-licensen. StableLM er en tekstgenereringsmodel der kan komponere menneskelig tekst og skrive programmer ved at forudsige det næste ord i en sekvens. Det bruger en teknik kaldet "chip forudsigelse" som involverer at gætte det næste ordfragment fra konteksten, som et menneske giver i form af et "hint".
Ligesom andre "små" LLM'er StableLM hævder at opnå lignende ydeevne som GPT-3-referencemodellen af OpenAI, mens du bruger langt færre generelle parametre (7 milliarder for StableLM mod 175 milliarder for GPT-3).
Udgivelsen af StableLM bygger på vores erfaring med tidligere open source-sprogmodeller med EleutherAI, et non-profit forskningscenter. Disse sprogmodeller inkluderer GPT-J, GPT-NeoX og Pythia-pakken, som blev trænet på open source-datasættet The Pile.
StableLM hævder at have lignende ydeevne som GPT-3, sprogmodellen, der driver ChatGPT, mens der bruges langt færre parametre (7 milliarder mod 175 milliarder). Parametre er variable, som modellen bruger til at lære af træningsdataene. At have færre parametre gør modellen mindre og mere effektiv, hvilket kan gøre det nemmere at køre på lokale enheder som smartphones og bærbare computere.
StableLM trænet på et nyt datasæt baseret på The Pile, indeholdende 1,5 billioner tokens, hvilket er omkring 3 gange størrelsen af The Pile. The Pile er et højkvalitets og mangfoldigt datasæt til træning af sprogmodeller.
Stability AI nævner, at skabelonerne allerede er tilgængelige i GitHub-lageret, og at der snart kommer et komplet hvidbog, og ser frem til at fortsætte samarbejdet med udviklere og forskere, når det udruller StableLM-pakken.
Derudover nævner de lanceringen af RLHF's åbne samarbejdsprogram og arbejdet med samfundsindsatser som Open Assistant for at skabe et open source-datasæt til AI-assistenter.
Sidst men ikke mindst, Når vi taler om Stability AI-udgivelser, kan vi også fremhæve, at det annoncerede beta-udgivelsen af SDXL (som står for Stable Diffusion Extra Large), en ny kunstig intelligens-model, der er i stand til at generere billeder ud fra tekstbeskrivelser. SDXL er den seneste tilføjelse til Stable Diffusion-pakken, som også inkluderer SD-, SDT- og SDC-modeller.
SDXL adskiller sig fra andre modeller i sin størrelse og kapacitet. Med 2300 milliarder parametre er SDXL mere end 2,5 gange større end den originale SD-model, som kun havde 890 mio. Disse yderligere parametre gør det muligt for SDXL at generere billeder, der bedre overholder komplekse mønstre. For eksempel kan SDXL producere læsbar tekst på billeder eller skabe slående realistiske portrætter af fiktive karakterer.
SDXL er i øjeblikket i betaversion i DreamStudio og andre populære billedbehandlingsapplikationer såsom NightCafe Creator. Som alle Stability AI-modeller vil SDXL snart blive frigivet som open source for optimal tilgængelighed. Stability AI annoncerer, at SDXL er tilladt til kommerciel og ikke-kommerciel brug, så længe du følger etiske og juridiske retningslinjer.
Endelig, hvis du er interesseret i at vide mere om det, kan du se detaljerne I det følgende link.