StableLM i dizajniran je da efikasno generiše tekst i kod
To je objavljena vijest Stabilnost AI, kompanija koja stoji iza modela Stable Diffusion imaging AI, najavio je prvi od svog skupa StableLM jezičkih modela.
S tim Stability se nada da će replicirati efekte svog modela sinteze slika otvorenog koda stabilna difuzija, objavljen 2022. Uz usavršavanje, StableLM bi se mogao koristiti za izgradnju open source alternative ChatGPT-u.
Za one koji nisu upoznati sa Stability AI, trebali biste znati da je ovo kompanija sa sjedištem u Londonu koja se pozicionira kao open source rival OpenAI-ju, kompaniji koja razvija moćne, ali vlasničke modele umjetnog jezika kao što je ChatGPT.
O StableLM
StableLM je naziv porodice modela umjetnog jezika koje je stvorio Stability AI, koji su dostupni kao open source na GitHubu pod licencom Creative Commons BY-SA-4.0. StableLM je model generiranja teksta koji mogu sastavljati ljudski tekst i pisati programe predviđanjem sljedeće riječi u nizu. Koristi tehniku koja se zove "predviđanje čipova" što uključuje pogađanje sljedećeg fragmenta riječi iz konteksta koji je čovjek pružio u obliku „nagoveštaja“.
Kao i drugi "mali" LLM StableLM tvrdi da postiže slične performanse kao GPT-3 referentni model OpenAI dok koristi mnogo manje opštih parametara (7 milijardi za StableLM naspram 175 milijardi za GPT-3).
Izdanje StableLM se zasniva na našem iskustvu sa prethodnim modelima jezika otvorenog koda sa EleutherAI, neprofitnim istraživačkim centrom. Ovi jezički modeli uključuju GPT-J, GPT-NeoX i paket Pythia, koji su obučeni na skupu podataka otvorenog koda The Pile.
StableLM tvrdi da ima slične performanse kao GPT-3, jezički model koji pokreće ChatGPT, dok koristi mnogo manje parametara (7 milijardi naspram 175 milijardi). Parametri su varijable koje model koristi da uči iz podataka obuke. Manji broj parametara čini model manjim i efikasnijim, što može olakšati rad na lokalnim uređajima kao što su pametni telefoni i laptopi.
StableLM obučeni na novom skupu podataka zasnovanom na The Pile, koji sadrži 1,5 triliona tokena, što je oko 3 puta veće od The Pile. Pile je visokokvalitetan i raznolik skup podataka za obuku jezičnih modela.
Stability AI spominje da su predlošci već dostupni u GitHub repozitorijumu i da će uskoro biti objavljena potpuna bela knjiga, i raduje se nastavku saradnje sa programerima i istraživačima dok uvodi StableLM paket.
Osim toga, spominju pokretanje programa otvorene suradnje RLHF i rad s naporima zajednice kao što je Open Assistant na kreiranju skupa podataka otvorenog koda za AI asistente.
Zadnji ali ne i posljednji, Govoreći o Stability AI izdanjima, također možemo istaknuti da je najavljeno beta izdanje SDXL (što je skraćenica od Stable Diffusion Extra Large), novi model umjetne inteligencije koji može generirati slike iz tekstualnih opisa. SDXL je najnoviji dodatak paketu Stable Diffusion, koji također uključuje SD, SDT i SDC modele.
SDXL se razlikuje od ostalih modela po svojoj veličini i mogućnostima. Sa 2300 milijarde parametara, SDXL je više od 2,5 puta veći od originalnog SD modela, koji je imao samo 890 miliona. Ovi dodatni parametri omogućavaju SDXL-u da generiše slike koje se bolje pridržavaju složenih obrazaca. Na primjer, SDXL može proizvesti čitljiv tekst na slikama ili stvoriti zapanjujuće realistične portrete izmišljenih likova.
SDXL je trenutno u beta fazi u DreamStudiju i drugim popularnim aplikacijama za obradu slika kao što je NightCafe Creator. Kao i svi modeli Stability AI, SDXL će uskoro biti objavljen kao open source radi optimalne pristupačnosti. Stability AI objavljuje da je SDXL dopušteno licenciran za komercijalnu i nekomercijalnu upotrebu, sve dok slijedite etičke i pravne smjernice.
Konačno, ako vas zanima više o tome, možete se obratiti detaljima Na sledećem linku.