StableLM i dizajniran je za učinkovito generiranje teksta i koda
To je objavljena vijest AI stabilnosti, tvrtka koja stoji iza Stable Diffusion imaging AI modela, najavio je prvi od svog skupa jezičnih modela StableLM.
S tim Stability se nada da će ponoviti učinke svog modela sinteze slike otvorenog koda Stabilna difuzija, objavljen 2022. Uz usavršavanje, StableLM bi se mogao koristiti za izgradnju alternative otvorenog koda za ChatGPT.
Za one koji nisu upoznati sa Stability AI-om, trebali biste znati da je ovo tvrtka sa sjedištem u Londonu koja se pozicionira kao konkurent otvorenog koda OpenAI-ju, tvrtki koja razvija moćne, ali vlasničke modele umjetnog jezika kao što je ChatGPT.
O StableLM-u
StabilniLM naziv je obitelji modela umjetnih jezika koje je stvorio Stability AI, koji su dostupni kao open source na GitHubu pod licencom Creative Commons BY-SA-4.0. StableLM je model za generiranje teksta koji može sastavljati ljudski tekst i pisati programe predviđanjem sljedeće riječi u nizu. Koristi tehniku koja se zove "predviđanje čipa" što uključuje pogađanje sljedećeg fragmenta riječi iz konteksta koji daje čovjek u obliku "nagovještaja".
Kao i drugi "mali" LLM-i StableLM tvrdi da postiže slične performanse kao GPT-3 referentni model OpenAI-ja dok koristi puno manje općih parametara (7 milijardi za StableLM naspram 175 milijardi za GPT-3).
Izdanje StableLM-a temelji se na našem iskustvu s prethodnim modelima jezika otvorenog koda s EleutherAI, neprofitnim istraživačkim centrom. Ovi jezični modeli uključuju GPT-J, GPT-NeoX i paket Pythia, koji su obučeni na skupu podataka otvorenog koda The Pile.
StabilniLM tvrdi da ima slične performanse kao GPT-3, jezični model koji pokreće ChatGPT, dok koristi mnogo manje parametara (7 milijardi naspram 175 milijardi). Parametri su varijable koje model koristi za učenje iz podataka o obuci. Manji broj parametara čini model manjim i učinkovitijim, što može olakšati rad na lokalnim uređajima poput pametnih telefona i prijenosnih računala.
StabilniLM obučen na novom skupu podataka koji se temelji na The Pile, koji sadrži 1,5 trilijuna tokena, što je oko 3 puta veće od veličine hrpe. Pile je visokokvalitetan i raznolik skup podataka za obuku jezičnih modela.
Stability AI spominje da su predlošci već dostupni u GitHub repozitoriju i da će potpuna bijela knjiga uskoro biti dostupna, te se raduje nastavku suradnje s programerima i istraživačima dok izbacuje paket StableLM.
Osim toga, spominju pokretanje programa otvorene suradnje RLHF i suradnju s naporima zajednice kao što je Open Assistant za stvaranje skupa podataka otvorenog koda za AI pomoćnike.
Posljednje, ali ne najmanje važno, Govoreći o Stability AI izdanjima, također možemo istaknuti da je najavljeno beta izdanje SDXL (što je kratica za Stable Diffusion Extra Large), novi model umjetne inteligencije sposoban generirati slike iz tekstualnih opisa. SDXL je najnoviji dodatak paketu Stable Diffusion koji također uključuje SD, SDT i SDC modele.
SDXL se od ostalih modela razlikuje po veličini i mogućnostima. S 2300 milijarde parametara SDXL je više od 2,5 puta veći od originalnog SD modela koji je imao samo 890 milijuna. Ovi dodatni parametri omogućuju SDXL-u generiranje slika koje bolje prianjaju uz složene uzorke. Na primjer, SDXL može proizvesti čitljiv tekst na slikama ili stvoriti nevjerojatno realistične portrete izmišljenih likova.
SDXL je trenutno u beta fazi u DreamStudiou i drugim popularnim aplikacijama za obradu slika kao što je NightCafe Creator. Kao i svi Stability AI modeli, SDXL će uskoro biti objavljen kao otvoreni kod za optimalnu dostupnost. Stability AI najavljuje da je SDXL dopušteno licenciran za komercijalnu i nekomercijalnu upotrebu, sve dok slijedite etičke i pravne smjernice.
Konačno, ako vas zanima više o tome, možete se posavjetovati s pojedinostima U sljedećem linku.