StableLM en is ontworpen om efficiënt tekst en code te genereren
Het nieuws werd vrijgegeven dat Stabiliteit AI, het bedrijf achter het Stable Diffusion imaging AI-model, heeft de eerste van zijn reeks StableLM-taalmodellen aangekondigd.
Ermee Stability hoopt de effecten van zijn open source beeldsynthesemodel te repliceren Stabiele diffusie, uitgebracht in 2022. Met verfijning zou StableLM kunnen worden gebruikt om een ​​open source alternatief voor ChatGPT te bouwen.
Voor degenen die niet bekend zijn met Stability AI, moet u weten dat dit een in Londen gevestigd bedrijf is dat zichzelf positioneert als een open source-rivaal van OpenAI, een bedrijf dat krachtige maar gepatenteerde kunstmatige taalmodellen ontwikkelt, zoals ChatGPT.
Over StableLM
StabielLM is de naam van de familie van kunstmatige taalmodellen gemaakt door Stability AI, die beschikbaar zijn als open source op GitHub onder de Creative Commons BY-SA-4.0-licentie. StableLM is een model voor het genereren van tekst die menselijke tekst kan samenstellen en programma's kan schrijven door het volgende woord in een reeks te voorspellen. Het maakt gebruik van een techniek genaamd "chipvoorspelling" waarbij het volgende woordfragment moet worden geraden uit de context die door een mens wordt gegeven in de vorm van een "hint".
Net als andere "kleine" LLM's StableLM beweert vergelijkbare prestaties te behalen als het GPT-3-referentiemodel van OpenAI terwijl er veel minder algemene parameters worden gebruikt (7 miljard voor StableLM vs. 175 miljard voor GPT-3).
De release van StableLM bouwt voort op onze ervaring met eerdere open source taalmodellen met EleutherAI, een non-profit onderzoekscentrum. Deze taalmodellen omvatten GPT-J, GPT-NeoX en de Pythia-suite, die zijn getraind op de open source dataset The Pile.
StabielLM beweert vergelijkbare prestaties te hebben als GPT-3, het taalmodel dat ChatGPT aandrijft, terwijl het veel minder parameters gebruikt (7 miljard vs. 175 miljard). Parameters zijn variabelen die het model gebruikt om te leren van de trainingsgegevens. Het hebben van minder parameters maakt het model kleiner en efficiënter, waardoor het gemakkelijker kan worden uitgevoerd op lokale apparaten zoals smartphones en laptops.
StabielLM getraind op een nieuwe dataset gebaseerd op The Pile, met 1,5 biljoen tokens, wat ongeveer 3 keer zo groot is als The Pile. The Pile is een hoogwaardige en diverse dataset voor het trainen van taalmodellen.
Stability AI vermeldt dat de sjablonen al beschikbaar zijn in de GitHub-repository en dat er binnenkort een volledig witboek komt, en kijkt ernaar uit om samen te werken met ontwikkelaars en onderzoekers bij het uitrollen van de StableLM-suite.
Daarnaast vermelden ze de lancering van het RLHF open samenwerkingsprogramma en het werken met gemeenschapsinspanningen zoals Open Assistant om een ​​open source dataset voor AI-assistenten te creëren.
Tenslotte, Over Stability AI-releases gesproken, we kunnen ook benadrukken dat het is aangekondigd de bètaversie van SDXL (wat staat voor Stable Diffusion Extra Large), een nieuw kunstmatige-intelligentiemodel dat in staat is om afbeeldingen te genereren uit tekstuele beschrijvingen. SDXL is de nieuwste toevoeging aan de Stable Diffusion-suite, die ook SD-, SDT- en SDC-modellen omvat.
SDXL verschilt van andere modellen in grootte en mogelijkheden. Met 2300 miljard parameters is SDXL meer dan 2,5 keer groter dan het oorspronkelijke SD-model, dat er slechts 890 miljoen had. Met deze aanvullende parameters kan SDXL afbeeldingen genereren die beter aansluiten bij complexe patronen. SDXL kan bijvoorbeeld leesbare tekst op afbeeldingen produceren of opvallend realistische portretten van fictieve personages maken.
SDXL is momenteel in bèta in DreamStudio en andere populaire beeldverwerkingstoepassingen zoals NightCafe Creator. Net als alle Stability AI-modellen wordt SDXL binnenkort uitgebracht als open source voor optimale toegankelijkheid. Stability AI kondigt aan dat SDXL permissief is gelicentieerd voor commercieel en niet-commercieel gebruik, zolang u de ethische en wettelijke richtlijnen volgt.
Ten slotte, als u geïnteresseerd bent om er meer over te weten, kunt u de details raadplegen In de volgende link.