StableLM i jest przeznaczony do wydajnego generowania tekstu i kodu
Wiadomość została wydana, że sztuczna inteligencja, firma stojąca za modelem sztucznej inteligencji do obrazowania Stable Diffusion, ogłosił pierwszy ze swojego zestawu modeli językowych StableLM.
Z tym Stability ma nadzieję na powtórzenie efektów swojego modelu syntezy obrazów typu open source Stabilna dyfuzja, wydany w 2022 roku. Po udoskonaleniu StableLM może zostać wykorzystany do zbudowania otwartej alternatywy dla ChatGPT.
Dla tych, którzy nie znają Stability AI, powinniście wiedzieć, że jest to firma z siedzibą w Londynie, która pozycjonuje się jako rywal open source dla OpenAI, firmy, która opracowuje potężne, ale zastrzeżone modele sztucznego języka, takie jak ChatGPT.
O StableLM
StabilnyLM to nazwa rodziny modeli sztucznego języka stworzonych przez Stability AI, które są dostępne jako open source na GitHub na licencji Creative Commons BY-SA-4.0. StableLM to model generowania tekstu które mogą komponować ludzki tekst i pisać programy, przewidując następne słowo w sekwencji. Wykorzystuje technikę zwaną „przewidywaniem chipów” polegająca na odgadnięciu kolejnego fragmentu słowa z kontekstu podanego przez człowieka w formie „podpowiedzi”.
Podobnie jak inne „małe” LLM StableLM twierdzi, że osiąga podobną wydajność do modelu referencyjnego GPT-3 OpenAI przy użyciu znacznie mniejszej liczby ogólnych parametrów (7 miliardów dla StableLM vs. 175 miliardów dla GPT-3).
Wydanie StableLM opiera się na naszych doświadczeniach z poprzednimi modelami języków open source z EleutherAI, centrum badawczym non-profit. Te modele językowe obejmują GPT-J, GPT-NeoX i pakiet Pythia, które zostały przeszkolone na zbiorze danych open source The Pile.
StabilnyLM twierdzi, że ma podobną wydajność do GPT-3, model języka, który napędza ChatGPT, przy użyciu znacznie mniejszej liczby parametrów (7 miliardów vs. 175 miliardów). Parametry to zmienne, których model używa do uczenia się na podstawie danych uczących. Mniejsza liczba parametrów sprawia, że model jest mniejszy i bardziej wydajny, co może ułatwić uruchamianie go na urządzeniach lokalnych, takich jak smartfony i laptopy.
StabilnyLM przeszkoleni na nowym zbiorze danych opartym na The Pile, zawierający 1,5 biliona tokenów, czyli około 3 razy więcej niż Stos. The Pile to wysokiej jakości i zróżnicowany zestaw danych do uczenia modeli językowych.
Stability AI wspomina, że szablony są już dostępne w repozytorium GitHub i że wkrótce pojawi się pełna biała księga, i oczekuje dalszej współpracy z programistami i badaczami podczas wdrażania pakietu StableLM.
Ponadto wspominają o uruchomieniu otwartego programu współpracy RLHF i współpracy ze społecznościami, takimi jak Open Assistant, w celu stworzenia zestawu danych open source dla asystentów AI.
Nie mniej ważny, Mówiąc o wydaniach Stability AI, możemy również podkreślić, że zapowiedział wydanie beta SDXL (co oznacza Stable Diffusion Extra Large), nowy model sztucznej inteligencji zdolny do generowania obrazów z opisów tekstowych. SDXL to najnowszy dodatek do pakietu Stable Diffusion, który obejmuje również modele SD, SDT i SDC.
SDXL różni się od innych modeli wielkością i możliwościami. Z 2300 miliarda parametrów, SDXL jest ponad 2,5 razy większy niż oryginalny model SD, który miał tylko 890 milionów. Te dodatkowe parametry pozwalają SDXL generować obrazy, które lepiej przylegają do złożonych wzorów. Na przykład SDXL może tworzyć czytelny tekst na obrazach lub tworzyć uderzająco realistyczne portrety fikcyjnych postaci.
SDXL jest obecnie w fazie beta w DreamStudio i innych popularnych aplikacjach do przetwarzania obrazu, takich jak NightCafe Creator. Podobnie jak wszystkie modele Stability AI, SDXL zostanie wkrótce wydany jako open source dla optymalnej dostępności. Stability AI informuje, że SDXL posiada zezwolenie na użytkowanie komercyjne i niekomercyjne, o ile przestrzegasz wytycznych etycznych i prawnych.
Na koniec, jeśli chcesz dowiedzieć się więcej na ten temat, możesz zapoznać się ze szczegółami W poniższym linku.