W maju 2020 roku OpenAI, firma zajmująca się sztuczną inteligencją, której współzałożycielami byli Elon Musk i Sam Altman, opublikowała GPT-3, reklamowaną wówczas jako wiodąca sieć neuronowa. GPT-3, najnowocześniejszy model językowy, zawiera 175 miliardów parametrów, w porównaniu z 1,5 miliarda parametrów swojego poprzednika, GPT-2.
GPT-3 przewyższył model NLG Turinga (Turing Natural Language Generation) Microsoftu, który miał 17 miliardów parametrów i wcześniej był rekordzistą największej sieci neuronowej. Model językowy był podziwiany, krytykowany, a nawet badany; znalazł również nowe i interesujące zastosowania.
Teraz pojawiły się plotki, że wydanie GPT-4 , kolejnej wersji modelu językowego OpenAI, może nastąpić już wkrótce.
Mimo że data premiery nie została jeszcze ogłoszona, OpenAI dało pewne wskazówki dotyczące cech następcy GPT-3. Na ich podstawie można by się spodziewać, że GPT-4 nie będzie większy od GPT-3, lecz będzie wykorzystywał więcej zasobów obliczeniowych, ograniczając w ten sposób swój wpływ na środowisko.
Podczas sesji Altman zasugerował , że wbrew powszechnemu przekonaniu, GPT-4 nie będzie największym modelem językowym . Chociaż model ten z pewnością będzie większy niż poprzednie generacje sieci neuronowych, rozmiar nie będzie jego cechą definiującą.
Po pierwsze, firmy zdały sobie sprawę, że używanie rozmiaru modelu jako wskaźnika poprawy wydajności nie jest jedynym ani najlepszym sposobem, aby to zrobić. W 2020 r. Jared Kaplan i współpracownicy z OpenAI doszli do wniosku, że wydajność poprawia się najbardziej, gdy zwiększenie budżetu obliczeniowego jest przeznaczone przede wszystkim na zwiększenie liczby parametrów, zgodnie z relacją power-law. Google, Nvidia, Microsoft, OpenAI, DeepMind i inne firmy opracowujące modele językowe przyjęły te wytyczne za dobrą monetę.
Ale MT-NLG (Megatron-Turing NLG, sieć neuronowa zbudowana przez Nvidię i Microsoft w zeszłym roku o parametrach 530 miliardów), choć świetna, nie jest najlepsza, jeśli chodzi o wydajność. W rzeczywistości nie jest oceniany najlepiej w żadnej kategorii porównawczej. Mniejsze modele, takie jak Gopher czy Chinchilla (70 miliardów parametrów), zaledwie ułamek ich wielkości, byłyby znacznie lepsze niż MT-NLG we wszystkich zadaniach. Tym samym stało się jasne, że wielkość modelu nie jest jedynym czynnikiem, który prowadzi do lepszego zrozumienia języka.
Według Altmana, modele językowe cierpią na krytyczne ograniczenie optymalizacji. Szkolenie byłoby tak kosztowne, że firmy musiałyby iść na kompromis między dokładnością a kosztami. Często prowadzi to do powstawania modeli, które są poważnie niedooptymalizowane.
Prezes poinformował, że GPT-3 został przeszkolony tylko raz, pomimo pewnych błędów, które w innych przypadkach prowadziłyby do przekwalifikowania. Z tego powodu OpenAI podobno zrezygnowało z tego ze względu na nieopłacalne koszty, które uniemożliwiły badaczom znalezienie najlepszego zestawu hiperparametrów dla modelu.
Inną konsekwencją wysokich kosztów szkolenia jest ograniczenie analiz zachowania modelu. Według jednego z raportów, kiedy badacze AI doszli do wniosku, że rozmiar modelu jest najważniejszą zmienną dla poprawy wydajności, nie wzięli pod uwagę liczby tokenów treningowych, czyli ilości danych dostarczonych do modeli. Wymagałoby to nadzwyczajnych ilości zasobów obliczeniowych. Firmy technologiczne podobno podążały za odkryciami badaczy, ponieważ było to najlepsze, jakie mieli.
Altman powiedział, że GPT-4 będzie wymagał znacznie więcej obliczeń niż jego poprzednik . Oczekuje się, że OpenAI zaimplementuje w GPT-4 idee związane z optymalizacją, choć zakres tej implementacji jest niepewny ze względu na budżet.
Jednakże stwierdzenia Altmana pokazują, że OpenAI powinno skupić się na optymalizacji zmiennych innych niż rozmiar modelu . Znalezienie najlepszego zestawu hiperparametrów, optymalnego rozmiaru modelu i liczby parametrów może prowadzić do niesamowitych ulepszeń we wszystkich testach porównawczych.
Według analityków wszystkie przewidywania dotyczące modeli językowych załamią się, jeśli te podejścia zostaną połączone w jeden model. Altman powiedział również, że ludzie nie uwierzyliby, o ile lepsze mogą być modele, niekoniecznie większe. Może to sugerować, że wysiłki na rzecz skalowania na razie się skończyły.
OpenAI podobno włożył wiele wysiłku w rozwiązanie problemu dostosowania AI: jak sprawić, by modele językowe podążały za ludzkimi intencjami i były zgodne z ludzkimi wartościami?
Analitycy twierdzą, że jest to nie tylko trudny problem matematyczny (jak sprawić, by sztuczna inteligencja rozumiała dokładnie to, czego chcemy?), ale także filozoficzny (nie ma uniwersalnego sposobu na dopasowanie AI do ludzi, ponieważ zmienność wartości ludzkie od grupy do grupy są ogromne i często sprzeczne).
Na koniec, jeśli chcesz dowiedzieć się więcej na ten temat , możesz zapoznać się z oryginalną publikacją dostępną pod poniższym linkiem.