Im Mai 2020 veröffentlichte OpenAI, das von Elon Musk und Sam Altman mitgegründete KI-Unternehmen, GPT-3, das damals als führendes neuronales Netzwerk galt. Das hochmoderne Sprachmodell GPT-3 umfasst 175 Milliarden Parameter, im Vergleich zu den 1,5 Milliarden Parametern seines Vorgängers GPT-2.
GPT-3 übertraf Microsofts NLG-Turing-Modell (Turing Natural Language Generation), das 17 Milliarden Parameter umfasste und zuvor den Rekord für das größte neuronale Netzwerk hielt. Das Sprachmodell wurde bewundert, kritisiert und eingehend untersucht; es hat aber auch neue und interessante Anwendungsgebiete gefunden.
Nun sind Gerüchte aufgetaucht, dass die Veröffentlichung von GPT-4 , der nächsten Version des Sprachmodells von OpenAI, bald erfolgen könnte.
Obwohl noch kein Veröffentlichungstermin bekannt gegeben wurde, hat OpenAI einige Hinweise auf die Eigenschaften des Nachfolgers von GPT-3 gegeben, woraus viele schließen können, dass GPT-4 nicht größer als GPT-3 sein sollte, aber mehr Rechenressourcen nutzen und dadurch seine Umweltauswirkungen begrenzen sollte.
Während der Sitzung deutete Altman an , dass GPT-4 entgegen der gängigen Annahme nicht das größte Sprachmodell sein wird . Zwar wird das Modell sicherlich größer sein als frühere Generationen neuronaler Netze, doch seine Größe wird nicht sein bestimmendes Merkmal sein.
Erstens haben Unternehmen erkannt, dass die Verwendung der Modellgröße als Indikator zur Verbesserung der Leistung nicht der einzige oder beste Weg ist, dies zu tun. Im Jahr 2020 kamen Jared Kaplan und Kollegen von OpenAI Berichten zufolge zu dem Schluss, dass sich die Leistung am meisten verbessert, wenn Erhöhungen des Rechenbudgets in erster Linie der Erhöhung der Anzahl von Parametern zugewiesen werden, die einer Potenzgesetzbeziehung folgen. Google, Nvidia, Microsoft, OpenAI, DeepMind und andere Unternehmen, die Sprachmodelle entwickeln, haben diese Richtlinien für bare Münze genommen.
Aber MT-NLG (Megatron-Turing NLG, ein neurales Netzwerk, das letztes Jahr von Nvidia und Microsoft mit 530 Milliarden Parametern gebaut wurde), ist, so großartig es auch ist, nicht das Beste, wenn es um Leistung geht. Tatsächlich wird es in keiner Benchmark-Kategorie als das Beste bewertet. Kleinere Modelle wie Gopher oder Chinchilla (70 Milliarden Parameter), nur ein Bruchteil ihrer Größe, wären in allen Aufgaben deutlich besser als MT-NLG. So wurde deutlich, dass die Größe des Modells nicht der einzige Faktor ist, der zu einem besseren Verständnis der Sprache führt.
Laut Altman weisen Sprachmodelle eine entscheidende Einschränkung hinsichtlich ihrer Optimierung auf. Das Training wäre so kostspielig, dass Unternehmen einen Kompromiss zwischen Genauigkeit und Kosten eingehen müssten. Dies führt häufig zu stark unteroptimierten Modellen.
Der CEO berichtete, dass GPT-3 nur einmal trainiert wurde, trotz einiger Fehler, die in anderen Fällen zu einer Umschulung geführt hätten. Aus diesem Grund entschied sich OpenAI Berichten zufolge aufgrund unerschwinglicher Kosten dagegen, was die Forscher daran hinderte, den besten Satz von Hyperparametern für das Modell zu finden.
Eine weitere Folge hoher Schulungskosten wäre, dass Analysen des Modellverhaltens eingeschränkt würden. Einem Bericht zufolge haben KI-Forscher, als sie zu dem Schluss kamen, dass die Modellgröße die relevanteste Variable für die Leistungssteigerung sei, die Anzahl der Trainingstoken, d. h. die Datenmenge, die den Modellen zur Verfügung gestellt wird, nicht berücksichtigt. Dies hätte außerordentliche Mengen an Rechenressourcen erfordert. Berichten zufolge folgten Technologieunternehmen den Ergebnissen der Forscher, weil es das Beste war, was sie hatten.
Altman erklärte, dass GPT-4 deutlich mehr Rechenleistung benötige als sein Vorgänger . OpenAI plant, Optimierungsansätze in GPT-4 zu implementieren, der genaue Umfang dieser Implementierung ist jedoch aufgrund des begrenzten Budgets ungewiss.
Altmans Aussagen zeigen jedoch, dass OpenAI sich auf die Optimierung anderer Variablen als der Modellgröße konzentrieren sollte . Die Ermittlung der optimalen Hyperparameter, der optimalen Modellgröße und der optimalen Parameteranzahl könnte zu enormen Verbesserungen in allen Benchmarks führen.
Laut Analysten werden alle Vorhersagen für Sprachmodelle zusammenbrechen, wenn diese Ansätze zu einem einzigen Modell kombiniert werden. Altman sagte auch, dass die Leute nicht glauben würden, wie viel bessere Modelle sein können, ohne unbedingt größer zu sein. Es könnte darauf hindeuten, dass die Skalierungsbemühungen vorerst beendet sind.
Berichten zufolge hat OpenAI große Anstrengungen unternommen, um das Problem der KI-Ausrichtung zu lösen: Wie kann man Sprachmodelle dazu bringen, menschlichen Absichten zu folgen und sich an menschliche Werte zu halten?
Analysten sagen, dass dies nicht nur ein schwieriges mathematisches Problem ist (wie bringen wir die KI dazu, genau zu verstehen, was wir wollen?), sondern auch ein philosophisches (es gibt keinen universellen Weg, KI mit Menschen in Einklang zu bringen, da die Variabilität der menschliche Werte von Gruppe zu Gruppe ist riesig und oft widersprüchlich).
Sollten Sie mehr darüber erfahren wollen , können Sie die Originalveröffentlichung unter folgendem Link einsehen.