En mai 2020, OpenAI, la société d'intelligence artificielle cofondée par Elon Musk et Sam Altman, a lancé GPT-3, présenté à l'époque comme le réseau neuronal de référence. Modèle de langage de pointe, GPT-3 comprend 175 milliards de paramètres, contre 1,5 milliard pour son prédécesseur, GPT-2.
GPT-3 a surpassé le modèle NLG Turing (génération de langage naturel de Turing) de Microsoft, qui comptait 17 milliards de paramètres et détenait auparavant le record du plus grand réseau neuronal. Ce modèle de langage a suscité l'admiration, la critique et même un examen minutieux ; il a également trouvé des applications nouvelles et intéressantes.
Des rumeurs circulent désormais selon lesquelles la sortie de GPT-4 , la prochaine version du modèle de langage d'OpenAI, pourrait être imminente.
Bien qu'aucune date de sortie n'ait encore été annoncée, OpenAI a donné quelques indications sur les caractéristiques du successeur de GPT-3, ce qui laisse supposer que GPT-4 ne sera pas plus volumineux que GPT-3, mais utilisera davantage de ressources de calcul, limitant ainsi son impact environnemental.
Au cours de la session, Altman a laissé entendre que , contrairement à une idée répandue, GPT-4 ne sera pas le plus grand modèle de langage . Bien que ce modèle soit certainement plus volumineux que les générations précédentes de réseaux neuronaux, sa taille ne sera pas sa caractéristique principale.
Premièrement, les entreprises ont réalisé que l'utilisation de la taille du modèle comme indicateur pour améliorer les performances n'est pas la seule ou la meilleure façon de le faire. En 2020, Jared Kaplan et ses collègues d'OpenAI auraient conclu que les performances s'améliorent le plus lorsque les augmentations du budget de calcul sont principalement allouées à l'augmentation du nombre de paramètres, suivant une relation de loi de puissance. Google, Nvidia, Microsoft, OpenAI, DeepMind et d'autres sociétés qui développent des modèles de langage ont pris ces directives au pied de la lettre.
Mais MT-NLG (Megatron-Turing NLG, un réseau de neurones construit par Nvidia et Microsoft l'année dernière avec 530 milliards de paramètres), aussi génial soit-il, n'est pas le meilleur en termes de performances. En fait, il n'est pas classé le meilleur dans aucune catégorie de référence. Des modèles plus petits comme Gopher ou Chinchilla (70 milliards de paramètres), juste une fraction de leur taille, seraient bien meilleurs que MT-NLG dans toutes les tâches. Ainsi, il est devenu clair que la taille du modèle n'est pas le seul facteur qui conduit à une meilleure compréhension de la langue.
Selon Altman, les modèles de langage souffrent d'une limitation majeure en matière d'optimisation : leur entraînement serait si coûteux que les entreprises devraient faire un compromis entre précision et coût. Il en résulte souvent des modèles fortement sous-optimisés.
Le PDG a indiqué que GPT-3 n'avait été formé qu'une seule fois, malgré quelques erreurs qui, dans d'autres cas, auraient conduit à un recyclage. Pour cette raison, OpenAI aurait décidé de ne pas le faire en raison d'un coût inabordable, ce qui a empêché les chercheurs de trouver le meilleur ensemble d'hyperparamètres pour le modèle.
Une autre conséquence des coûts de formation élevés est que les analyses du comportement du modèle seraient restreintes. Selon un rapport, lorsque les chercheurs en intelligence artificielle ont conclu que la taille du modèle était la variable la plus pertinente pour améliorer les performances, ils n'ont pas pris en compte le nombre de jetons d'entraînement, c'est-à-dire la quantité de données fournies aux modèles. Cela aurait nécessité des quantités extraordinaires de ressources informatiques. Les entreprises technologiques auraient suivi les découvertes des chercheurs parce que c'était ce qu'elles avaient de mieux.
Altman a indiqué que GPT-4 utilisera une puissance de calcul nettement supérieure à celle de son prédécesseur . OpenAI devrait intégrer des concepts d'optimisation à GPT-4, mais l'ampleur de cette intégration reste incertaine en raison de son budget.
Cependant, les propos d'Altman montrent qu'OpenAI devrait se concentrer sur l'optimisation d'autres variables que la taille du modèle . Trouver le meilleur ensemble d'hyperparamètres, la taille optimale du modèle et le nombre optimal de paramètres pourrait permettre d'obtenir des améliorations considérables sur tous les tests de performance.
Selon les analystes, toutes les prédictions pour les modèles de langage s'effondreront si ces approches sont combinées en un seul modèle. Altman a également déclaré que les gens ne croiraient pas à quel point les modèles peuvent être meilleurs sans nécessairement être plus gros. Cela peut suggérer que les efforts de mise à l'échelle sont terminés pour le moment.
OpenAI aurait déployé beaucoup d'efforts pour résoudre le problème d'alignement de l'IA : comment faire en sorte que les modèles de langage suivent les intentions humaines et adhèrent aux valeurs humaines ?
Les analystes disent qu'il ne s'agit pas seulement d'un problème mathématique difficile (comment faire en sorte que l'IA comprenne exactement ce que nous voulons ?), mais aussi d'un problème philosophique (il n'existe pas de moyen universel d'aligner l'IA sur les humains, car la variabilité de la valeurs humaines d'un groupe à l'autre est énorme et souvent contradictoire).
Enfin, si vous souhaitez en savoir plus à ce sujet , vous pouvez consulter la publication originale en suivant ce lien.