Nel maggio 2020, OpenAI, l'azienda di intelligenza artificiale co-fondata da Elon Musk e Sam Altman, ha rilasciato GPT-3, all'epoca pubblicizzato come la rete neurale leader del settore. Modello linguistico all'avanguardia, GPT-3 include 175 miliardi di parametri rispetto agli 1,5 miliardi di parametri del suo predecessore, GPT-2.
GPT-3 ha superato il modello NLG Turing (Turing Natural Language Generation) di Microsoft, che contava 17 miliardi di parametri e deteneva in precedenza il record per la rete neurale più grande. Il modello linguistico è stato ammirato, criticato e persino analizzato a fondo; ha inoltre trovato nuove e interessanti applicazioni.
E ora sono emerse indiscrezioni secondo cui il rilascio di GPT-4 , la prossima versione del modello linguistico di OpenAI, potrebbe essere imminente.
Sebbene non sia ancora stata annunciata una data di rilascio, OpenAI ha fornito alcune indicazioni sulle caratteristiche del successore di GPT-3, dalle quali molti potrebbero aspettarsi che GPT-4 non sia più grande di GPT-3, ma che utilizzi più risorse computazionali, limitando così il suo impatto ambientale.
Durante la sessione, Altman ha lasciato intendere che , contrariamente alla credenza popolare, GPT-4 non sarà il modello linguistico più grande . Sebbene il modello sarà certamente più grande delle precedenti generazioni di reti neurali, le dimensioni non saranno la sua caratteristica distintiva.
In primo luogo, le aziende si sono rese conto che l'utilizzo della dimensione del modello come indicatore per migliorare le prestazioni non è l'unico o il modo migliore per farlo. Secondo quanto riferito, nel 2020 Jared Kaplan e i suoi colleghi di OpenAI hanno concluso che le prestazioni migliorano maggiormente quando gli aumenti del budget di calcolo sono principalmente assegnati all'aumento del numero di parametri, a seguito di una relazione di potere-legge. Google, Nvidia, Microsoft, OpenAI, DeepMind e altre società che sviluppano modelli linguistici hanno preso queste linee guida alla lettera.
Ma MT-NLG (Megatron-Turing NLG, una rete neurale costruita da Nvidia e Microsoft l'anno scorso con 530 miliardi di parametri), per quanto eccezionale, non è il massimo in termini di prestazioni. In effetti, non è considerato il migliore in nessuna categoria di benchmark. Modelli più piccoli come Gopher o Chinchilla (70 miliardi di parametri), solo una frazione delle loro dimensioni, sarebbero molto migliori di MT-NLG in tutte le attività . Pertanto, è diventato chiaro che la dimensione del modello non è l'unico fattore che porta a una migliore comprensione della lingua.
Secondo Altman, i modelli linguistici soffrono di una limitazione critica in termini di ottimizzazione. L'addestramento sarebbe talmente costoso che le aziende sarebbero costrette a scendere a compromessi tra accuratezza e costi. Ciò spesso si traduce in modelli gravemente sotto-ottimizzati.
Il CEO ha riferito che GPT-3 è stato addestrato una sola volta, nonostante alcuni errori che in altri casi avrebbero portato a una riqualificazione. Per questo motivo, secondo quanto riferito, OpenAI ha deciso di non farlo a causa del costo inaccessibile, che ha impedito ai ricercatori di trovare il miglior set di iperparametri per il modello.
Un'altra conseguenza degli elevati costi di formazione è che le analisi del comportamento del modello sarebbero limitate. Secondo un rapporto, quando i ricercatori di intelligenza artificiale hanno concluso che la dimensione del modello era la variabile più rilevante per migliorare le prestazioni, non hanno considerato il numero di token di addestramento, ovvero la quantità di dati forniti ai modelli. Ciò avrebbe richiesto quantità straordinarie di risorse informatiche. Secondo quanto riferito, le aziende tecnologiche hanno seguito i risultati dei ricercatori perché era il meglio che avevano.
Altman ha affermato che GPT-4 utilizzerà una potenza di calcolo significativamente maggiore rispetto al suo predecessore . Si prevede che OpenAI implementerà in GPT-4 concetti relativi all'ottimizzazione, sebbene l'entità di tale implementazione sia incerta a causa del budget a disposizione.
Tuttavia, le dichiarazioni di Altman dimostrano che OpenAI dovrebbe concentrarsi sull'ottimizzazione di variabili diverse dalla dimensione del modello . Trovare il miglior set di iperparametri, la dimensione ottimale del modello e il numero di parametri potrebbe portare a miglioramenti incredibili in tutti i benchmark.
Secondo gli analisti, tutte le previsioni per i modelli linguistici crolleranno se questi approcci vengono combinati in un unico modello. Altman ha anche affermato che le persone non crederebbero a quanto possano essere migliori i modelli senza necessariamente essere più grandi. Potrebbe suggerire che gli sforzi di ridimensionamento sono finiti per ora.
Secondo quanto riferito, OpenAI ha fatto molti sforzi per risolvere il problema dell'allineamento dell'IA: come fare in modo che i modelli linguistici seguano le intenzioni umane e aderiscano ai valori umani?
Gli analisti affermano che questo non è solo un difficile problema matematico (come facciamo in modo che l'IA capisca esattamente cosa vogliamo?), ma anche filosofico (non esiste un modo universale per allineare l'IA con gli esseri umani, poiché la variabilità dei valori umani ​​da gruppo a gruppo è enorme e spesso contrastante).
Infine, se siete interessati ad approfondire l'argomento , potete consultare la pubblicazione originale al seguente link.