Sam Altman, CEO di OpenAI, ha dichiarato che l’era della creazione di modelli di intelligenza artificiale (AI) massicci è finita. OpenAI ha fatto notizia con ChatGPT, un chatbot basato su GPT-4, che probabilmente è stato addestrato su trilioni di parole e ha costato oltre 100 milioni di dollari. Tuttavia, Altman suggerisce che i futuri progressi dell’AI non arriveranno dall’aumento delle dimensioni dei modelli. Ha parlato ad un evento al MIT, dichiarando che renderanno i modelli migliori in altri modi, senza specificare quali saranno.
Moltissime start-up stanno attualmente investendo enormi risorse nella costruzione di algoritmi più grandi per rimanere al passo con la tecnologia di OpenAI. La dichiarazione di Altman indica che GPT-4 potrebbe essere l’ultimo grande progresso derivante dalla strategia di OpenAI di rendere i modelli più grandi e di fornir loro più dati. Le stime dell’azienda suggeriscono un ritorno decrescente in termini di dimensioni dei modelli, e Altman fa notare che ci sono limiti fisici a quanti centri di dati l’azienda può costruire e quanto velocemente può farlo.
Nick Frosst, cofondatore di Cohere che ha lavorato in precedenza sull’IA in Google, concorda con il pensiero di Altman. Ritiene che i progressi sui trasformatori, il tipo di modello di apprendimento automatico al cuore di GPT-4 e dei suoi concorrenti, vada oltre la scala. Frosst suggerisce che nuovi design o architetture di modelli di IA e ulteriori sintonizzazioni basate sui feedback umani siano direzioni promettenti che molti ricercatori stanno esplorando.
Anche se OpenAI tiene segrete le dimensioni e le lavorazioni interne di GPT-4, è probabile che parte della sua intelligenza provenga da una valutazione che va oltre la semplice scala. Una possibilità è il reinforcement learning con feedback umano, che è stato utilizzato per migliorare ChatGPT.
La dichiarazione di Altman suggerisce un’improvvisa svolta nella corsa per lo sviluppo e la distribuzione di nuovi algoritmi di IA. Mentre le straordinarie capacità di GPT-4 hanno stupito alcuni esperti e scatenato dibattiti sul potenziale dell’IA per trasformare l’economia e diffondere disinformazione eliminando posti di lavoro, OpenAI non sta attualmente sviluppando GPT-5. Questa notizia dovrebbe essere un sollievo per alcuni, poiché esperti di IA, imprenditori tecnologici tra cui Elon Musk e scienziati hanno recentemente chiesto una pausa di sei mesi nello sviluppo di qualcosa di più potente di GPT-4.