Il bot in linguaggio AI Toolformer è stato svelato da Meta, l’azienda che ha creato Facebook e Instagram. Toolformer può istruirsi a utilizzare altri strumenti software senza sacrificare le sue capacità fondamentali di modellazione del linguaggio. Toolformer può accedere a strumenti software esterni come motori di ricerca, traduttori di lingue e calcolatrici, tra gli altri. Questo grazie alla sua capacità di sfruttare le API, protocolli che consentono a varie applicazioni di connettersi tra loro. Ora può eseguire attività come il controllo dei fatti, la matematica e la programmazione che in precedenza richiedevano l’interazione umana a causa di questa tecnologia.
La capacità di Toolformer di selezionare lo strumento appropriato e come utilizzarlo in una situazione particolare è un vantaggio cruciale. Il modello può aggirare le restrizioni dei grandi modelli linguistici (LLM). Gli LLM non sono molto bravi in aritmetica, chiamando le API. Ad esempio, può eseguire operazioni matematiche utilizzando un’applicazione calcolatrice. Toolformer potrebbe utilizzare un collegamento API a un’app di calendario per eseguire l’attività di aggiungere una data al calendario se qualcuno lo desidera.
La base di Toolformer è un modello GPT-J preaddestrato con 6,7 miliardi di parametri. Secondo gli esperimenti dei ricercatori su diverse attività che utilizzano strumenti, supera il modello GPT-3 significativamente più grande. Ciò include 175 miliardi di parametri, con un margine significativo.
Il successo di Toolformer è in gran parte dovuto alla sua capacità di apprendimento “auto-supervisionato”. Per addestrare Toolformer, i ricercatori gli hanno fornito un piccolo numero di esempi scritti da persone che illustrano come viene utilizzata ciascuna API. Gli hanno anche dato accesso a un enorme set di dati di modellazione del linguaggio in modo che potesse annotare potenziali chiamate API. Di conseguenza, Toolformer può acquisire un’ampia conoscenza di come utilizzare una varietà di strumenti senza bisogno di istruzioni specializzate per determinati lavori.
L’incorporazione di strumenti software esterni in modelli linguistici come Toolformer si tradurrà probabilmente in assistenti più capaci e affidabili. Tuttavia, solleva anche interrogativi sulla sicurezza e sulla privacy. La capacità di un LLM di danneggiare i dati degli utenti o causare problemi nel mondo esterno può aumentare se è in grado di effettuare chiamate API. A titolo di esempio, un assistente basato su LLM può effettuare involontariamente una chiamata API che viola i dati dell’utente o danneggia i sistemi di terze parti.
Un progresso sostanziale nell’elaborazione del linguaggio naturale è stato fatto da Toolformer. Questo grazie alla sua capacità di sfruttare altri strumenti software come motori di ricerca, calcolatori e traduttori linguistici senza compromettere le sue capacità fondamentali nella modellazione linguistica. Il modo in cui interagiamo con i modelli linguistici può cambiare a seguito di questa tecnologia. Questo li renderà aiutanti più utili e affidabili. Tuttavia, mentre incorporano strumenti software esterni negli LLM, i ricercatori dovrebbero essere consapevoli dei problemi di sicurezza e privacy che potrebbero sorgere.