Dal Vallo di Diano alla frontiera mondiale dell’intelligenza artificiale. È la storia di Antonio Lopardo, giovane ingegnere informatico originario di Buonabitacolo, protagonista di un importante risultato nel campo della ricerca scientifica sui modelli linguistici di nuova generazione.
Dallo studio all’ETH di Zurigo alla collaborazione con Berkeley
Antonio, dopo aver conseguito un master in Machine Learning presso la prestigiosa ETH di Zurigo, una delle università tecnologiche più rinomate al mondo, ha pubblicato un articolo scientifico come primo firmatario dedicato allo studio delle rappresentazioni interne dei modelli di intelligenza artificiale basati sul linguaggio, i cosiddetti Large Language Models (LLM).
Il lavoro, dal titolo “Weight Tying Biases Token Embeddings Towards the Output Space”, è stato realizzato in collaborazione con ricercatori e professori dell’Università di Berkeley e affronta un tema centrale nello sviluppo dei modelli di intelligenza artificiale: il modo in cui vengono organizzati e utilizzati gli spazi di rappresentazione delle parole all’interno delle reti neurali.Lo studio sui Large Language Models e il “weight tying”.
La ricerca analizza il cosiddetto weight tying, una tecnica molto utilizzata nella progettazione degli LLM che prevede la condivisione dei parametri tra la matrice che rappresenta gli input e quella utilizzata per generare gli output.
Lo studio di Lopardo e dei suoi collaboratori ha evidenziato come questa scelta progettuale possa creare un “bias” verso la previsione dell’output, influenzando il modo in cui il modello apprende e rappresenta le informazioni.
Attraverso analisi approfondite, gli autori hanno dimostrato che questo meccanismo può incidere sul funzionamento dei primi livelli dei modelli linguistici e hanno individuato strategie per ridurre tale squilibrio durante l’addestramento, offrendo nuovi spunti per la progettazione di sistemi di intelligenza artificiale più efficienti.
Il riconoscimento internazionale a San Diego
Un risultato di grande valore scientifico che ha portato Antonio Lopardo a essere invitato a presentare i risultati della ricerca durante una prestigiosa conferenza internazionale di settore a San Diego, in California, davanti alla comunità mondiale degli studiosi di intelligenza artificiale.
Un percorso che racconta talento, passione e determinazione e che rappresenta un motivo di orgoglio per Buonabitacolo e per l’intero Vallo di Diano. Una nuova testimonianza di come anche dai piccoli centri possano nascere competenze capaci di confrontarsi ai massimi livelli della ricerca internazionale.