Di Eleonora Rossi
Tutti (o quasi) conoscono il test di Turing: si dice che un computer lo supera se una persona non riesce a capire se un testo sia stato scritto dal computer o da un essere umano. Come sottolineato dallo stesso Alan Turing, che lo chiama gioco e non test, questo sistema non valuta davvero l’intelligenza di un sistema di Intelligenza Artificiale, quanto più la sua capacità di imitare un comportamento intelligente e la sua capacità di ingannare l’umano che legge. Il filosofo John Searle ha poi ulteriormente criticato la presunta “intelligenza” delle macchine con il famoso esperimento mentale della stanza cinese.
Alan Turing però non ha vissuto durante il boom dei sistemi di Intelligenza Artificiale Generativa, e non aveva davvero la necessità di catalogare e valutare decine di sistemi diversi.
A differenza sua, a ogni nuovo rilascio di un sistema di IA, veniamo inondati da affermazioni entusiastiche sulle loro capacità, spesso però senza definizioni quantitative e misurabili.
Come si testano le capacità di un modello
Per rispondere a questa esigenza sono state sviluppati decine e decine di cosiddetti test di benchmark, che mettono alla prova la capacità di vari modelli di AI di svolgere compiti più o meno complessi. Esistono test che misurano la capacità di comprensione di un test scritto (SQuAD), di riconoscere relazioni (GLUE e SuperGLUE), di rispondere a domande di “cultura generale” (TriviaQA) o quiz matematici di base (GSM8K), e di creatività (Lovelace test). Ci sono inoltre numerosi aggregatori che cercano di classificare i modelli di AI, di cui forse il più famoso è lmarena.ai con la sua leaderboard.
Il meccanismo di funzionamento di questi test è sempre più o meno lo stesso: al modello vengono sottoposte domande aperte o a crocette e in seguito giudici umani valutano la performance. Per evitare che i modelli possano trovare già pronte online le risposte alle domande che compaiono in questi test di benchmark (e che quindi ottengano tutti il massimo punteggio), le domande e le relative risposte nella maggior parte dei casi non sono pubbliche.
Nonostante tutte le tutele, a inizio aprile Meta è stata molto criticata dalla comunità dei ricercatori per aver “barato” ai test: dopo aver rilasciato i due nuovi modelli Llama 4 (Scout e Maverick) e i relativi risultati, si è scoperto che quest’ultimi non erano stati effettuati sulle versioni in commercio dei due modelli, ma su altre versioni ottimizzate per i test, puntando nuovamente i riflettori sui tanti limiti di questo meccanismo.
Alcuni ricercatori propongono test sempre più complessi, che riescano a rappresentare in modo più dettagliato le differenze tra i vari modelli. Tra loro ci sono gli sviluppatori dell’Humanity’s Last Exam, che propongono domande di livello accademico avanzato (PhD o superiore) per analizzare la capacità di ragionamento complesso di un sistema di AI. Per costruire tale dataset sono stati coinvolti esperti e accademici di vari settori.
Uno di questi, Kevin Zhou, ricercatore post doc in fisica teorica intervistato dal New York Times, pur riconoscendo l’impressionante miglioramento di qualità nelle risposte generate dall’AI, ha notato anche che comunque fare ricerca è molto diverso dal rispondere correttamente a domande complesse.
Conclusioni (per ora)
Tra chi sceglie di sviluppare test sempre più difficili e specifici, chi si interroga su cosa faremo quando i nostri test saranno troppo facili per l’AI, e le nuove scoperte di Anthropic su come funziona davvero un LLM, spiccano i risultati di un “esperimento” del filosofo e docente Luciano Floridi, che ha provato a chiedere a vari LLM una domanda apparentemente semplice: quanti personaggi muoiono in una selezione di tragedie di Shakespeare?
Le molte risposte sbagliate (quelle corrette sono quelle in grassetto) e in generale la confusione degli LLM forse possono per ora farci dormire sonni tranquilli.
Rispondendo alla domanda che ci siamo poste, l’Intelligenza Artificiale non sembra ancora così intelligente dopotutto!
