I grandi modelli linguistici (LLM) hanno dimostrato di essere estremamente efficaci in una vasta gamma di compiti di elaborazione del linguaggio naturale. Per tale ragione, si sono diffusi in maniera pervasiva. Tuttavia, essi mostrano ancora pregiudizi e producono informazioni che non sono sempre fattuali in quanto esiste un’ampia variazione nelle risposte fornite dai diversi modelli. Alcuni studi recenti (nel caso di specie, Macmillan-Scott e Musolesi 2024) hanno cercato di valutare i processi di razionalità e i pregiudizi cognitivi presenti in sette LLM (GPT-3.5 e GPT-4 di OpenAI; Bard di Google basato su LaMDA; Claude 2 di Anthropic; tre modelli Llama 2 di Meta). Vale la pena approfondire questa domanda di ricerca perché essa è stata già rivolta agli esseri umani e, a maggior ragione, può essere applicata agli attuali modelli di IA generativa.
Gli esseri umani sono razionali? Vari esperimenti, condotti negli ultimi decenni sono stati interpretati come una dimostrazione che gli esseri umani possono essere irrazionali e possono commettere errori significativi nel ragionamento logico, in quello probabilistico, nei giudizi di somiglianza e nella valutazione del rischio, per citare solo alcune aree di interesse della psicologia del ragionamento.
Mediante esperimenti si è controllato empiricamente in quale misura la gente ragiona, elabora delle stime basate sulla probabilità e prende decisioni, in conformità alle regole del “Quadro standard” della razionalità di Edward Stein. A questo riguardo, si sono sviluppati due importanti filoni di ricerca: il primo fa riferimento al ragionamento deduttivo di Peter Cathcart Wason [1924-2003] mentre il secondo al ragionamento probabilistico e al decision-making di Daniel Kahneman [1934-2024] e Amos Nathan Tversky [1937-1996].
Wason è conosciuto per un primo esperimento del 1960, il “2-4-6 task“, il quale può essere considerato come quello che ha dimostrato che le persone possono essere illogiche e irrazionali. In seguito, Wason ha ideato altri due compiti quali il “Selection task” noto anche come compito delle 4 carte, e il “THOG task“, ambedue con l’obiettivo di approfondire ulteriormente i suoi studi di psicologia del ragionamento.
Gli assai più famosi Kahneman e Tversky hanno incentrato i loro lavori sull’assunto che la ragione umana, lasciata a se stessa, tende a commettere una serie di falsità ed errori sistematici e che per prendere decisioni migliori bisogna essere consapevoli di questi pregiudizi.
In letteratura, pertanto, può essere considerato razionale un agente (umano o artificiale) se ragiona secondo principi basati su regole della logica, della teoria della probabilità e così via (Stein 1996). Ciò è in linea con la definizione formale data dal “Quadro standard”.
In un recente paper, pubblicato su arxiv.org, Macmillan-Scott & Musolesi (2024) hanno esaminato i pregiudizi cognitivi in sette LLM facendo uso dei test cognitivi proposti da Kahneman e Tversky, nonché da Wason e da altri. Hanno scoperto che i sette modelli spesso mostrano pregiudizi simili a quelli umani, come il bias di conferma e il pregiudizio di ancoraggio. Ad esempio, i modelli possono essere influenzati dalle informazioni presentate all’inizio di un compito o cercare di confermare le loro credenze preesistenti: questi pregiudizi possono avere un impatto significativo in applicazioni del mondo reale.
Il principale contributo che i due autori apportano alla letteratura, tuttavia, risiede nella dimostrazione che i sette LLM, fatti oggetto di valutazione, mostrano un tipo di irrazionalità diversa da quella degli esseri umani ed essa viene osservata su due dimensioni. In primo luogo, le risposte fornite dagli LLM presentano un ragionamento errato che differisce dai pregiudizi cognitivi osservati negli esseri umani. Ciò può tradursi in errori di calcolo, o violazioni delle regole di logica e probabilità, o semplici inesattezze fattuali. In secondo luogo, l’incoerenza delle risposte rivela un’altra forma di irrazionalità: vi è una significativa variazione nelle risposte fornite da ogni singolo modello per lo stesso compito. Ciò ha, pertanto, implicazioni per potenziali utilizzi di questi diversi modelli in applicazioni e scenari critici, ad esempio come la diplomazia o la medicina.
Il paper fornisce, in definitiva, un contributo metodologico per mostrare come le capacità di ragionamento razionale di questi LLM possono essere valutate e confrontate. La metodologia proposta ha potenziali applicazioni più ampie dello studio delle capacità cognitive dei LLM in quanto esse sono state originariamente progettate per il ragionamento umano e, considerato che i LLM cercano di simulare un linguaggio human-like, utilizzare questi compiti può permettere delle utili comparazioni al riguardo.
In conclusione, i risultati rivelano che i LLM fanno registrare ancora ampi pregiudizi e producono spesse volte informazioni non fattuali, del resto come era ampiamente prevedibile, ma che esiste un’ampia variazione nelle risposte fornite dai sette LLM. Il secondo aspetto degno di nota è che l’irrazionalità che essi esibiscono è assai differente da quella degli esseri umani che li hanno creati. Lavori ulteriori sono, dunque, necessari, ma i primi paper che sono stati già pubblicati rappresentano un buon punto di partenza per affrontare anche gli aspetti di sicurezza dei LLM oltre ad approfondire la tematica generale della (ir)razionalità delle macchine artificiali che si apprestano sempre più a popolare la vita quotidiana contemporanea.
— — — —
Abbiamo bisogno del tuo contributo per continuare a fornirti una informazione di qualità e indipendente.
SOSTIENICI. DONA ORA CLICCANDO QUI