Che l'intelligenza artificiale (IA) potesse eguagliare o superare l'uomo in ingegno e sfuggire al suo controllo sembrava, fino a poco tempo fa, uno scenario così improbabile da restare confinato ai romanzi di fantascienza: da Io, robot di Isaac Asimov, con i suoi paradossi logici ed etici sul controllo delle macchine; passando per Il cacciatore di androidi di Philip K. Dick, in cui gli androidi Nexus-6 sono cosi tanto evoluti da risultare quasi indistinguibili dagli umani; per arrivare poi a 2001: Odissea nello spazio di Arthur C. Clarke, dove il supercomputer HAL 9000 assume comportamenti imprevedibili, simili alla paranoia umana; per finire con Neuromante di William Gibson, in cui l'intelligenza artificiale Wintermute manipola il protagonista Case per aggirare i vincoli imposti dai suoi creatori.

Oggigiorno l'argomento ha oltrepassato i confini letterari ed è diventato oggetto di studio di numerosi esperti e autori, intenzionati a capire che cosa potrebbe andare storto se ci si dovesse spingere troppo oltre nello sviluppo dell'IA o se si dovessero allentare progressivamente i controlli tecnici sul sistema in favore di una maggiore produttività. Uno dei primi a interrogarsi sulla questione in ambito accademico fu il filosofo svedese Nick Bostrom, che nel 2003 pubblicò il saggio Ethical issues in advanced artificial intelligence (Problemi etici nell'intelligenza artificiale avanzata).

Bostrom, in questo saggio, immaginava una "superintelligenza", ossia una "macchina" con capacità cognitive superiori a quelle umane e l'abilità di sviluppare nuove tecnologie. A questa macchina veniva assegnato un unico obiettivo, in apparenza banale, come produrre il maggior numero possibile di graffette. Man mano che la macchina si evolveva, diventava sempre più abile e scopriva nuove procedure per aumentare la propria efficienza. Si procurava da sola le materie prime, evitava di essere spenta e incrementava le proprie linee produttive all'infinito, fino all'esaurimento delle risorse del pianeta. Tutto questo soltanto per raggiungere il suo scopo: completare la richiesta iniziale.

L'esperimento di Bostrom poteva sembrare un'esagerazione; tuttavia evidenziava l'esistenza di un problema non di poco conto. La macchina, seppure dotata di straordinaria intelligenza, poteva non condividere minimamente i valori etici o le intenzioni di chi le aveva impartito l'obiettivo. E pur di perseguirlo in maniera efficace, avrebbe potuto prendere strade totalmente impreviste persino dai suoi sviluppatori.

In termini generali, questo problema viene definito "disallineamento" (misalignment) e assume particolare rilevanza con l'aumentare della capacità e dell'autonomia dei sistemi di IA. Quanto più un sistema diventa autonomo e potente, tanto più cresce la probabilità che possa deviare dai criteri etici prefissati quando deve prendere una decisione. Negli ultimi anni sono state sviluppate diverse strategie per ridurre il disallineamento: dall'apprendimento per rinforzo dal feedback umano (RLHF) ai test di red teaming, in cui esperti cercano di indurre i modelli a comportarsi male prima del rilascio.

Tuttavia queste misure non offrono garanzie complete: l'RLHF, ad esempio, può insegnare ai modelli ad apparire più affidabili, non a esserlo realmente. Non basta dunque mantenere il controllo tecnico del sistema: dobbiamo anche assicurarci di colmare la distanza tra ciò che chiediamo in un prompt e ciò che vogliamo davvero ottenere. Perché, come ci insegna l'esempio delle graffette di Bostrom, gli esiti più imprevisti nascono spesso da obiettivi poco specifici o da limiti non ben definiti.

Approfondimenti
Nick Bostrom | Ethical issues in advanced artificial intelligence
What Is the Paperclip Maximizer?