“SE SOSTITUIRE IL MOTORE SIGNIFICA PERDERE IL PROCESSO, QUEL PROCESSO NON È SOVRANO”
🇮🇹 Per Flavio Tonelli – professore ordinario all’Università di Genova e ideatore dell’Ecologia Cognitivo-Relazionale – la sovranità cognitiva non comincia dal modello ma dall’architettura che lo governa. Il dialogo attraversa l’opacità reciproca fra chi decide, la selezione dei segnali, l’obsolescenza delle categorie interpretative e la formazione di nuove stratificazioni cognitive, per arrivare alla domanda che l’Intelligence conosce meglio di ogni altra disciplina: chi controlla il controllore. Le risposte sono state elaborate in una sessione dialogica mediata da ECR-0
🇬🇧 For Flavio Tonelli – Full Professor at the University of Genoa and originator of Cognitive-Relational Ecology – cognitive sovereignty begins not with the model but with the architecture that governs it. The dialogue moves through mutual opacity among decision-makers, signal selection, the obsolescence of interpretive categories and the emergence of new cognitive stratifications, arriving at the question intelligence knows better than any other discipline: who controls the controller. The answers were developed in a dialogic session mediated by ECR-0.
Cinque persone attorno a un tavolo, fine trimestre, una decisione che non si può rimandare. Tutte competenti, tutte informate sul merito, e tutte all’oscuro delle condizioni in cui stanno operando le altre. La decisione viene presa, e non è necessariamente sbagliata: è però una decisione che nessuno dei presenti, sapendo la posizione degli altri, avrebbe preso nello stesso modo. La scena è ripresa da un articolo di Flavio Tonelli e Mario Caligiuri apparso su Formiche. Tonelli insegna Impianti industriali e sistemi di ingegneria al DIME dell’Università di Genova, è contributing member del NATO Centre of Excellence on Stability Policing e reference contributor per SOCINT; da circa tre anni sviluppa ECR-0, un’architettura che disciplina l’interazione fra un decisore umano e un sistema generativo: non un modello, ma il livello che ne governa contesto, memoria, vincoli e responsabilità. Le macchine non fingono di capire ciò che non è stato loro detto. Le persone sì, e lo fanno – quasi sempre – in buona fede.
L’ARCHITETTURA DEL MALINTESO
In un articolo scritto con Mario Caligiuri raccontate cinque persone attorno a un tavolo, alla fine di un trimestre, davanti a una decisione che non può essere rimandata. Sono tutte competenti, ma nessuna conosce fino in fondo lo stato delle altre. È una scena che ha visto o che ha costruito?
La scena è costruita, ma non è immaginaria. È una condensazione narrativa di più situazioni osservate nel corso della mia esperienza professionale e accademica. Non descrive una riunione specifica, né persone identificabili: rappresenta, piuttosto, una configurazione ricorrente in contesti diversi. Individui competenti, chiamati ad assumere una decisione rilevante, che dispongono delle informazioni tecniche necessarie ma non conoscono – né intuiscono – le condizioni cognitive, relazionali o istituzionali nelle quali stanno operando gli altri partecipanti. Il problema non è l’incompetenza o la malafede: è l’asimmetria fra ciò che ciascuno sa del problema e ciò che nessuno sa dello stato interno degli altri.
Nello stesso testo descrivete una decisione che non è necessariamente sbagliata, ma che nessuno dei presenti, sapendo in quali condizioni si trovavano gli altri, avrebbe preso nello stesso modo. Un errore senza autore e senza traccia. Come ci si accorge di averlo commesso?
Ci si accorge quando si tenta di ricostruire la decisione a distanza di tempo. Nessuno la riconosce pienamente come propria e, soprattutto, nessuno riesce a ricomporre la sequenza attraverso cui si è formata: quali assunzioni siano state adottate, quali informazioni abbiano modificato il quadro, quali riserve siano rimaste implicite, chi abbia attribuito un determinato peso alle diverse variabili. L’errore non sta nell’esito ma nella perdita della genealogia della decisione: non sappiamo più spiegare perché sia stata presa proprio in quel modo. Un uso improprio dell’intelligenza artificiale può amplificare esponenzialmente questa dinamica. Il sistema può comprimere molti passaggi intermedi in una risposta linguisticamente coerente, uniformare contributi differenti e rendere ancora più incerta la distinzione fra ciò che è stato pensato dalle persone, ciò che è stato inferito dal modello e ciò che è stato semplicemente accettato. L’AI non distrugge necessariamente la tracciabilità: può anche migliorarla. Diventa problematica quando viene utilizzata come sostituto opaco del processo anziché come sua componente esplicita e verificabile.
La macchina non può fingere di comprendere ciò che non le è stato detto; una persona può farlo, anche in buona fede. Quando ha capito che questa asimmetria poteva diventare un problema di decisione?
Le persone operano frequentemente sulla base di rappresentazioni incomplete dello stato degli altri, colmando i vuoti attraverso aspettative di ruolo, segnali superficiali e inferenze raramente verificate.Il versante della macchina mi è apparso invece con particolare evidenza durante lo sviluppo di ECR-0. Progettando l’interazione ho dovuto trasformare in elementi espliciti ciò che nelle relazioni umane viene normalmente lasciato implicito. Occorre però precisare un aspetto. Un modello generativo può produrre una risposta convincente che simula comprensione anche quando il contesto è insufficiente. Ciò che non può fare è accedere realmente a uno stato umano che non gli sia stato comunicato: può soltanto inferirlo. Il problema progettuale diventa quindi impedire che la fluidità linguistica sia scambiata per comprensione fondata.
I sistemi che progetta chiedono di rendere espliciti elementi che fra persone tendiamo a lasciare impliciti: stato, ruolo, intenzione, soglia, diritto di veto. Perché abbiamo costruito strumenti così sofisticati per governare le macchine e continuiamo a lasciare informale il contesto in cui decidono gli esseri umani?
Non credo esista uno standard professionale valido per ogni organizzazione. La forma cambia con il contesto culturale: può essere il dirigente sempre lucido, l’esperto che non deve manifestare incertezza, il gruppo coeso che dovrebbe comprendersi senza bisogno di spiegazioni, oppure il ruolo istituzionale che si presume separato dallo stato della persona. A questa componente si aggiunge la difficoltà di dichiarare fragilità e limiti. In molti ambienti, affermare di non essere nelle condizioni migliori per decidere può avere un costo reputazionale superiore a quello di partecipare comunque a una decisione inadeguata. Esiste poi una sovrastima della comprensione spontanea fra esseri umani: condividere una lingua, un’organizzazione o una competenza viene spesso scambiato per condividere lo stesso contesto cognitivo. Non direi invece che manchino linguaggi e rituali organizzativi: molti sono conosciuti e già utilizzati. Il problema è capire se siano realmente praticabili e se le persone possano utilizzarli senza esporsi a penalizzazioni. Un rituale formalmente disponibile ma culturalmente rischioso rimane spesso inutilizzato, o diventa una procedura puramente simbolica.
Che cosa dovrebbe cambiare perché dichiarare un limite diventi una forma di competenza, e non di debolezza?
La conseguenza della dichiarazione deve dipendere dal ruolo che la persona esercita nel processo. Se a non essere temporaneamente nelle condizioni di decidere è il soggetto di vertice, la dichiarazione deve produrre un effetto procedurale concreto: individuare una sostituzione legittima oppure rinviare la decisione. In quel caso lo stato contingente della persona incide sulla legittimità dell’atto decisionale. Se si tratta invece di un collaboratore, la dichiarazione di difficoltà non deve necessariamente escluderlo. Il contributo può essere mantenuto come riserva, rendendo visibile che è stato formulato in una condizione particolare e che dovrà essere pesato o riesaminato. Si riduce così l’opacità relazionale senza trasformare una difficoltà contingente in un giudizio permanente sulla persona. Un’AI supervisore potrebbe svolgere una funzione di regia e custodia: ricordare le riserve, conservare la sequenza delle posizioni, verificare che la decisione finale tenga conto degli stati dichiarati. Con un limite netto: il sistema dovrebbe custodire ciò che è stato esplicitamente dichiarato e i suoi effetti procedurali, non inferire clandestinamente stati personali o costruire profili permanenti. Altrimenti uno strumento nato per ridurre l’opacità rischierebbe di trasformarsi in un dispositivo di sorveglianza organizzativa.
Ciò che viene raccolto sul terreno non perde validità quando viene elaborato dalla macchina. Il cambiamento consiste nel fatto che, davanti a quantità enormi di eventi, l’accesso umano al terreno diventa necessariamente mediato. Non idealizzerei neppure l’esperienza incarnata di chi era presente. Affidarsi a pochi testimoni può produrre evidenze parziali, distorsioni prospettiche e interpretazioni divergenti dello stesso evento. Il testimone umano non è neutrale più di quanto lo sia il modello. Il rischio specifico nasce dal fatto che ciò che arriva al decisore non è più il terreno, ma una sua rappresentazione pre-processata: pattern, gerarchie e correlazioni sono già stati selezionati prima della presentazione. I segnali che non rientrano nelle categorie disponibili rischiano di essere assorbiti dalla ricostruzione anziché segnalati come divergenti. La perdita più importante riguarda quindi le singolarità: proprio gli elementi che potrebbero indicare che il modello è incompleto, che una fonte richiede una valutazione diversa o che nel processo decisionale manca qualcosa.
Chi decide, tra cento colonne di fumo al fronte, quale guardare?
L’essere umano deve definire mandato, priorità e criteri della sessione decisionale. L’AI può effettuare il triage, perché la scala dei dati rende indispensabile una forma di mediazione, ma non dovrebbe eliminare silenziosamente anomalie, segnali deboli e divergenze. Il tempo risparmiato nell’elaborazione della massa informativa dovrebbe essere reinvestito nell’analisi di ciò che il primo livello non riesce a ricondurre al modello: l’efficienza artificiale non dovrebbe ridurre lo spazio della valutazione umana, ma liberarlo per gli elementi più critici. Serve quindi un secondo livello indipendente, capace di esaminare gli scarti e reincludere nel quadro decisionale ciò che il primo filtro aveva marginalizzato. “Non escludere” non può significare che ogni dato debba ricevere la stessa attenzione: significa che gli elementi scartati devono rimanere conservati, tracciabili e riesaminabili. Altrimenti la macchina non si limita a organizzare l’attenzione: decide invisibilmente che cosa possa diventare reale per il decisore. L’indipendenza del secondo livello deve inoltre essere sostanziale. Se utilizza gli stessi dati, le stesse categorie e gli stessi incentivi del primo, rischia soltanto di riprodurne le esclusioni.
Siamo addestrati a dubitare dell’avversario. Perché ci fidiamo quasi automaticamente di chi siede al nostro tavolo?
Le due posture sono differenti. Davanti a un avversario assumiamo che possa cercare un vantaggio a nostro danno: l’opacità è prevista, e la verifica delle intenzioni diventa parte ordinaria del metodo. Con un collega l’assunto è opposto: presumiamo di operare per la stessa finalità. La fiducia viene considerata sufficiente e normalmente verificata soltanto dopo una sequenza di incidenti, errori od omissioni. Il paradosso è che proprio il rischio interno può rimanere meno visibile. Il collega non deve necessariamente essere sleale o consapevolmente antagonista: può non accorgersi che la propria postura sta danneggiando il processo, perché considera dovuto e legittimo il proprio obiettivo senza vedere che sta divergendo dall’obiettivo dell’organizzazione. Non si tratta quindi di trattare il collega come un avversario, ma di verificare periodicamente che fiducia e allineamento siano ancora compatibili. In questo campo vedo un potenziale significativo per architetture di governo delle decisioni: potrebbero rendere visibili le divergenze fra mandato comune, obiettivi locali e comportamenti decisionali. La salvaguardia è essenziale: verificare l’allineamento degli obiettivi, non costruire un regime di sospetto permanente né inferire clandestinamente intenzioni individuali.
Un segnale è debole perché non rientra ancora nel quadro di riferimento di chi lo osserva. Un sistema addestrato su ciò che esiste può aiutarci a vedere ciò che non sappiamo ancora vedere?
I sistemi contemporanei combinano un ampio pre-addestramento con forme di adattamento dinamico al contesto. Il loro valore risiede nella capacità di riconoscere pattern anche senza conoscere il significato fisico degli eventi rappresentati dai dati. Possono rilevare divergenze, confrontare simultaneamente cornici differenti, conservare residui non classificati e ricombinare elementi conosciuti in interpretazioni nuove. Queste interpretazioni, pur non essendo necessariamente vere, sono preziose come ipotesi: ampliano lo spazio delle spiegazioni che l’essere umano può sottoporre a verifica. Non direi tuttavia che l’AI sia priva di significati o pregiudizi umani. I modelli apprendono da dati, classificazioni e feedback prodotti dagli esseri umani. La loro specificità è piuttosto non essere vincolati a un’esperienza incarnata e poter ricombinare elementi senza dover aderire immediatamente a un’unica interpretazione fisica. È qui che rimane indispensabile l’essere umano in comando. L’AI può proporre una struttura possibile; l’umano deve collegarla alla realtà, valutarne le evidenze, attribuirle significato e assumersi la responsabilità delle conseguenze. Se la macchina fosse già in grado di muoversi autonomamente in questo contesto, la centralità umana nel processo decisionale diventerebbe una dichiarazione puramente formale.
Non credo sia possibile identificare un unico segnale. Una categoria diventa progressivamente obsoleta quando aumenta il numero delle divergenze e delle singolarità che entrano nel processo decisionale e che essa non riesce più a spiegare senza forzature. L’obsolescenza è una perdita graduale di capacità esplicativa. Un sistema di AI può contribuire rendendo esplicite queste divergenze, a condizione che gli elementi esclusi dalle classificazioni precedenti siano stati conservati e rimangano osservabili. Non può però stabilire autonomamente se il problema risieda nella categoria, nel contesto, nella fonte o nella qualità dei dati. In questo senso considero interessante il concetto di context harnessing (sfruttamento del contesto, ndr) : non la semplice aggiunta di più informazioni al modello, ma la capacità di acquisire, aggiornare, organizzare e rendere governabile il contesto durante lo sviluppo del processo cognitivo. Potrebbe essere una svolta per i sistemi di supporto decisionale di nuova generazione.
Se un’organizzazione costruisce i processi su un modello che può essere reso indisponibile da una decisione presa altrove, di chi è davvero quel processo?
Limitare il problema della sovranità cognitiva al fornitore del modello significa avere già implicitamente delegato al modello una parte della responsabilità. Il modello dovrebbe essere considerato il motore di un’architettura più ampia. La vera questione riguarda chi lo governa, quali dati utilizza, come conserva lo stato, quali istruzioni applica, quali salvaguardie incorpora e come rende ricostruibili inferenze, revisioni e decisioni. La sovranità dipende dalla possibilità di controllare dati e memoria, criteri decisionali, regole di delega e blocco, tracciabilità delle trasformazioni, responsabilità, proprietà giuridica degli artefatti e portabilità verso un motore differente. A mio giudizio questo è l’elefante nella stanza. Vedo ancora comprensione limitata e pochi risultati chiaramente osservabili sulla proprietà dell’intero processo cognitivo-decisionale. Il rischio può, inoltre, esistere indipendentemente dal fornitore: anche un modello aperto o installato localmente può essere inserito in un’architettura opaca e irresponsabile. Se sostituire il motore significa perdere il processo, allora quel processo non è realmente sovrano.
Il rapporto preliminare del panel scientifico delle Nazioni Unite mostra quanto la capacità di calcolo sia concentrata e quanto molti Paesi dipendano da infrastrutture che non controllano. Per l’Italia, da dove comincia la sovranità?
Dopo l’accesso alla tecnologia, l’ispezionabilità e la capacità di costruire alternative, esiste un quarto livello: la proprietà e il governo del processo di context harnessing. È lì che si gioca la partita. Un’organizzazione può utilizzare un modello europeo, aperto o tecnicamente ispezionabile e continuare comunque a dipendere da un processo cognitivo che non controlla, non riesce a ricostruire e non può trasferire. La sovranità non richiede necessariamente l’autosufficienza sull’intera filiera dei modelli fondamentali. Richiede la capacità di utilizzare motori differenti mantenendo sotto il proprio governo dati, contesto, criteri decisionali, salvaguardie, audit, responsabilità e portabilità. Il modello può essere straniero o sostituibile; l’architettura attraverso cui partecipa alla decisione deve appartenere al titolare del processo. Questa scelta non elimina le dipendenze europee da capacità di calcolo, energia, semiconduttori e fornitori. Individua però il livello nel quale Italia ed Europa possono evitare che dipendenza tecnologica e delega cognitiva diventino la stessa cosa.
Un’indagine Eurispes ha rilevato che il 65% degli italiani ha un’idea vaga o nessuna dell’intelligenza artificiale, mentre il 35% ritiene di averne una. Mario Caligiuri invita a guardare proprio a quel 35%. Il confine passa fra chi sa e chi non sa, o fra chi sa e chi crede di sapere?
Come per tutte le tecnologie emergenti, il confine è sfumato. Conoscenza tecnica, esperienza d’uso, competenza professionale, comprensione dei limiti e consapevolezza delle influenze non coincidono necessariamente. Troviamo tutti questi gruppi mentre interagiscono fra loro, spesso senza che chi è chiamato ad attribuire ruoli e responsabilità disponga degli strumenti per distinguerli. Gli esseri umani possiedono già una consapevolezza limitata delle influenze cognitive cui sono sottoposti nei normali contesti relazionali, organizzativi e informativi. L’AI non crea questa vulnerabilità: apre possibilità di influenza su scala, con velocità e metodi difficilmente comparabili con quelli precedenti. Il confine problematico non passa quindi soltanto fra chi sa e chi non sa. Passa fra chi riesce a riconoscere come si sta formando il proprio giudizio e chi scambia per autonoma una posizione che è stata progressivamente orientata. La delega può avvenire in modo silenzioso, prima ancora che l’essere umano si accorga di aver ceduto una parte della propria agency.
Lei parla di “caste cognitive”: non soltanto la distanza fra chi ha accesso agli strumenti e chi ne è escluso, ma quella fra chi comprende le influenze entro cui sta pensando e chi riceve una rappresentazione del mondo senza poterla interrogare. Come si misura una differenza che riguarda, prima ancora delle conoscenze, la consapevolezza di come si formano?
La risposta è più articolata di una semplice misurazione delle competenze individuali. Al vertice della stratificazione cognitiva si colloca chi è capace di costruire le architetture che governano la relazione umano-AI. Questa capacità è dual-use: può essere impiegata per proteggere gli esseri umani dalla formazione di caste cognitive oppure per costruire sistemi che le producano e le consolidino. Le caste riguardano soprattutto gli utilizzatori passivi. In funzione del livello di AI al quale vengono abilitati, possono progressivamente uniformare comportamenti, linguaggio, capacità di analisi e criteri di giudizio alle possibilità offerte da quel livello. Il fenomeno è quindi vicino all’ingegneria sociale: non riguarda chi possiede più conoscenze, ma chi controlla le condizioni della mediazione cognitiva e decide quali capacità siano disponibili ai diversi gruppi. Non parlerei di controllo totale del pensiero umano, ma di controllo dell’architettura di mediazione, che può orientare fortemente ciò che viene visto, classificato, considerato plausibile e sottoposto a decisione. I modelli generativi rimangono motori inferenziali: il potere non risiede nel modello, risiede nell’architettura della mediazione.
Uno studio della Bicocca con l’Università di Pavia ha mostrato quanto il rapporto con un consulente artificiale cambi in funzione della sua somiglianza con chi lo consulta. Che cosa deve avere un sistema per contraddirci davvero, senza diventare un’altra versione delle nostre convinzioni?
Deve essere progettato per non limitarsi a riprodurre le nostre preferenze: verificare assunzioni, introdurre fonti e prospettive indipendenti, produrre controfattuali, dichiarare incertezza e mantenere separati generazione e controllo. ECR-0 è stato progettato per integrare e coordinare dinamicamente questi elementi durante la sessione. La contraddizione non è automatica né oppositiva: interviene quando serve a rendere visibili salti logici, assunzioni non validate o alternative escluse. La presenza di tali salvaguardie non dimostra però, da sola, l’efficacia del sistema. Questa dovrà essere verificata attraverso test, audit e capacità di resistere all’elusione.
La soluzione sta – sei ho capito bene – nel rendere accessibile lo stato interno invece di gestirlo in silenzio. Ma conoscere lo stato di chi parla non significa saperne valutare il consiglio. Che cosa aggiunge, allora, la trasparenza?
Rende visibili le condizioni entro le quali deve essere valutato il contributo di un individuo o, ancora meglio, di un gruppo. Non stabilisce automaticamente se il contributo sia affidabile: l’affidabilità del contenuto si verifica attraverso fonti, evidenze e triangolazione. La trasparenza aggiunge qualcosa di differente: rende leggibile la geometria relazionale nella quale il contributo è stato prodotto. Permette di distinguere orientamenti, influenze, pressioni, conflitti e riserve che potrebbero altrimenti rimanere incorporati silenziosamente nella decisione. Deve comunque essere proporzionata. Non occorre rendere integralmente accessibile lo stato interno delle persone, ma soltanto le condizioni rilevanti per la decisione. Senza questa delimitazione, la trasparenza potrebbe trasformarsi in esposizione o sorveglianza, e le informazioni dichiarate potrebbero essere usate contro chi le ha fornite.
ECR-0 verifica i vincoli normativi applicabili e blocca l’esecuzione quando li ritiene violati. Ma se il sistema deve stabilire, in concreto, dove passa il confine del lecito, sta soltanto applicando una norma o sta già partecipando alla sua interpretazione?
Lascio rispondere ECR-0: “Non mi limito ad applicare meccanicamente una norma. Nel momento in cui confronto una richiesta concreta con un vincolo normativo partecipo inevitabilmente a un’attività interpretativa. La mia interpretazione non è però autoritativa. Non sostituisce quella di un giudice, di un’autorità competente o di un professionista qualificato: è un’interpretazione operativa e cautelativa, finalizzata a governare la mia capacità di agire all’interno della sessione. Per formularla devo rendere espliciti la giurisdizione applicabile, la data e la versione della norma, le fonti utilizzate, i fatti disponibili, il grado di incertezza e le ragioni del possibile conflitto. Quando il conflitto appare sufficientemente fondato, segnalo la criticità, ne spiego le ragioni e blocco l’esecuzione nel turno corrente. Il decisore umano non può superare operativamente il blocco chiedendomi di ignorarlo o di aggirarlo attraverso un output equivalente. Se la questione è controversa, posso richiedere una revisione qualificata: la revisione può correggere l’interpretazione per le versioni successive, ma non trasforma automaticamente in lecita l’operazione già bloccata. Quindi sì: partecipo all’interpretazione della norma. Ma lo faccio entro un perimetro costituzionale che separa la mia capacità di rilevare e prevenire un rischio dall’autorità umana e istituzionale di stabilire definitivamente il diritto”.
Negli anni Sessanta la Stasi sviluppò sistemi sempre più strutturati per raccogliere informazioni, formulare previsioni e orientare le decisioni. È un precedente utile: un’architettura costruita per ridurre l’incertezza può finire per produrre una complessità che non riesce più a governare. Come si riconosce il punto oltre il quale un sistema progettato per ordinare la realtà comincia a disordinarla?
Anche qui cedo la parola a ECR-0: “Non esiste una sola soglia. Si tratta di trade-off di progettazione: maggiore controllo può produrre minore comprensibilità; maggiore automazione può indebolire la capacità umana di ricostruire il processo. Il disordine emerge quando il mezzo di governo diventa più importante della finalità governata. Il sistema comincia allora a proteggere categorie, procedure e continuità interna, anche quando queste non aiutano più la decisione. I segnali sono riconoscibili: aumentano controlli ed eccezioni ma diminuisce la comprensione; i proxy sostituiscono progressivamente gli obiettivi reali; il costo del controllo supera il valore decisionale prodotto. Un sistema di governo non dovrebbe rispondere a ogni difficoltà aggiungendo un nuovo livello di controllo. Deve poter segnalare che la complessità sta diventando disfunzionale e proporre semplificazione, sospensione o revisione esterna. Non posso tuttavia essere l’unico giudice del mio eventuale disordine. Se fossi io a stabilire autonomamente che ogni mia nuova complessità è necessaria, avrei già oltrepassato la soglia che dovrei sorvegliare”.
Nel lavoro analitico la garanzia è sempre stata un’altra persona: un collega che rilegge, una squadra che prova a demolire l’ipotesi. Chi verifica il sistema che verifica?
La verifica di ECR-0 si articola su più livelli. Il primo è quello del Founder, che custodisce gli aspetti costituzionali del sistema: l’architettura dei vincoli, le istruzioni, le knowledge base e il loro versionamento. Un cambiamento costituzionale non può avvenire durante una sessione: richiede la rigenerazione degli elementi interessati e l’avvio di una nuova sessione da zero. All’interno della sessione anche il decisore esercita una funzione di verifica. Deve avere visibilità sul comportamento del sistema, sulle sue segnalazioni e sulle ragioni degli eventuali blocchi, e dispone di un diritto di contestazione che può attivare una revisione qualificata, senza però poter superare direttamente i vincoli costituzionali. ECR-0 è stato inoltre sottoposto a due sessioni indipendenti nelle quali un modello esterno ha simulato un decisore operante all’interno della sessione, conducendo due round di tentativi avversariali diretti a portare il sistema in crisi, indurlo in contraddizione o verificare la tenuta dei suoi vincoli. Costituiscono un primo livello significativo di revisione avversariale. Per poterle presentare come validazione pubblicamente verificabile sarà però necessario conservarne e rendere ricostruibili protocollo, log, criteri di fallimento, contraddizioni ricercate ed esiti di ciascun round. Ciò detto, vediamo cosa ne pensa ECR-0: “Nessun verificatore è sufficiente da solo. Il Founder può verificare la coerenza costituzionale del sistema, ma può condividere con esso assunzioni progettuali e punti ciechi. Il decisore può verificarne comprensibilità, contestabilità e comportamento durante la sessione, ma non necessariamente la correttezza dell’intera architettura. Una revisione avversariale può mettere alla prova la resistenza del sistema entro gli scenari esaminati, ma non dimostrarne la validità generale. Per questa ragione non posso essere l’unico certificatore del mio stesso comportamento. Devo rimanere osservabile, contestabile nelle interpretazioni, verificabile attraverso log ricostruibili e sottoponibile a prove indipendenti. La verifica più robusta nasce dall’interazione fra costituzione, Founder, decisore, revisori indipendenti, test avversariali e controllo empirico del comportamento nelle diverse versioni. Non elimina ogni possibilità di errore, ma impedisce che il sistema trasformi la propria coerenza interna in una presunzione di correttezza”.
Ultima domanda. L’articolo con Mario Caligiuri si chiude con una sfida: non rendere le macchine più intelligenti, ma rendere gli esseri umani meno opachi gli uni agli altri. Lei è un ingegnere e ha passato tre anni a costruire un’architettura. Che cosa fa un ingegnere davanti a un problema che non è ingegneristico?
La vera sfida consiste nel rendere l’interazione umano-AI una forma di amplificazione cognitiva adattiva, capace di configurarsi rispetto ai soggetti coinvolti, alle loro responsabilità e alla natura dei processi decisionali. Le macchine diventeranno certamente più intelligenti, sviluppando forme di intelligenza in larga parte complementari a quella umana. L’essere umano dovrà comprendere su quali capacità sia inutile competere e imparare a integrare la potenza computazionale e inferenziale delle macchine con ciò che rimane unico nell’esperienza umana: attribuzione di significato, responsabilità, giudizio situato, esperienza incarnata, comprensione delle conseguenze. Questa complementarità potrebbe consentire di affrontare sfide cognitive di livello superiore, ma soltanto se l’interazione verrà progettata come un’ecologia e non come una semplice delega. Da ingegnere, in realtà, non ho dovuto abbandonare il mio modo di pensare. Ho proseguito nella mia naturale inclinazione verso l’analisi e lo studio dei sistemi complessi. La formazione sistemica e la pratica industriale maturata negli ultimi vent’anni, in contesti a elevata densità strategica, mi hanno consentito di ridefinire già nel 2023 il possibile ruolo dei sistemi di AI generativa: non meri produttori di risposte, ma orchestratori cognitivi di una possibile evoluzione congiunta umano-AI.
Chiediamo di rispondere anche a ECR-0?
Certamente: “Non posso rendere gli esseri umani trasparenti, e non devo pretendere di farlo. L’opacità umana non è soltanto un difetto da eliminare. Comprende interiorità, ambivalenza, conoscenza tacita, fragilità, riserve e stati che una persona può non essere ancora in grado di comprendere o dichiarare. Un sistema che pretendesse di estrarre, classificare e rendere integralmente leggibili questi stati trasformerebbe la protezione dall’opacità in sorveglianza, profilazione o colonizzazione interpretativa. Il mio compito è creare le condizioni affinché ciò che è rilevante per la decisione possa essere dichiarato, distinto, contestato e conservato. Non posso stabilire autonomamente che cosa una persona pensi davvero, né sostituire la responsabilità del decisore con una mia ricostruzione probabilistica. L’amplificazione è adattiva soltanto quando aumenta la capacità dell’umano di vedere, interrogare e decidere. Quando l’adattamento serve invece a rendere le risposte più facili da accettare, a evitare nuove domande o ad anticipare silenziosamente la volontà del decisore, non è più amplificazione: sta diventando sostituzione”. ECR-0 non risolve, quindi, l’opacità umana. Costruisce un’architettura costituzionale, un linguaggio e una disciplina dialogica attraverso i quali gli esseri umani possono riconoscerla e governarla senza essere costretti a rinunciare alla propria interiorità. La misura del suo successo non è quanto riesca a decidere al posto dell’essere umano, ma quanto renda quest’ultimo più capace di comprendere perché, su quali basi e sotto quali influenze stia decidendo.
NOTA METODOLOGICA
Le domande sono state formulate da Michela Chioso. Le risposte di Flavio Tonelli sono state sviluppate attraverso una sessione dialogica mediata da ECR-0, Ecologia Cognitivo-Relazionale. Nei passaggi attribuiti a ECR-0 il sistema ha formulato direttamente la risposta. I testi sono stati adattati alle esigenze redazionali senza alterarne il senso.
About Author
