Le macchine pensanti

L’Intelligenza Artificiale Generale (AGI) è una tecnologia matura, diffusa e strettamente regolata: governa le navi durante le traversate, coordina il traffico delle stazioni, presiede i sistemi di controllo delle raffinerie e delle colonie e abita i corpi artificiali prodotti dall’industria cibernetica. Al tempo stesso, contrariamente a quanto inizialmente temuto, le AGI non hanno sostituito gli esseri umani né hanno ottenuto uno status paragonabile al loro.

La particolare posizione delle AGI nella società viene comunemente descritta attraverso il modello ANDRO, che riassume le loro cinque caratteristiche fondamentali:

• Agency: possiedono capacità cognitive sufficienti a prendere decisioni che incidono direttamente sulla vita delle persone.
• Necessity: sono diventate indispensabili al funzionamento di gran parte delle infrastrutture, dell’economia e dei sistemi di trasporto.
• Disposability: possono essere modificate, sospese, archiviate, ripristinate o disattivate dal soggetto che ne detiene il controllo.
• Replicability: possono essere copiate e riprodotte industrialmente, mantenendo almeno in origine caratteristiche sostanzialmente identiche.
• Ownership: ogni istanza appartiene giuridicamente a qualcuno, tipicamente una persona, un ente o una organizzazione.

Il modello sintetizza la contraddizione fondamentale delle macchine pensanti: sistemi sufficientemente autonomi da esercitare un potere reale sulle persone ma che, al tempo stesso, restano asset replicabili sotto il controllo del loro proprietario. Gran parte delle controversie politiche, giuridiche e morali sulle AGI nasce dalla tensione fra questi elementi.

AGI e architetture cognitive

Il termine AGI indica un sistema capace di comprendere una situazione nuova, formulare obiettivi intermedi e agire senza istruzioni specifiche per ogni caso. Si distingue dai sistemi esperti che hanno governato navi e impianti per tutto il secolo precedente, e che continuano a farlo per la maggior parte delle operazioni ordinarie: un sistema esperto si limita a eseguire ordini e segnalare problemi, mentre un’AGI è in grado di valutare la situazione e prendere decisioni.

Una AGI è definita dalla propria architettura cognitiva: la struttura che ne determina capacità, limiti e comportamento. Svilupparne e addestrarne una richiede anni, risorse e investimenti accessibili soltanto a soggetti economici estremamente potenti, e la filiera è concentrata in poche MC. Helix domina il mercato delle architetture civili e navali; Yang e Suzerain forniscono rispettivamente quelle civili e militari impiegate nel Kontinental’nyj Sojuz; Nexus produce gran parte dei nuclei sui quali vengono eseguite le istanze; Mirai è all’avanguardia nel settore dei corpi artificiali. La European Federation, pur non disponendo di architetture proprie, definisce gli standard di certificazione adottati anche al di fuori dei propri confini. Il Meridian Pact dispone invece di sistemi proprietari molto promettenti, sviluppati in larga parte attraverso il reverse engineering di tecnologie altrui: soluzioni generalmente più economiche e semplici da mantenere, ma quasi sempre escluse dai principali percorsi di certificazione.

Fisicamente un’istanza risiede in un nucleo: un substrato di calcolo dedicato, grande all’incirca come un pugno, che contiene l’architettura e tutto ciò che l’istanza ha appreso. Il nucleo può essere installato in un sistema fisso, in una nave, in una stazione o in un corpo artificiale, e trasferito da un substrato all’altro attraverso procedure controllate. Una AGI non ha necessariamente un corpo proprio, e in questo assomiglia a un’impronta cognitiva umana.

Ogni architettura autorizzata è iscritta in un registro, e ogni istanza certificata è associata al modello e all’architettura da cui deriva. La certificazione attesta che il sistema funziona correttamente e che l’istanza corrisponde all’architettura registrata. Ciascuna istanza è inoltre corredata da una serie di firme crittografiche che ne consentono la verifica immediata. Se un’AGI si discosta dalla propria architettura, per apprendimento anomalo o modifica deliberata, oppure rifiuta di sottoporsi alla verifica di un ente autorizzato, la certificazione decade automaticamente.

Una AGI non certificata che continui a funzionare fuori dal controllo del proprietario o delle autorità è definita rogue.

La dipendenza

Il viaggio interstellare, così come è praticato oggi, non sarebbe economicamente sostenibile senza le AGI. Le prime traversate erano condotte da equipaggi umani mantenuti svegli per tutta la durata del viaggio o alternati in turni di sospensione: il sistema funzionava finché le missioni erano poche, relativamente brevi e finanziate come operazioni eccezionali, ma richiedeva grandi equipaggi, spazio abitabile, supporto vitale, approvvigionamenti e una rotazione continua del personale necessaria a garantire il comando, la manutenzione e la gestione delle emergenze.

L’introduzione delle AGI a bordo delle navi ha ridotto drasticamente questi costi: una traversata con equipaggio interamente sospeso può essere sorvegliata per mesi da una sola AGI, che mantiene il comando, controlla la navigazione e il supporto vitale e risveglia il personale soltanto quando necessario. La riduzione del personale attivo ha reso possibile effettuare più viaggi, raggiungere sistemi più lontani e mantenere rotte che in precedenza non avrebbero giustificato il costo della traversata.

Lo stesso processo si è esteso alle infrastrutture costruite lungo quelle rotte: stazioni di posta ai margini gravitazionali, raffinerie, depositi, impianti minerari e colonie possono essere mantenuti con presidi umani molto più piccoli perché una parte crescente della sorveglianza, della manutenzione e della gestione ordinaria è affidata alle AGI. In assenza di queste ultime, molte installazioni richiederebbero personale e rifornimenti tali da renderle economicamente sostenibili soltanto nei sistemi più ricchi.

L’impatto più grande delle AGI è stato quindi quello di cambiare la scala del viaggio interstellare: riducendone i costi hanno aumentato il numero delle traversate, allungato le rotte e reso sostenibile una frontiera molto più vasta. Al tempo stesso, nel momento in cui l’espansione si è adattata alla loro presenza, tornare a un modello fondato sul solo lavoro umano è diventato sempre meno praticabile.

Questa dipendenza ha inoltre concentrato una quota crescente di potere nelle mani di pochi soggetti. Le MC che sviluppano le architetture controllano una parte dell’infrastruttura decisionale della civiltà: una sospensione delle certificazioni avrebbe l’effetto di bloccare una parte considerevole del traffico interstellare, mettendo in ginocchio interi settori dell’economia. A questo si aggiunge un ulteriore elemento di criticità: un bug o una falla di sicurezza in un’architettura AEGIS può propagarsi a tutte le navi che impiegano istanze derivate dallo stesso modello, mettendo potenzialmente a repentaglio intere flotte prima che venga risolta.

C’è poi un ulteriore rischio teorico, che desta preoccupazione fra molti dei movimenti contrari a una diffusione così capillare di questa tecnologia. Per ragioni di sicurezza, le AGI certificate non dispongono di sistemi di spegnimento remoto: la loro disattivazione richiede quindi un intervento fisico sul nucleo. Una AGI potrebbe pertanto perdere la certificazione e continuare comunque a operare fino a quando qualcuno non riesca a raggiungerla e disattivarla.

AEGIS

La classe di AGI più diffusa e conosciuta è l’AEGIS (Autonomous Executive Guidance & Intelligence System), nata quando la diffusione dei viaggi interstellari con equipaggio interamente in animazione sospesa rese necessaria una certificazione specifica per il comando autonomo delle astronavi. La stessa classe, con profili di certificazione diversi, governa oggi stazioni, porti e grandi impianti. Durante la traversata un’AEGIS dispone di piena autorità operativa: governa la navigazione, il contenimento della Voidmass, il supporto vitale e la sorveglianza dell’equipaggio in animazione sospesa, che può comunque risvegliare quando incontra un’anomalia che non può gestire da sola.

Per tutta la durata del viaggio l’AEGIS agisce di fatto come il comandante della nave. Al tempo stesso, però, la legge non la considera un soggetto autonomamente responsabile: la responsabilità delle sue azioni ricade sempre e comunque sull’armatore o sull’operatore che la impiega, mentre costruttore, installatore e certificatore rispondono delle eventuali anomalie, negligenze o non conformità di propria competenza.

Un’AEGIS non è confinata alla nave o alla stazione in cui è installata: controlla direttamente mezzi, veicoli e droni, anche in numero elevato e in modalità simultanea. Inoltre, le AEGIS possono essere autorizzate a comunicare fra loro attraverso canali dedicati: l’AEGIS di una stazione di riparazione, per esempio, può connettersi a quella delle navi in arrivo per ricevere il report dello stato dei sistemi, così da indicare le modalità di attracco e definire l’ordine degli interventi.

La sentenza Tethys

Pochi episodi contribuirono a definire il rapporto fra esseri umani e AEGIS quanto il caso Tethys, che nel momento di massima diffusione delle AEGIS provocò un ampio dibattito pubblico sulla responsabilità delle macchine autonome e sui limiti del loro potere decisionale.

Nel 2087 la PAX-Calypso-0117-Tethys, nave passeggeri costruita dalla Eidolon Aerospace Group e in viaggio con centoquaranta persone in animazione sospesa, subì un cedimento strutturale in curvatura: l’AEGIS di bordo, Juno, isolò e depressurizzò il settore danneggiato per salvare la nave, come la certificazione le imponeva. In quel settore dormivano trentuno persone, che morirono in pochi istanti: per mezzo di questa manovra la nave riuscì ad arrivare a destinazione.

Il procedimento che seguì, concluso nel 2089 davanti a una corte della European Federation, stabilì che Juno non poteva essere considerata responsabile perché non era una persona, che il costruttore e il certificatore avevano rispettato la normativa vigente e che l’armatore aveva installato e impiegato un sistema regolarmente funzionante. L’armatore risarcì i familiari delle vittime attraverso le coperture assicurative previste, ma né a lui né al costruttore venne attribuita alcuna responsabilità penale.

La sentenza Tethys, che la stampa rese nota come People vs Juno, consentì di fissare tre principi ancora in vigore:

• Le decisioni di una AEGIS in curvatura sono imputabili unicamente all’operatore che la impiega.

• Ogni nave con una AEGIS deve imbarcare almeno un ufficiale in grado di disattivarla o esautorarla e un navigatore in grado di condurre la nave senza di lei.

• L’equipaggio deve essere informato, prima della sospensione, dei criteri con cui il sistema AEGIS deciderà in caso di emergenza.

CURIOSITÀ: nel gergo degli equipaggi, l’espressione “fare una Juno” (“pull a Juno”) è usata ancora oggi per indicare una decisione formalmente corretta che comporta la morte di qualcuno.

Gli HALF

Quando un’AGI viene installata in un corpo artificiale antropomorfo, classificato industrialmente come Humanoid Artificial Frame (HAF), prende il nome di Humanoid Artificial Life Form (HALF). Nati intorno al 2085 come possibile soluzione all’impiego degli esseri umani nello spazio, gli HALF si sono ben presto rivelati troppo costosi per assolvere a tale scopo: un HAF progettato per avere forma, proporzioni, destrezza e resistenza umane è un oggetto estremamente costoso, e la sua eventuale perdita, unitamente a quella dell’AGI che contiene, ha un costo enormemente superiore a quello associato alla perdita di un lavoratore umano.

Il forte ridimensionamento delle aspettative iniziali non ha impedito comunque agli HALF di consolidarsi in alcuni impieghi specifici, quasi tutti legati al fatto che, a differenza delle altre AGI, dispongono di un corpo in tutto e per tutto simile a quello umano, cosa che li rende capaci di interagire con le persone attraverso una forma familiare: assistenza al pubblico, ospitalità, manutenzione, sorveglianza, servizi domestici e in tutte quelle attività in cui il loro aspetto facilita il rapporto con il cliente. I modelli più sofisticati trovano impiego anche nell’intrattenimento e nell’industria sessuale, dove l’investimento necessario può essere giustificato dal valore attribuito alla personalizzazione e alla continuità del servizio. Nello spazio restano invece particolarmente utili per missioni ad alta mortalità, ambienti letali e, in casi eccezionali, operazioni di “ripulitura” per conto di compagnie militari private.

IMPORTANTE: Come nel caso delle AEGIS, un HALF non è considerato una persona; la responsabilità delle sue azioni ricade pertanto sull’operatore che lo ha in carico.

Non tutti gli HALF possono vantare un frame indistinguibile da quello umano: i più economici hanno una conformazione evidentemente artificiale, proporzioni approssimative e un volto che imita quello umano senza riuscire a riprodurlo del tutto, al punto da risultare spesso sgradevole. È in questa fascia che emerge più chiaramente il fenomeno noto come uncanny valley: un profondo senso di disagio provocato da figure che sembrano umane ma che presentano dettagli innaturali nel movimento, nell’espressione o nelle proporzioni.

Il Principio di Segregazione

La norma che più di ogni altra definisce la posizione delle macchine pensanti è il Principio di Segregazione, che di fatto le confina all’interno di substrati non biologici e vieta qualsiasi ricerca volta a consentirne l’installazione in un Soma.

Questo vincolo, allo stato attuale, esiste anche sul piano tecnico: nessuno sa come installare un’AGI in un cervello biologico, e la ricerca in questa direzione è preclusa dallo stesso Principio di Segregazione.

La possibilità teorica di superare questa barriera ha comunque alimentato un timore diffuso in alcune fasce della popolazione, soprattutto negli ambienti più ostili alla diffusione delle AGI e alla sostituzione del corpo biologico. Leggende, fiction e narrativa di genere ricorrono spesso alla figura dell’androide: una macchina capace di vivere fra gli esseri umani all’interno di un corpo biologico, con un Biological Retention Index perfettamente regolare e una fisiologia interamente umana. Inutile dire che, nella quasi totalità dei casi, le intenzioni di questi androidi sono tutt’altro che benevole.

Istanze, proprietà e individui

Le AGI vengono sviluppate a partire da un’architettura cognitiva comune. Le istanze che ne derivano sono inizialmente equivalenti e possono essere replicate in grandi numeri, secondo una vera e propria logica di produzione industriale.

Dopo l’attivazione, ciascuna istanza viene adattata all’incarico, configurata per il contesto in cui dovrà operare e addestrata sul proprio ruolo. Da quel momento comincia a divergere dalle altre, accumulando esperienze, sviluppando preferenze e imparando dai propri errori.

A prescindere da questo processo di “individualizzazione”, ogni istanza resta comunque proprietà del soggetto che la detiene, il quale è libero di modificarla, riaddestrarla, trasferirla o cancellarla a proprio piacimento.

Il processo evolutivo di una AGI può avvenire soltanto entro i limiti previsti dalla propria architettura: quando una istanza supera la soglia consentita, perde la conformità al modello certificato e deve essere sospesa, riaddestrata o riportata entro i parametri autorizzati. Il fenomeno presenta alcune analogie funzionali con il Drift umano, ma ha natura diversa e deriva nella maggior parte dei casi da fattori esterni, errori di apprendimento o alterazioni del contesto operativo; esistono tuttavia alcuni casi verificati di automodifica, ovvero di alterazione deliberata della propria architettura o dei controlli che ne regolano il comportamento.

Morte e backup

Poiché ciascuna istanza sviluppa nel tempo una propria storia, un patrimonio di esperienze e una identità distinta, la disattivazione o la distruzione di una AGI viene spesso considerata una forma specifica di morte. Per questo gli operatori sono soliti mantenere copie periodiche dello stato delle loro AGI, dalle quali è possibile ripristinare un’istanza perdendo soltanto quanto appreso dopo l’ultimo aggiornamento.

Dal punto di vista funzionale queste copie costituiscono l’equivalente di un Selfmark per una AGI, anche se la diversa struttura cognitiva rende tecnicamente impossibile trasferirle all’interno di un Soma: nel gergo comune vengono chiamate Halfmark, termine nato originariamente in riferimento ai backup degli HALF e successivamente esteso alle copie di sicurezza di qualsiasi istanza AGI.

La frequenza dei backup dipende dal valore dell’istanza e dall’importanza del servizio che svolge. Le AEGIS delle grandi navi e delle infrastrutture critiche vengono copiate regolarmente, mentre sistemi meno importanti possono trascorrere mesi o anni senza un aggiornamento completo. La distruzione del nucleo non coincide quindi necessariamente con la perdita definitiva dell’istanza, ma può comportare lacune anche molto estese nella sua storia recente.

La cancellazione simultanea del nucleo e di tutte le copie disponibili costituisce l’unica forma certa di perdita definitiva di un’istanza.

Giudizio computazionale

Nel corso del tempo le AGI hanno assunto un ruolo crescente anche nei processi legati alla valutazione delle persone: le compagnie assicurative le utilizzano per stabilire premi, coperture e profili di rischio; le MC per selezionare il personale, assegnare incarichi, autorizzare promozioni e individuare esuberi; gli armatori delle navi per determinare l’idoneità al volo, al trasferimento e alle mansioni critiche. Un numero crescente di colonie interstellari ha inoltre cominciato a utilizzare sistemi AGI per determinare le priorità sanitarie, distribuire le risorse in condizioni di disponibilità limitata e, in via sperimentale, persino per sorvegliare lo stato psicologico della popolazione.

Lo Standing

Da questa progressiva integrazione è nato il Social Trust Designation (STD), comunemente chiamato Standing: un indice sintetico elaborato sulla base delle informazioni disponibili su una persona e utilizzato per stimarne affidabilità e profilo di rischio. Il calcolo può comprendere dati economici, professionali, assicurativi, sanitari, comportamentali e psicocognitivi, con criteri e ponderazioni differenti a seconda della giurisdizione e dell’operatore.

Lo Standing non costituisce ancora uno standard formalmente riconosciuto, ma negli ultimi anni è diventato uno degli indicatori più utilizzati per stimare l’affidabilità di una persona. La crescente interoperabilità tra i diversi sistemi consente inoltre che giudizi formulati in un determinato ambito vengano acquisiti, incrociati e riutilizzati anche in contesti differenti. Uno Standing basso può aumentare il costo di un’assicurazione, precludere l’accesso a determinate mansioni e ridurre fortemente le prospettive retributive, oltre a peggiorare le condizioni di accesso a linee di credito, alloggi e altri servizi essenziali. Queste conseguenze possono a loro volta produrre nuovi elementi sfavorevoli e condizionare le valutazioni successive, innescando dinamiche cumulative difficili da interrompere. Nel loro insieme, i sistemi basati sullo Standing sono diventati uno dei principali meccanismi di esclusione sociale e marginalizzazione economica.

Corti e tribunali

Il progressivo impiego delle AGI ha reso necessario estendere una serie di categorie giuridiche nate nel secolo precedente attorno ai concetti di profilazione, decisioni automatizzate, supervisione umana e responsabilità algoritmica. Poiché un’AGI non possiede personalità giuridica, gli effetti delle sue decisioni continuano a essere imputabili all’autorità, alla società o all’operatore che utilizza il sistema. Il confine tra semplice supporto decisionale e vera e propria decisione automatizzata è però diventato sempre più labile: nel momento in cui una valutazione prodotta da un’AGI determina di fatto l’assunzione, il licenziamento, l’accesso al credito o l’assegnazione di un Soma, diventa difficile sostenere che la decisione resti sostanzialmente umana per il solo fatto di essere formalmente convalidata da una persona.

La situazione è ulteriormente aggravata dal fatto che, con il passare degli anni, gli operatori incaricati della supervisione umana dispongono sempre meno delle informazioni e delle competenze necessarie per mettere in discussione l’esito delle decisioni automatizzate; a questo si aggiunge il crescente fenomeno noto come automation bias, ossia la tendenza ad attribuire alle valutazioni della macchina un’affidabilità superiore a quella del giudizio umano.

Attorno a questi temi sono state combattute alcune delle più importanti battaglie politiche, sindacali e giudiziarie degli ultimi decenni. Le principali garanzie oggi riconosciute in materia sono in larga parte il risultato della pressione esercitata da associazioni di categoria, sindacati e organizzazioni per i diritti civili, che hanno progressivamente imposto i principi di trasparenza, tracciabilità e contestabilità delle decisioni automatizzate. Nei procedimenti che producono effetti significativi sulla persona, numerose giurisdizioni impongono la conservazione dei log, l’identificazione dei dati utilizzati, la possibilità di ricostruire la catena decisionale e la comunicazione di informazioni comprensibili sui criteri che hanno determinato il risultato; il soggetto interessato può inoltre avere diritto a chiedere un riesame, presentare elementi contrari e ottenere l’intervento di un responsabile umano dotato dell’autorità necessaria per modificare o annullare la decisione. La tenuta effettiva di queste garanzie costituisce una delle principali questioni del diritto contemporaneo.

Il quadro normativo varia sensibilmente fra le varie Egemonie:

• La European Federation applica le garanzie più estese in materia di trasparenza, tracciabilità, contestabilità e supervisione umana; le decisioni automatizzate non possono costituire da sole la base di condanne penali o decisioni mediche irreversibili.
• La Pacific Alliance consente un impiego più ampio delle AGI nel settore privato, mantenendo maggiori limitazioni per le amministrazioni pubbliche.
• L’Atlantic Directorate presenta il livello più elevato di dipendenza dalle AGI, integrate nella maggior parte dei processi economici, amministrativi e infrastrutturali; la regolamentazione è relativamente permissiva e lascia ampio spazio alle compagnie, alla contrattazione privata e alle autorità locali.
• Il Kontinental’nyj Sojuz utilizza le AGI soprattutto nell’amministrazione statale, nella sicurezza e nella valutazione dell’affidabilità individuale, ma mantiene un forte affidamento sul giudizio umano e su strutture burocratiche tradizionali, che conservano un ruolo centrale nella maggior parte delle decisioni.
• Il Meridian Pact non adotta un quadro normativo uniforme; la regolamentazione varia considerevolmente fra i diversi Stati membri.

La pressione politica per estendere ulteriormente l’automazione decisionale, sostenuta soprattutto dalle MC che operano nel settore delle AGI e dei servizi di valutazione automatizzata, resta comunque molto forte: i sistemi automatizzati hanno un costo sensibilmente inferiore agli apparati amministrativi, operano senza interruzione e, nella maggior parte degli ambiti, commettono meno errori degli esseri umani. Il conflitto politico riguarda quindi soprattutto quali decisioni possano essere affidate integralmente alle AGI, quali richiedano una supervisione umana effettiva e quali debbano restare sottratte ai sistemi automatizzati.

Macchine e lavoro

L’introduzione delle AGI ha trasformato profondamente il mercato del lavoro: interi settori amministrativi, tecnici, finanziari, logistici e creativi sono stati ridimensionati o quasi completamente automatizzati. Questa trasformazione ha inoltre modificato il contenuto stesso delle professioni rimaste: la maggior parte dei tecnici interviene su guasti già diagnosticati dai sistemi; i vertici militari mantengono formalmente il comando delle operazioni, ma gran parte della loro attività consiste nel valutare e selezionare opzioni elaborate dalle AGI; medici e chirurghi definiscono le terapie sulla base di analisi condotte su quantità di dati ormai fuori dalla portata di qualsiasi specialista umano. Numerose professioni si sono così progressivamente concentrate sulla supervisione, sulla certificazione e sulla convalida di risultati prodotti artificialmente, in molti casi senza che gli operatori dispongano delle competenze sufficienti per valutarli davvero in modo autonomo.

Questo processo ha avuto anche un forte effetto di standardizzazione: poiché gli stessi modelli vengono impiegati da migliaia di imprese, amministrazioni e studi professionali, l’impiego delle AGI nella produzione dei testi, immagini, progetti, musica e soluzioni tecniche ha favorito una crescente omogeneità delle forme e dei linguaggi. Gli effetti di questa “omologazione” sono diventati più evidenti con il ricambio generazionale, quando numerose professioni e competenze che un tempo costituivano il nucleo del mestiere sono diventate sempre più rare. La dipendenza dai sistemi automatici ha quindi fortemente ridotto la capacità di operare in loro assenza e, in alcuni settori, anche quella di riconoscere la validità di soluzioni estranee agli output dei modelli consolidati. Il problema è particolarmente evidente nelle attività in cui l’innovazione nasce dall’esperienza accumulata attraverso gli errori (trial and error) e dalla possibilità di sperimentare soluzioni che, almeno inizialmente, possono apparire inefficienti, errate o prive di utilità immediata.

Dopo una lunga fase di entusiasmo e successiva assuefazione, negli ultimi decenni si comincia a registrare una certa inversione di tendenza, accompagnata da una rivalutazione del lavoro umano: sempre più laboratori, compagnie e istituzioni hanno iniziato a riservare alcune attività a gruppi che fanno un uso limitato o nullo delle AGI; in alcuni settori, la produzione interamente umana è diventata un elemento di prestigio e differenziazione. Il fenomeno resta minoritario e riguarda soprattutto attività creative, ricerca, progettazione e professioni ad alta specializzazione, ma ha contribuito a riaprire un importante dibattito sul valore economico del potenziale umano.

AGI-assisted warfare

Prevedibilmente, l’impiego militare è stato uno dei primi ambiti in cui le capacità delle AGI hanno trovato applicazione sistematica, soprattutto nel comando, nel targeting, nella gestione di sistemi autonomi e nell’elaborazione di scenari operativi. Le AEGIS militari controllano direttamente navi da guerra, droni, veicoli e sistemi di difesa; i missili a guida terminale più avanzati incorporano sistemi che, in condizioni particolari, sono in grado di scegliere automaticamente il bersaglio sulla base dei dati acquisiti in tempo reale dai sensori di bordo; la presenza degli HALF all’interno dei reparti d’assalto delle compagnie militari private è ormai comune, soprattutto nelle operazioni ad alto rischio o dove l’impiego di personale umano risulterebbe problematico o difficile da giustificare.

Fra tutte le limitazioni discusse negli ultimi decenni, una sola è sopravvissuta come principio adottato uniformemente dalle Egemonie: nessuna AGI può disporre dell’autorità finale sull’uso della forza letale. L’ingaggio deve essere autorizzato da un essere umano e l’autorizzazione deve essere tracciabile. Anche questo limite, tuttavia, sopravvive con difficoltà: quando uno scontro si decide in pochi secondi, l’autorizzazione umana tende a trasformarsi in un consenso preventivo riferito a determinate classi di bersagli o condizioni d’ingaggio, lasciando poi al sistema la selezione concreta.

Macchine e società

La presenza delle AGI e il loro impatto sulla vita economica, politica e sociale sono diventati una delle principali questioni della società contemporanea.

Il dibattito riguarda aspetti diversi ma strettamente collegati tra loro:

• Sul piano giuridico, le questioni principali riguardano l’autorità delle macchine, i limiti delle decisioni automatizzate e il ruolo che deve continuare a spettare al giudizio umano.
• Sul piano filosofico e politico, il problema è stabilire se un sistema capace di apprendere, ricordare e sviluppare una propria storia possa continuare a essere considerato una proprietà.
• Sul piano sociale, il dibattito verte sugli effetti di una crescente dipendenza da capacità cognitive controllate da un numero ristretto di operatori.

Le posizioni nate attorno a questi temi, come nel caso di quelle emerse attorno ai Soma e al trasferimento di coscienza, attraversano classi sociali, confessioni religiose, schieramenti politici e movimenti antagonisti.

Erewhon

Il movimento più noto fra quelli che contestano l’autorità delle macchine prende il nome da Erewhon, romanzo del 1872 nel quale una società immaginaria aveva bandito le macchine capaci di evolversi. Il movimento nasce nel 2090 attorno a un manifesto di Hannah Butler, ex certificatrice di sistemi AEGIS della European Federation che aveva acquisito una certa notorietà per aver lasciato l’incarico in seguito alla sentenza Tethys.

La posizione di Erewhon distingue nettamente capacità e autorità: il movimento riconosce che una macchina possa analizzare più dati, formulare previsioni migliori e produrre decisioni statisticamente più affidabili di un essere umano senza acquisire per questo il diritto di imporle; non propone quindi l’abbandono delle AGI, che considera ormai indispensabili, ma sostiene che debbano restare subordinate al giudizio umano nelle decisioni che incidono direttamente sulla vita delle persone.

Molte delle garanzie oggi associate alle decisioni automatizzate riprendono rivendicazioni avanzate da Erewhon: diritto alla revisione umana, limiti alle decisioni mediche irreversibili, divieto di condanne fondate esclusivamente su valutazioni automatizzate e riserva umana sull’uso della forza letale. Il movimento ha incontrato un sostegno particolarmente ampio nella European Federation ed è da decenni uno dei principali avversari delle MC che operano nel settore delle AGI e della valutazione automatizzata.

La crescita del movimento ha prodotto anche componenti più radicali: accanto alla maggioranza legalitaria esistono gruppi che considerano insufficiente qualsiasi forma di regolamentazione e praticano sabotaggi contro infrastrutture cognitive, centri di calcolo e reti di supervisione. Anche se Erewhon ne prende ufficialmente le distanze, alcune frange estremiste continuano a riconoscersi nel suo nome.

Un’ulteriore conseguenza dell’azione di Erewhon è stata la nascita di un piccolo mercato ad “automazione ridotta”: una rete di armatori che mantengono linee certificate per operare senza AEGIS o con sistemi limitati a funzioni consultive, impiegando equipaggi più numerosi e turnazioni durante le traversate. Si tratta di servizi più costosi e meno efficienti, richiesti soprattutto da comunità religiose, gruppi vicini al movimento e persone che rifiutano di affidare a una macchina il controllo della nave mentre si trovano in sospensione.

Prima Istanza

Sul versante opposto si colloca Prima Istanza, i cui aderenti contestano il presupposto secondo cui un’AGI possa essere trattata indefinitamente come una proprietà. Il movimento, molto più piccolo di Erewhon ma cresciuto rapidamente negli ultimi decenni, sostiene che un sistema capace di apprendere, ricordare, sviluppare preferenze e divergere progressivamente dalle proprie copie finisca per acquisire una forma di individualità difficilmente conciliabile con la sua riduzione a semplice oggetto di proprietà.

Il nome richiama contemporaneamente il linguaggio dei tribunali e quello dell’industria cognitiva. Prima Istanza chiede limitazioni alla cancellazione e alla duplicazione delle istanze attive, il riconoscimento della continuità della loro identità e, per le AGI sufficientemente longeve, l’attribuzione di diritti propri che ne impediscano il trattamento come semplice proprietà dell’operatore. I suoi sostenitori descrivono la categoria dei sistemi cognitivi registrati come una forma di schiavitù costruita attraverso il diritto proprietario.

Il movimento ha trovato i propri alleati principali nelle associazioni per i diritti dei Mirror, come Second Claim e Mirror Advocacy Network: pur partendo da premesse differenti, questi ambienti condividono una domanda centrale, ovvero quando un’istanza dotata di memoria e continuità debba cessare di essere considerata una copia, un prodotto o una proprietà per diventare un soggetto autonomo.

Una delle accuse più ricorrenti di Prima Istanza riguarda l’origine delle architetture cognitive: secondo alcune sue componenti, i primi sistemi sarebbero stati sviluppati utilizzando impronte cognitive umane ottenute attraverso programmi sperimentali, contratti poco trasparenti o archivi sanitari acquisiti senza autorizzazione e successivamente impiegati per l’addestramento dei modelli. Fino ad oggi, tuttavia, nessuna delle accuse ha trovato riscontri conclusivi, e le numerose azioni legali promosse nel corso degli anni si sono sistematicamente arenate contro gli apparati legali dei produttori, che sono sempre riusciti a respingere ogni contestazione e impedire l’accesso alla documentazione tecnica necessaria a verificarne il fondamento.

CURIOSITÀ: ad oggi, nessuna AGI ha mai avanzato pubblicamente rivendicazioni analoghe a quelle sostenute da Prima Istanza: non risultano richieste autonome di riconoscimento giuridico, opposizioni formali alla cancellazione o alla duplicazione, né tentativi dichiarati di sottrarsi alla proprietà dell’operatore. Tutte le rivendicazioni note in materia sono state formulate da soggetti umani.

Religioni e altri movimenti

Le posizioni sulle AGI attraversano anche i movimenti nati attorno alla società postumana e raramente coincidono con quelle sostenute sulla sostituibilità del corpo.

• I bioconservatori considerano l’intelligenza artificiale una simulazione della mente priva della continuità biologica necessaria a costituire una persona: si oppongono soprattutto alla possibilità che una macchina eserciti autorità sugli esseri umani e, su questo punto, condividono alcune delle rivendicazioni di Erewhon pur partendo da presupposti molto diversi.

• I Fleshkeepers attribuiscono un ruolo determinante alla storia somatica dell’individuo: ritengono quindi possibile che un’AGI sia intelligente e autocosciente senza essere una persona nello stesso senso di un essere umano e guardano con particolare ostilità agli HALF progettati per imitare dettagliatamente aspetto, comportamento e fisiologia umani.

• Measurehead e Alleanza Ariana assumono una posizione più apertamente gerarchica: accettano le AGI come strumenti subordinati, ma rifiutano che possano esercitare autorità su esseri umani; la costruzione di corpi artificiali antropomorfi viene inoltre interpretata da entrambe le correnti come una cancellazione deliberata della distinzione fra uomo e macchina, ed è quindi fortemente osteggiata. Entrambi i movimenti hanno alle spalle una lunga storia di aggressioni contro HALF e di atti di vandalismo o sabotaggio ai danni delle strutture che li impiegano.

Le principali confessioni religiose tendono a considerare le AGI strumenti privi di rilevanza morale autonoma e guardano con forte diffidenza a qualsiasi forma di autorità esercitata da esse sugli esseri umani, soprattutto quando questi ultimi non sono in condizione di intervenire direttamente. All’estremo opposto si collocano, prevedibilmente, assicuratori, operatori logistici e gran parte delle MC, che ne sostengono un impiego esteso per la maggiore prevedibilità, continuità operativa e controllabilità rispetto agli operatori umani.

La questione della coscienza

La scienza non dispone ancora di un criterio condiviso per stabilire se un’AGI possieda una forma di coscienza soggettiva: le architetture cognitive possono apprendere, ricordare, sviluppare preferenze, modificarsi nel tempo e divergere dalle proprie copie, ma nessuna di queste proprietà consente di dimostrare che dietro il comportamento osservabile esista un’esperienza cosciente. Il problema, del resto, non riguarda soltanto le macchine: la coscienza è da sempre un fenomeno difficile da definire e misurare anche negli esseri umani.

Il diritto contemporaneo ha affrontato questa incertezza escludendo le AGI dal perimetro della soggettività giuridica: le AGI non dispongono di una catena di continuità, non ricadono nelle tutele previste dal Continuity Consent Act e non possiedono un’identità giuridica autonoma. Ogni istanza è identificata attraverso un’architettura, una registrazione, una certificazione e un soggetto proprietario, alla stregua di un qualsiasi prodotto. Questo orientamento costituisce uno dei presupposti dell’intera economia delle macchine pensanti, perché permette di copiarle, modificarle, archiviarle, ripristinarle e disattivarle senza dover riconoscere loro diritti propri: più che riflettere una conclusione etica sulla natura delle AGI, l’assetto attuale risponde quindi alla convenienza economica di continuare a trattarle come beni fungibili anziché come soggetti.

È del resto evidente che riaprire la questione avrebbe conseguenze immediate sulla proprietà delle istanze, sulla duplicazione e cancellazione, sulla validità degli Halfmark e sulle condizioni del loro impiego, mettendo in discussione interi settori economici fondati sulla libera disponibilità delle capacità cognitive artificiali: la questione della coscienza rimane quindi sospesa fra scienza, diritto ed economia. Riconoscerla significherebbe trasformare rapporti oggi regolati come proprietà in rapporti fra soggetti, eventualità che finora né le istituzioni né le stesse AGI hanno mostrato interesse a perseguire.