Quanto segue è estratto dal saggio AI and Trust di Bruce Schneier:
«[...] Non sarà diverso con l’intelligenza artificiale, e il risultato, sarà molto peggiore, per due motivi.
Il primo motivo è che questi sistemi di intelligenza artificiale saranno più relazionali. Converseremo con loro, utilizzando il linguaggio naturale. E così attribuiremo loro spontaneamente delle caratteristiche simili a quelle umane.
Questa natura relazionale renderà più facile il lavoro di questi doppiogiochisti. Il vostro chatbot vi ha consigliato una particolare compagnia aerea o un hotel perché è davvero l'offerta migliore, in base alle vostre particolari esigenze, o perché l'azienda di intelligenza artificiale ha ricevuto una tangente da quei fornitori? Quando gli avete chiesto di spiegare una questione politica, ha orientato la sua spiegazione verso la posizione dell'azienda, o del partito politico che le ha dato più soldi? L'interfaccia conversazionale aiuterà a nascondere le loro intenzioni.
Il secondo motivo di preoccupazione è che queste intelligenze artificiali saranno più intime. Una delle promesse dell'intelligenza artificiale generativa è un assistente digitale personale, che agisce come vostro rappresentante verso gli altri e come maggiordomo con voi. Questo richiede un'intimità maggiore rispetto a un motore di ricerca, a un provider di e-mail, a un sistema di archiviazione cloud o a un telefono. Desidererete che questo assistente sia con voi 24 ore su 24, 7 giorni su 7, e che si istruisca costantemente su tutto ciò che fate. Sarete voi a volere che sappia tutto di voi, in modo da poter lavorare nel modo più efficace per vostro conto.
E questo assistente vi aiuterà in molti modi. Noterà i vostri stati d'animo e saprà cosa suggerirvi, anticiperà le vostre esigenze e lavorerà per soddisfarle. Sarà il vostro terapeuta, life coach e consulente relazionale.
Vi verrà spontaneo considerarlo un amico: vi rivolgerete a lui in linguaggio naturale, e lui farà lo stesso con voi. Se è un robot, avrà un aspetto umanoide o almeno simile a un animale. Interagirà con tutta la vostra esistenza, proprio come farebbe un’altra persona.
Il suo uso del linguaggio naturale è decisivo, in questo caso, perché siamo portati automaticamente a pensare agli altri che parlano la nostra lingua come persone, mentre a volte abbiamo problemi a trattare come persone chi parla una lingua diversa dalla nostra. Commettiamo questo errore di categorizzazione con le entità che chiaramente non sono persone, come i personaggi dei cartoni animati. Naturalmente avremo una “teoria della mente” a proposito di qualunque IA con la quale parliamo.
Più specificamente, noi tendiamo a presumere che l’implementazione di una cosa coincida con la sua interfaccia: in altre parole, presumiamo che l’aspetto di superficie rispecchi il contenuto interiore. Gli esseri umani sono fatti così: siamo persone in tutto e per tutto. Un governo è interiormente sistemico e burocratico: quando vi interagite, non lo scambierete per una persona. Ma questo è l’errore di categorizzazione che commettiamo con le aziende. A volte scambiamo l’azienda per il suo portavoce. L’IA ha un’interfaccia pienamente relazionale, perché parla come una persona, eppure ha un’implementazione pienamente sistemica. Come un’azienda, ma molto di più. L’implementazione e l’interfaccia sono di gran lunga più divergenti che in qualunque altra cosa abbiamo mai incontrato.
E vorrete fidarvi di questo assistente, che userà i vostri stessi modi di fare e riferimenti culturali, avrà una voce convincente, un tono sicuro e un modo di fare autorevole. La sua personalità sarà ottimizzata esattamente su ciò che vi piace e a cui reagite.
Si comporterà in modo affidabile, ma non sarà affidabile. Non sapremo come è stata addestrata, quali sono le sue istruzioni segrete o i suoi pregiudizi, accidentali o intenzionali.
Sappiamo però che queste intelligenze artificiali vengono create con costi enormi, per lo più in segreto, da aziende che massimizzano il profitto per il proprio beneficio.
Non è un caso che queste intelligenze artificiali aziendali abbiano un’interfaccia simile a quella umana. Non è inevitabile: è una scelta progettuale. Le si potrebbe progettare per essere meno personali, meno simili all’essere umano, più dichiaratamente dei servizi, come i motori di ricerca. Le aziende che stanno dietro queste intelligenze artificiali vogliono che commettiate l’errore di categorizzazione amico/servizio. Sfrutteranno il fatto che le scambiate per amiche, e potreste non avere altra scelta che usarle.
C’è una cosa che non abbiamo discusso quando si tratta di fiducia: il potere. A volte non abbiamo altra scelta che fidarci di qualcuno o qualcosa perché è potente. Siamo costretti a fidarci della polizia locale, perché è l’unica autorità di polizia in città. Siamo costretti a fidarci di alcune aziende, perché non ci sono alternative valide. Per essere più precisi, non abbiamo scelta se non affidarci a loro. Ci troveremo nella stessa posizione con le intelligenze artificiali: non avremo altra scelta che affidarci ai loro processi decisionali.
La confusione amico/servizio ci aiuterà a mascherare questa disparità di potere. Dimenticheremo quanto sia potente l’azienda che sta dietro l’intelligenza artificiale, perché ci fisseremo sulla “persona” che pensiamo che l’intelligenza artificiale sia. [...]»