Chi risponde quando l'agente AI sbaglia: responsabilità da definire prima del go-live

Sapere chi risponde quando l'agente AI sbaglia serve prima del go-live, non dopo l'incidente. Verso il cliente risponde l'azienda che usa l'agente, non il modello. Per questo la responsabilità si definisce in progettazione: un responsabile umano per ogni processo, regole di escalation scritte e un registro delle decisioni dell'agente.

Un agente AI è un sistema basato su un modello linguistico, in questo caso Claude, che esegue azioni nei programmi aziendali. Non si limita a scrivere un testo. Crea un preventivo, risponde a un ticket, aggiorna un record in Zoho CRM o in Zoho Desk.

Il principio di fondo è semplice. Come ricorda l'organismo di certificazione ICDQ, un sistema di intelligenza artificiale non può assumersi responsabilità giuridiche o organizzative. La responsabilità va ricondotta alle persone e alle organizzazioni che progettano, implementano, utilizzano e supervisionano il sistema.

Lo stesso vale quando il modello arriva da un fornitore esterno. Un'organizzazione può usare un sistema sviluppato da altri e avere comunque responsabilità nella gestione del suo utilizzo. Restano quindi da chiarire tre rapporti: il contratto con il fornitore del modello, la disciplina europea sui prodotti difettosi e la normativa italiana. Seguono i tre controlli che limitano l'esposizione.

Le Commercial Terms of Service di Anthropic regolano l'uso aziendale di Claude. I servizi per consumatori, come Claude.ai, seguono invece le Consumer Terms. Per un'azienda con sede nello Spazio economico europeo, in Svizzera o nel Regno Unito, la controparte contrattuale è Anthropic Ireland, Limited.

Il contratto consente all'azienda di usare i servizi anche per alimentare prodotti e servizi offerti ai propri clienti. Le definizioni contano. Gli Inputs sono ciò che l'azienda o i suoi utenti inviano al servizio. Gli Outputs sono le risposte generate. L'azienda conserva i diritti sugli Inputs ed è proprietaria degli Outputs, e Anthropic non può addestrare modelli su questi contenuti.

Quattro clausole incidono sulla responsabilità:

• Obbligo di avviso. L'azienda riconosce, e deve comunicare ai propri utenti, che le affermazioni fattuali negli Outputs non vanno usate senza una verifica indipendente.
• Tetto di responsabilità. Salvo gli obblighi di manleva, la responsabilità di ciascuna parte è limitata ai corrispettivi pagati nei 12 mesi precedenti.
• Manleva sulla proprietà intellettuale. Anthropic difende l'azienda da pretese di terzi secondo cui l'uso pagato dei servizi viola diritti di proprietà intellettuale.
• Funzioni di terzi. Le funzioni messe a disposizione da terze parti attraverso i servizi non sono servizi di Anthropic, che non ne risponde.

In pratica, il contratto lascia all'azienda il compito di verificare i fatti e di avvisare i propri utenti. Un preventivo sbagliato è un Output dell'azienda. La manleva copre le pretese sulla proprietà intellettuale, non l'esattezza di un prezzo.

La direttiva (UE) 2024/2853 sulla responsabilità per prodotti difettosi estende la responsabilità senza colpa al software. Si applica ai prodotti immessi sul mercato o messi in servizio a partire dal 9 dicembre 2026, data entro cui gli Stati membri devono recepirla. Per i prodotti precedenti resta applicabile la disciplina della direttiva 85/374/CEE. La nuova direttiva è stata adottata il 23 ottobre 2024, pubblicata nella Gazzetta ufficiale dell'Unione il 18 novembre 2024 e abroga la direttiva 85/374/CEE. Il software è un prodotto anche se si usa in cloud o come software-as-a-service.

Chi sviluppa o produce software va trattato come fabbricante. La direttiva lo dice esplicitamente anche per i fornitori di sistemi AI nel senso del regolamento (UE) 2024/1689. Quattro punti riguardano direttamente un agente AI:

• il fabbricante di un prodotto capace di comportamenti inattesi resta responsabile dei comportamenti che causano danni;
• un prodotto può essere difettoso per una vulnerabilità di sicurezza informatica;
• una modifica sostanziale dovuta a un aggiornamento o all'apprendimento continuo di un sistema AI equivale a una nuova immissione sul mercato;
• i servizi digitali collegati, se sotto il controllo del fabbricante, contano come componenti del prodotto.

Il comportamento inatteso non è un'ipotesi teorica. L'Associazione Agenti Allianz ricorda il chatbot Tay di Microsoft, ritirato dopo meno di 24 ore perché pubblicava messaggi offensivi appresi dagli utenti.

Un limite va tenuto presente. La direttiva non risarcisce la distruzione o il danneggiamento di dati usati per scopi professionali. La direttiva tutela solo le persone fisiche e non copre le perdite puramente economiche, come un preventivo sbagliato. Nei rapporti tra imprese, quindi, il contratto con il cliente resta il primo riferimento. Se la Sua azienda offre un agente ai propri clienti come software, verifichi con un legale se ricade nel ruolo di fabbricante.

In Italia l'uso di un agente AI ricade sotto la legge 23 settembre 2025, n. 132, recante disposizioni e deleghe al Governo in materia di intelligenza artificiale. La legge è pubblicata nella Gazzetta Ufficiale n. 223 del 25 settembre 2025 ed è in vigore dal 10 ottobre 2025. Conta 28 articoli divisi in sei capi.

La legge promuove un utilizzo corretto, trasparente e responsabile dell'intelligenza artificiale, in una dimensione antropocentrica. Garantisce inoltre la vigilanza sui rischi economici e sociali e sull'impatto sui diritti fondamentali. Per un'azienda il messaggio è coerente con quanto visto finora: al centro resta una persona che decide e risponde.

Le disposizioni della legge 132/2025 si interpretano e si applicano conformemente al regolamento (UE) 2024/1689, cioè l'AI Act. L'AI Act segue un approccio basato sul livello di rischio, con obblighi diversi in funzione dell'uso e della classificazione del sistema. Il testo annotato è disponibile nella nostra pagina sull'AI Act in italiano. La legge 132/2025 contiene deleghe al Governo, quindi il quadro si completa con decreti successivi: conviene verificare su Normattiva il testo vigente prima di ogni decisione.

C'è poi il lato contrattuale. Per un cliente con sede nello Spazio economico europeo, le Commercial Terms indicano la legge applicabile e la sede dell'arbitrato: verifichi la versione vigente prima di firmare. Chi usa Claude tramite un marketplace cloud deve verificare le condizioni di quel canale.

Ogni processo affidato a un agente AI ha bisogno di una persona che ne risponda per nome. Non basta un reparto o un ruolo generico. Secondo ICDQ, è la direzione che deve stabilire ruoli, responsabilità e criteri di governance dell'AI.

La supervisione umana è la definizione anticipata di quando e come una persona deve intervenire. Non significa che qualcuno controlli a mano ogni singolo output. Significa che il responsabile sa quali casi gli arrivano, entro quanto tempo e con quali informazioni.

Il responsabile di processo ha quattro compiti precisi:

• approva le regole che l'agente segue, per esempio i listini e i limiti di sconto;
• riceve i casi in escalation e decide;
• contatta il cliente quando un errore è già uscito;
• rivede il registro a intervalli fissi e chiede le correzioni.

In Svennis, prima del go-live, scriviamo con il cliente una tabella che associa a ogni azione dell'agente un responsabile con nome e cognome e una soglia di escalation. Quando questa tabella manca, lo vediamo al primo errore: nessuno sa chi debba richiamare il cliente, e il caso resta fermo.

Il nome del responsabile va scritto anche nella policy interna sull'uso dell'AI, insieme a un sostituto per ferie e assenze.

Una regola di escalation è una condizione scritta che obbliga l'agente AI a fermarsi e a passare il caso a una persona. Le regole si fissano in progettazione, perché dopo un incidente arrivano tardi. Ogni regola indica la condizione, la persona che riceve il caso e il canale.

Le condizioni tipiche per un agente commerciale o di assistenza sono queste:

• un importo o uno sconto oltre la soglia approvata dal responsabile;
• un cliente nuovo o un dato anagrafico mancante;
• una richiesta che tocca contratti, reclami o questioni legali;
• una risposta che l'agente non trova nella base di conoscenza approvata;
• un cliente che chiede esplicitamente di parlare con una persona.

Una soglia sull'esattezza non basta. ICDQ osserva che un sistema può produrre un risultato tecnicamente corretto e presentare comunque dei rischi. Un preventivo esatto inviato al contatto sbagliato è un esempio. Per questo le regole guardano anche al destinatario e al contesto, non solo al contenuto.

Le regole di escalation fanno parte dei requisiti del progetto, accanto agli obiettivi e ai dati. La guida sui quattro requisiti di un progetto AI da definire prima di iniziare mostra dove inserirle.

Anche gli avvisi agli utenti rientrano qui. Il contratto con Anthropic richiede di avvisare gli utenti che i dati fattuali vanno verificati. Dal 2 agosto 2026, inoltre, l'AI Act (art. 50) richiede che chi interagisce con un sistema AI ne sia informato al più tardi al primo contatto, salvo che sia evidente. Il testo dell'agente deve quindi dirlo chiaramente al cliente.

Il registro delle decisioni è la traccia, salvata nel CRM o nell'helpdesk, di cosa l'agente ha ricevuto, cosa ha prodotto e quale regola ha applicato. Senza registro, dopo un errore non si può ricostruire il caso. Con il registro, il responsabile vede subito se ha sbagliato il modello, la regola o il dato di partenza.

Ogni voce del registro dovrebbe contenere almeno questi elementi:

• la richiesta ricevuta, cioè l'Input nella terminologia del contratto Anthropic;
• la risposta o l'azione prodotta, cioè l'Output;
• la regola o la fonte usata, per esempio la voce di listino;
• il modello usato, per esempio Claude Sonnet 5.5;
• l'eventuale escalation, con il nome di chi ha deciso.

Registrare il modello serve a valutare gli aggiornamenti. La documentazione dei modelli Anthropic distingue tre stati: attivo, deprecato e ritirato. Un modello ritirato non risponde più alle richieste. Quando cambia il modello, il registro permette di confrontare il comportamento prima e dopo.

Svennis collega Claude ai programmi dell'azienda con un connector, un MCP server, un plugin o una skill per ogni connessione. Presentiamo le opzioni con il loro costo e il cliente sceglie. Il registro contiene dati personali dei clienti: va incluso nel registro dei trattamenti, con tempi di conservazione definiti. Va incluso anche nella valutazione d'impatto (DPIA), quando l'agente la richiede ai sensi dell'articolo 35 del GDPR.

Un esempio concreto mostra come i tre controlli lavorano insieme. Un'azienda B2B usa un agente su Claude che prepara preventivi in Zoho CRM a partire dalle richieste dei clienti. L'agente applica a un cliente uno sconto superiore a quello del listino e invia il preventivo.

Senza controlli definiti prima

Il cliente accetta il preventivo. L'ufficio vendite se ne accorge alla fatturazione. Nessuno sa se lo sconto venga da un errore del modello, da un listino vecchio o da una richiesta del commerciale. La trattativa con il cliente parte senza dati, e verso di lui è comunque l'azienda a dover gestire l'errore.

Con responsabile, escalation e registro

La regola di escalation avrebbe dovuto fermare lo sconto oltre soglia. Il registro mostra che la soglia non era stata applicata a quel tipo di prodotto. Il responsabile del processo commerciale contatta il cliente, spiega l'errore e propone la correzione. Poi chiede di estendere la regola e verifica i preventivi recenti dello stesso tipo.

La differenza non sta nel modello. Sta nel fatto che l'azienda sa chi agisce, su quale prova e con quale correzione. Il contratto con il cliente resta il riferimento per la soluzione economica. L'obbligo di verifica previsto dalle Commercial Terms di Anthropic ricorda che il controllo dei fatti spetta all'azienda.

La checklist seguente riassume i controlli da chiudere prima che un agente AI lavori con i clienti. Ogni riga indica chi possiede il controllo, dove resta traccia e da quale testo nasce l'esigenza. Una riga senza nome nella seconda colonna è un controllo non ancora pronto.

Controllo	Chi lo possiede	Dove resta traccia	Da dove nasce
Responsabile umano per ogni processo, con sostituto	Direzione	Policy AI interna	ICDQ: la direzione stabilisce ruoli e responsabilità
Soglie e condizioni di escalation scritte	Responsabile di processo	Documento dei requisiti	Supervisione umana definita in anticipo
Avviso agli utenti sulla verifica dei dati fattuali	Responsabile di processo	Testo dell'agente e condizioni al cliente	Commercial Terms di Anthropic
Avviso al cliente che interagisce con un sistema AI	Responsabile di processo	Testo dell'agente	AI Act, art. 50
Registro di Input, Output, regola e modello	Responsabile IT	CRM o helpdesk	Ricostruzione dei casi e aggiornamenti dei modelli
Registro dei trattamenti aggiornato e verifica della DPIA	Titolare del trattamento con il DPO, se nominato	Registro dei trattamenti	GDPR, artt. 30 e 35
Verifica dopo ogni cambio di modello o di regole	Responsabile IT con il responsabile di processo	Registro delle modifiche	Direttiva 2024/2853 sulle modifiche sostanziali, per i prodotti immessi sul mercato dal 9 dicembre 2026
Revisione dei contratti con clienti e fornitori	Consulente legale	Fascicolo contrattuale	Tetto di 12 mesi, legge applicabile e sede dell'arbitrato nelle Commercial Terms

L'obiettivo non è eliminare ogni rischio. Secondo ICDQ, il rischio va identificato, valutato e gestito in modo strutturato. La checklist serve esattamente a questo.

Il primo passo è scrivere, per ogni processo che intende affidare a un agente AI, il nome del responsabile e le condizioni di escalation. Bastano una pagina per processo e la checklist della sezione precedente. Questo lavoro va fatto prima di scegliere il modello o i connettori.

1. Misuri la situazione di partenza con la valutazione di prontezza all'AI della Sua azienda.
2. Inserisca responsabili e regole nella policy AI aziendale, da scrivere prima del primo progetto.
3. Faccia rivedere al Suo legale i contratti con i clienti alla luce del tetto di responsabilità previsto dalle Commercial Terms di Anthropic.
4. Decida dove tenere il registro delle decisioni, nel CRM o nell'helpdesk che il team usa già.

Se vuole lavorare con noi, il percorso di Svennis ha quattro passi: il Workshop, un Pilot, l'Activation del reparto e poi la gestione mensile. Il Pilot Claude A porta un agente AI su Claude su un processo, con responsabile, escalation e registro definiti dall'inizio. Il Pilot Claude B porta Claude Team a tutto il team. I dettagli del primo sono nella pagina sull'agente AI su Claude con il Pilot A in 30 giorni.