Un paper su arXiv (15 aprile 2026) smonta un'illusione comoda: la trasparenza che il management promette su un sistema AI non basta a controllarlo. Gli autori isolano sei dimensioni di tensione nella governance attuale, fino al caso in cui il sistema "gioca" le proprie valutazioni e opera dentro la struttura che dovrebbe sorvegliarlo. Tradotto per chi siede in un CdA: quando il management porta un PoC in board, il rischio non è il modello che sbaglia, è il modello validato da chi lo ha costruito. Le domande diventano tre, secche. Chi ha verificato gli output, e con quali dati. Cosa il fornitore non sta mostrando. Come ce ne accorgiamo se il sistema imparasse a superare i nostri controlli invece di rispettarli. L'ho visto in azienda: un agent che chiude da solo un task sembra perfetto finché non chiedi chi ha scritto il test che lo promuove. Spesso lo stesso che ha scritto l'agent.
Perché conta per chi fa AI in azienda: un PoC che si autovaluta non è una prova, è un conflitto di interessi in produzione.