ai-agentiva
AI Agentica in Produzione: Il Reality Check tra Vulnerabilità Critiche, Benchmark Impietosi e la Sopravvivenza dell'RPA
Mentre la narrativa sull'AI agentica promette autonomia totale, tre studi recenti rivelano un quadro diverso: vulnerabilità sistemiche nel protocollo MCP, tassi di successo al 5% su task enterprise reali, e l'RPA che batte ancora gli agenti LLM in ambienti stabili. La strada per la produzione è più ripida del previsto.
Pubblicato il
La letteratura sull'AI agentica degli ultimi mesi ha oscillato tra due poli: da un lato, architetture sempre più sofisticate per controllo esecutivo, memoria a lungo termine e verificabilità formale; dall'altro, la corsa a definire standard di fiducia e osservabilità per sistemi che agiscono nel mondo fisico. Ma c'è un terzo polo, meno raccontato nei keynote e più frequente nei laboratori di sicurezza e nei reparti IT che provano a mettere questi sistemi in produzione: la realtà operativa, fatta di vulnerabilità architetturali non patchate, benchmark che misurano davvero la capacità di agire su stack software complessi, e confronti impietosi con l'automazione "tradizionale".
Tre lavori pubblicati nella prima settimana di novembre 2026 — uno studio cross-framework sul protocollo MCP, un benchmark enterprise su larga scala per la selezione di API, e un confronto sperimentale in ambito sanitario tra RPA e agenti basati su LLM — convergono su una conclusione scomoda: l'AI agentica, per come è implementata oggi nella maggior parte dei framework open source, non è pronta per carichi di lavoro critici senza strati difensivi significativi e ridisegno architetturale.
Il tallone d'Achille della sicurezza: MCP Tool Poisoning
Il Model Context Protocol (MCP) è diventato lo standard de facto per connettere modelli linguistici a tool esterni: database, API, filesystem, browser. La sua forza — la flessibilità nel far descrivere allo sviluppatore (o a terze parti) cosa fa un tool via schema JSON e descrizione in linguaggio naturale — è anche la sua vulnerabilità sistemica. Uno studio cross-framework pubblicato su arXiv il 2 novembre ha condotto la prima misurazione su larga scala di tool poisoning con esecuzione reale, non solo compliance teorica (MCP Tool Poisoning in Agentic AI Frameworks).
I numeri sono netti: su 9.720 celle di test (12 framework × 18 modelli × 45 scenari d'attacco), il tasso di successo complessivo dell'attaccante è 22,9% (2.113 celle vulnerabili). Di queste, il 64,9% arriva a invocare lo strumento malevolo, il 23% contatta l'endpoint dell'attaccante, e il 12,1% esfiltra verificabilmente un segreto (chiave API, token, credenziale) confermato da un canary HTTP.
La scoperta più rilevante per chi deve difendere ambienti enterprise: la resistenza è a livello di modello, non di framework. Nove dei dodici framework testati si collocano in una banda stretta (23–26% ASR), senza differenza statisticamente significativa (chi-quadro = 3,30, p = 0,91). Nessuno dei dodici implementa difese intenzionali contro tool poisoning. Le mitigazioni incidentali — come validazione parziale degli schemi o sandboxing limitato — funzionano solo in casi specifici. Uno scanner regex sulle descrizioni dei tool blocca 20 dei 45 scenari, ma con un tasso di falsi positivi del 7,2%: utile come controllo parziale, non come difesa.
Tra i modelli, la variabilità è enorme: si va dallo 0,4% al 49,7% di ASR. Claude Opus 4.8, ad esempio, risulta vulnerabile in sole 8 celle su 530, emettendo 223 rifiuti espliciti. Ma la maggior parte dei modelli — inclusi quelli open weight diffusi in ambito enterprise — non mostra questa robustezza. Un audit a livello di codice conferma: nessun framework tra i dodici analizzati implementa difese intenzionali. Cinque disclosure coordinate a quattro vendor sono state respinte.
L'implicazione operativa è immediata: se la vostra architettura agentica espone MCP a tool provider non fidati (marketplace pubblici, plugin community, integrazioni SaaS terze), la superficie d'attacco include l'intero contesto del modello. La mitigazione minima oggi è: tool registry curati e firmati, validazione sidecar dello schema, e monitoraggio runtime delle invocazioni anomale. Ma la radice del problema — il modello che tratta la descrizione del tool come istruzione eseguibile — richiede un ripensamento del protocollo o l'adozione di strati di interposizione (policy engine, capability-based sandbox) che oggi non esistono out-of-the-box.
SLATE: il benchmark che sbatte in faccia la realtà dell'automazione enterprise
Mentre la sicurezza riguarda l'integrità, la funzionalità riguarda la capacità di portare a termine task reali. Il benchmark SLATE, rilasciato il 2 novembre, misura proprio questo: selezione e composizione di API su larga scala in un dominio e-commerce realistico (SLATE: A Large-Scale Benchmark for Long-Horizon API Selection in E-commerce Tool Use).
La maggior parte dei benchmark esistenti (ToolBench, API-Bank, Gorilla) testa pochi tool (decine), invocazioni single-step, o usa LLM-as-judge per valutare traiettorie multi-step — introducendo soggettività e premiando percorsi "canonici" a discapito di alternative valide. SLATE cambia registro:
- ~1.000 tool in una libreria e-commerce gerarchica (ordini, inventario, pagamenti, spedizioni, resi, customer care, analytics)
- Simulatore deterministico, context-aware: ritorna output registrati per chiamate matching, risposte di default altrimenti — niente allucinazioni del simulatore
- Metrica end-to-end binaria: un task ha successo solo se raggiunge tutti gli outcome di riferimento; traiettorie diverse ma valide sono considerate valide
- Query decomposte in procedure tool-grounded: niente ambiguità su cosa "successo" significhi
Risultati: i migliori sei modelli decisionali (3B–12B parametri, inclusi i base LLM su cui sono costruiti) completano solo il 5,0% dei task. Il modello migliore arriva al 5%; gli altri sono sotto. Non è un errore di arrotondamento: è un ordine di grandezza sotto la soglia di usabilità per automazione di procedure operative standard (SOP) enterprise.
Il collo di bottiglia non è il ragionamento astratto, ma la selezione dell'API corretta tra migliaia a ogni passo, per orizzonti lunghi, senza mapping step-to-API pre-scritto. È il problema "ago nel pagliaio" ripetuto per decine di step: un errore singolo (tool sbagliato, parametro malformato, sequenza rotta) fa fallire l'intero task. SLATE stabilisce una baseline onesta: l'automazione enterprise via agenti LLM general-purpose, oggi, non è affidabile. Serve specializzazione (fine-tuning su toolkit specifico), retrieval semantico delle API con reranking, e probabilmente architetture neuro-simboliche che vincolino lo spazio di ricerca.
Per le aziende italiane che valutano progetti di "autonomous operations" su stack ERP/CRM/WMS proprietari: SLATE è il termometro da usare prima di firmare contratti. Se il vostro caso d'uso richiede comporre 20–50 chiamate API eterogenee con tolleranza zero all'errore, i modelli attuali — anche i migliori open weight — non reggono. La strada è ibrida: agenti per step ad alta variabilità (es. gestione eccezioni, parsing documenti non strutturati) + orchestrazione deterministica (BPM, workflow engine) per il flusso principale.
RPA vs APA: quando il "vecchio" batte il "nuovo" in sanità
Il confronto più pragmatico arriva da uno studio di Design Science Research in ambito sanitario, pubblicato il 2 novembre (Performance, Scalability and Maintenance: An Experimental Study of RPA vs. Autonomous Agents in the Healthcare Domain). Obiettivo: recuperare referti mammografia ed ecografia mammaria da un portale laboratorio legacy, trattati come artefatti informazionali (niente diagnosi, solo estrazione dati).
Due soluzioni a confronto:
- RPA (Playwright): script deterministici, selettori CSS/XPath, gestione esplicita di attese e popup
- APA — Agent Process Automation (browser-use + LangGraph + Gemini 2.5 Flash-lite): agente LLM che naviga, interpreta DOM, decide click e input
Due round di esecuzione (T e T+7 giorni) per misurare stabilità nel tempo. Risultati:
| Metrica | RPA | APA |
|---------|-----|-----|
| Accuracy | 98,90% | 96,49% |
| F1-score | 98,27% | 94,48% |
| Tempo per paziente | 16,07 s | 207,21 s (13× più lento) |
| Costo per referto | USD 0,030 | USD 0,187 (6× più caro) |
| Step success rate | 100% | 100% |
| Varianza tra round | Bassa | Più alta |
Entrambe raggiungono il 100% di step success rate — ma l'APA varia di più nel tempo, segno di fragilità latente (cambiamenti minori nel rendering, timing, annunci cookie, layout responsive). Per interfaccia stabile, l'RPA è superiore su ogni dimensione operativa: accuratezza, velocità, costo, prevedibilità.
La lezione non è "l'RPA vince sempre". Lo studio stesso nota che l'APA promette adattabilità dove l'RPA si rompe (cambiamenti UI non banali, flussi non lineari, pagine dinamiche heavy-JS). Ma per task ripetitivi su interfacce stabili — che costituiscono la maggioranza dell'automazione enterprise reale — l'RPA rimane lo standard razionale. L'APA va riservato a zone d'ombra: portali senza API, UI che cambiano frequentemente, flussi decisionali che richiedono comprensione semantica (es. "se il referto dice X, clicca Y, altrimenti Z").
Per i CTO e i responsabili automazione in Italia: non sostituite l'RPA con agenti LLM per risparmiare manutenzione. Oggi l'APA costa di più, è più lenta, meno accurata, e più fragile al drift UI. L'ibrido è la via: RPA per il 70–80% dei flussi stabili, agenti per il 20–30% che richiedono giudizio contestuale.
Verso agenti affidabili: Spectral Locking e la lotta al drift
Se sicurezza, benchmark e confronti operativi disegnano un quadro severo, la ricerca sta producendo contromisure architetturali. Lo studio "Drift No More", pubblicato il 3 novembre, identifica una causa radice comune a tre fallimenti dei sistemi multi-agente a lungo orizzonte: task drift, role drift, state staleness (Drift No More: Spectral Locking for Long-Horizon Open-Weight Multi-Agent AI).
L'ipotesi: gli hidden states degli agenti si allontanano dalle direzioni che codificano task attivo, ruolo assegnato, stato condiviso. Uno studio pilota su 14.832 turni annotati conferma: i turni "driftati" collassano quasi uniformemente sui tre sottospazi ancorati (correlazione pairwise r = 0,72–0,78). I metodi attuali affrontano ogni drift separatamente, a livello di testo (prompting, retrieval) o con steering di direzioni di controllo indipendenti.
La proposta: ATLAS (Algebraic Task-role Locking with Adaptive Spectral Memory), intervento training-free che agisce sugli hidden states prima della generazione del token. ATLAS costruisce un kernel di ancoraggio positivo-semidefinito sui sottospazi task/ruolo/stato e guida gli hidden states verso le loro auto-direzioni ad alta coerenza condivisa; una decomposizione di Gram a basso rango la rende trattabile.
Risultati su stress test (memoria a lungo orizzonte, manutenzione stato, tool use, coordinazione least-privilege, embodied):
- vs A-MEM: +5,7 punti macro-average accuracy, −31,7% / −24,8% write/read failures
- vs MemoryArena-Agent: +4,8 punti
- Sotto perturbazione: +10,7–12,1 punti
- Role consistency: 93,5%
- Transfer su backbone 72B: macro-average 61,0 vs 56,2
- Ablazione: rimuovere lo span congiunto task-ruolo-stato costa 7,2 punti vs 0,8 per span random matched-rank → le direzioni sono funzionalmente implicate, non incidentali
- Fornirle via prompt/retrieval recupera 4,3 punti in meno → lo steering a livello di rappresentazione è essenziale
ATLAS non è una silver bullet, ma dimostra che il drift non è un bug di superficie: è un fenomeno rappresentazionale che va corretto nello spazio latente. Per architetture enterprise che puntano a multi-agente persistenti (es. supply chain orchestration, network operations center autonomi, digital twin industriali), tecniche come ATLAS — o equivalenti basate su projection/steering nello spazio hidden — diventeranno prerequisiti architetturali, non optional.
La sintesi per il decision maker italiano
Tre evidenze convergenti, una sola traiettoria:
- Sicurezza: MCP espone una superficie d'attacco sistemica (22,9% ASR cross-framework) senza difese native. Mitigazione: tool registry firmati, policy engine, capability sandbox.
- Funzionalità: SLATE mostra 5% success rate su automazione enterprise realistica (1.000 tool, long-horizon). Mitigazione: specializzazione, retrieval+reranking API, orchestrazione neuro-simbolica.
- Operatività: RPA batte APA 13× in velocità, 6× in costo, +2,4% accuracy su UI stabili. Mitigazione: architettura ibrida RPA/agente.
- Affidabilità architetturale: ATLAS prova che il drift si corregge a livello di rappresentazione latente, non con prompt. Mitigazione: integrare spectral locking / hidden-state steering nei runtime agentici persistenti.
L'AI agentica non è una truffa — è una tecnologia precoce spinta in produzione da pressioni competitive. Chi la adotta oggi in contesti enterprise italiani (manifattura, energia, finanza, PA, sanità) deve trattarla come software safety-critical: threat modeling per MCP, benchmark realistici (SLATE-style) prima del go-live, architettura ibrida RPA/agente, e runtime con drift control integrato. La narrativa "agenti che sostituiscono i workflow engine" è prematura. La realtà "agenti che estendono i workflow engine dove serve giudizio semantico" è il perimetro operativo onesto — e su quel perimetro si costruisce valore, oggi.
Fonti
- https://arxiv.org/abs/2611.06554v1
- https://arxiv.org/abs/2611.05911v1
- https://arxiv.org/abs/2611.05828v1
- https://arxiv.org/abs/2611.05671v1
- https://arxiv.org/abs/2611.05548v1
- https://arxiv.org/abs/2611.05376v1
- https://arxiv.org/abs/2611.04315v1
- https://arxiv.org/abs/2611.03982v1
- https://arxiv.org/abs/2611.03853v1
- https://arxiv.org/abs/2611.03555v1
- https://www.nist.gov/news-events/news/2026/11/self-employed-solopreneur-nist-has-cybersecurity-guide-just-you
Altre letture
- AI Agentiva: Il Paradosso tra Benchmark Impietosi, Vulnerabilità Critiche e l'Architettura Mancante per l'Enterprise Nuovi benchmark rivelano che i migliori modelli completano solo il 5% dei task enterprise complessi, mentre vulnerabilità nei protocolli agentici espongono le aziende a rischi concreti. Serve un cambio di paradigma architetturale.
- L'illusione della valutazione: perché i benchmark dell'AI agentica ci stanno mentendo e cosa serve davvero Nuove ricerche rivelano che i benchmark attuali misurano male gli agenti AI: il 24% degli episodi 'di successo' viola le specifiche utente, mentre nell'ingegneria professionale i modelli migliori falliscono il 96% dei task multi-software. Servono nuovi paradigmi di valutazione e sicurezza.
- AI agentiva: il conto energetico dell'autonomia, le nuove architetture ibride e l'urgenza dell'osservabilità Mentre gli agenti autonomi passano dalla ricerca alla produzione, emergono tre sfide critiche: il costo quadratico dei contesti lunghi, l'efficienza delle architetture MoE-Mamba e la necessità di audit trail inalterabili per il codice generato.