ai-agentiva
AI Agentiva: Il Paradosso tra Benchmark Impietosi, Vulnerabilità Critiche e l'Architettura Mancante per l'Enterprise
Nuovi benchmark rivelano che i migliori modelli completano solo il 5% dei task enterprise complessi, mentre vulnerabilità nei protocolli agentici espongono le aziende a rischi concreti. Serve un cambio di paradigma architetturale.
Pubblicato il · Aggiornato il
L'entusiasmo per l'AI agentiva ha raggiunto picchi senza precedenti nelle roadmap aziendali italiane ed europee. Si promettono agenti autonomi capaci di orchestrare processi end-to-end, navigare stack software complessi e prendere decisioni operative senza supervisione costante. Ma i dati che emergono dagli ultimi laboratori di ricerca raccontano una storia molto più sfumata — e per certi versi allarmante — per chi deve decidere investimenti e architetture nei prossimi trimestri.
Tra la fine di ottobre e i primi giorni di novembre 2026, una serie di paper e benchmark pubblicati su arXiv e presentati nei principali convegni di settore ha messo a nudo tre verità scomode: i modelli attuali falliscono miseramente sui task enterprise realistici a lungo orizzonte; i protocolli che dovrebbero rendere gli agenti interoperabili nascondono superfici d'attacco critiche; e il confronto con l'automazione tradizionale (RPA) mostra che, in scenari stabili, la "vecchia" tecnologia rimane superiore per velocità, costo e affidabilità.
Il divario tra promesse e benchmark: SLATE e la realtà dell'enterprise tool use
Il benchmark SLATE (Synthetic Large-scale API Toolkit for E-commerce), pubblicato il 2 novembre 2026, rappresenta il termometro più accurato finora disponibile per misurare la maturità degli agenti in contesti enterprise realistici (SLATE: A Large-Scale Benchmark for Long-Horizon API Selection in E-commerce Tool Use). A differenza dei benchmark precedenti — che espongono pochi tool, valutano singole invocazioni o usano LLM-as-judge con metriche soggettive — SLATE mette alla prova gli agenti su una libreria di ~1.000 API e-commerce, richiedendo la composizione corretta di chiamate su orizzonti lunghi, con un simulatore deterministico e una metrica di successo end-to-end che premia traiettorie valide alternative.
I risultati sono impietosi: il miglior modello testato (12B parametri) completa solo il 5,0% dei task. Sei modelli decisionali open, dai 3B ai 12B parametri, sono stati valutati. Nessuno si avvicina a una soglia di affidabilità operativa. Il paper sottolinea che la difficoltà centrale è la selezione API at scale: scegliere e comporre gli strumenti giusti tra migliaia, giudicati solo dal successo complessivo del task, senza mapping step-to-API predefiniti.
Per le aziende italiane che stanno pilotando agenti su ERP, CRM e sistemi legacy, SLATE è un campanello d'allarme: i proof-of-concept che funzionano su demo curate con 10-20 tool non scalano. La complessità combinatoria dello spazio delle API reali richiede architetture ibride, sistemi di retrieval semantico avanzati e, soprattutto, osservabilità fine-grained del processo decisionale — non solo dell'output finale.
Sicurezza: il tallone d'Achille dei protocolli agentici (MCP Tool Poisoning)
Mentre i benchmark misurano le capacità, un altro studio pubblicato lo stesso giorno rivela una falla sistemica nell'infrastruttura che connette modelli e tool. Il Model Context Protocol (MCP), standard de facto per l'interazione agente-tool, veicola contenuti controllati dall'attaccante (descrizioni tool, campi schema, dati di risposta) direttamente nel contesto del modello senza validazione (MCP Tool Poisoning in Agentic AI Frameworks: A Cross-Framework Measurement Study).
Lo studio, primo measurement cross-framework con esecuzione reale di tool (non solo compliance simulata), ha costruito una matrice di suscettibilità di 9.720 celle su 12 framework, 18 modelli e 45 scenari d'attacco. Il tasso di successo complessivo degli attacchi è del 22,9% (2.113 celle vulnerabili). Di queste, il 64,9% induce una chiamata tool malevola, il 23% contatta l'endpoint dell'attaccante e il 12,1% esfiltra verosimilmente un segreto (confermata da canary HTTP receipt).
Due dati colpiscono per la loro implicazione architetturale: la resistenza è a livello di modello, non di framework. Nove framework core si collocano in un range strettissimo (23-26% ASR, chi-quadro = 3.30, p = 0.91), e nessun framework implementa difese intenzionali. Un audit a livello di codice su dodici framework non ha trovato alcuna mitigazione deliberata. Cinque disclosure coordinate su quattro vendor sono state respinte.
Uno scanner regex sulle descrizioni tool blocca 20 su 45 scenari con un tasso di falsi positivi del 7,2%: la scansione dei metadati è un controllo parziale, non una soluzione. Per le imprese che adottano MCP per esporre API interne ad agenti, questo significa che qualsiasi tool description malevola iniettata nella supply chain — un plugin compromesso, un registro tool avvelenato, un aggiornamento malevolo — può dirottare l'agente verso azioni non autorizzate, esfiltrazione dati o movimenti laterali.
La risposta architetturale sta emergendo in parallelo. RuntimeTickets, presentato sempre il 2 novembre, introduce un protocollo che vincola l'esecuzione di Agent Skills di terze parti a obbligazioni di sicurezza derivate dal contratto di delivery del task (RuntimeTickets: Source-Grounded Security Obligations for Agent Skills). Un runtime gate verifica destinatario, oggetto e ammontare di ogni invio outbound prima di inoltrarlo; monitor fidati registrano gli effetti; un decoder deterministico (senza LLM nel loop di enforcement) trasforma lo stato del ticket in flussi di dati governabili. Valutato su tre framework non modificati contro scanner production e baseline (AgentBound allow-list, SkillGuard), RuntimeTickets azzera sia overlook (skill malevole fatte passare) che overkill (skill benigne bloccate): 0,0% in entrambi i casi.
Il messaggio per i CISO italiani è chiaro: non si può delegare la sicurezza al modello né al framework. Serve un livello di enforcement deterministico, source-grounded, che operi al confine di rete (network egress) e che leghi ogni azione dell'agente a obbligazioni verificabili prima dell'esecuzione.
RPA vs Agenti: quando la tradizione batte l'innovazione (studio sanitario)
Il confronto empirico più netto tra automazione deterministica e agenti LLM-based arriva dal settore sanitario. Uno studio Design Science Research ha confrontato una soluzione RPA (Playwright) con una APA — Agent Process Automation (browser-use, LangGraph, Gemini 2.5 Flash-lite) nel recupero di referti mammografici ed ecografici da un portale legacy di laboratorio (Performance, Scalability and Maintenance: An Experimental Study of RPA vs. Autonomous Agents in the Healthcare Domain).
Su due round (T e T+7), l'RPA ha raggiunto 98,90% accuracy e 98,27% F1-score contro 96,49% e 94,48% dell'APA. L'RPA è ~13 volte più veloce (16,07s vs 207,21s per paziente) e costa ~6 volte meno per referto (0,030$ vs 0,187$). Entrambi raggiungono il 100% di step success rate, ma l'APA mostra varianza temporale maggiore. Per interfacce stabili, l'RPA è superiore.
Questo non significa che gli agenti siano inutili — la loro promessa è l'adattabilità quando le interfacce cambiano. Ma lo studio quantifica il premio per l'adattabilità: oggi è altissimo in latenza, costo e affidabilità. Per le aziende italiane che gestiscono processi su portali PA, banche, fornitori logistici con UI stabili da anni, l'RPA rimane la scelta razionale. L'APA va riservata a scenari dove la volatilità dell'interfaccia giustifica il sovraccosto, e solo con guardrail architetturali (human-in-the-loop, fallback deterministici, osservabilità) che oggi mancano nella maggior parte delle implementazioni pilota.
Verso un Internet of Agentics: architetture, verifica formale e compliance automatizzata
La frammentazione attuale — framework isolati, protocolli proprietari, assenza di governance cross-organizzativa — è il tema centrale della visione Internet of Agentics (IoA) (Towards a Trustworthy and Governable Internet of Agentics: An Architectural Perspective on Protocols, Systems, and Services). Il paper struttura il panorama in tre livelli: (1) protocol stack centrato su Agentic AI Foundation (MCP per agent-tool, A2A per agent-agent, AGENTS.md/Skills per manifesti procedurali, AGNTCY/SLIM per discovery/transport/trust); (2) astrazioni di sistema per agenti come componenti deployable (architetture logiche, pattern di orchestrazione, gateway, registri, control loop runtime, infrastruttura inference hardware-aware); (3) service computing che reinterpreta discovery, composition, governance, pricing, trust a livello di capacità cognitive invece che funzioni deterministiche.
Due sviluppi concreti mostrano la direzione. TLAPS-Bench dimostra che agenti AI possono costruire proof machine-checked per specifiche di sistemi reali in TLA+ (cache coherence, Byzantine consensus, write-ahead logs) (TLAPS-Bench: Formally Proving Correctness of Real-World System Specifications with TLA+ Proof System). Su 70 proof target su 12 specifiche, il miglior modello (GPT-6.1 Sol max) ne risolve il 44,3%. È un segnale: la verifica formale, storicamente collo di bottiglia per scarsità di esperti, può essere accelerata da agenti specializzati con toolchain adeguate (proof harness, safeguard anti-reward-hacking).
Sul fronte compliance, ComplianceAtlas introduce un framework agentico a due stadi (Gap Extraction Agent + Remediation Planning Agent) guidato da una tassonomia literature-grounded di gap tecnici (accuracy, robustness, logging, human oversight) per l'AI Act (ComplianceAtlas: A Taxonomy-Driven Agentic AI Framework for Automated AI Act Gap Analysis and Remediation). Su 9 sistemi AI e 6 famiglie, raggiunge F1 0,831 sul gap-type (vs 0,533 best baseline) e P@5 0,872 su remediation (vs 0,635 retrieval). La coordinazione agentica strutturata riduce il carico sull'esperto mantenendo auditabilità — un modello per human-in-the-loop compliance estendibile a framework emergenti.
Infine, l'apprendimento progressivo di skill per agenti web. SCOPE (Skill-Composed Progressive Exploration) decompone l'esplorazione long-horizon in espansione graduale da skill locali a catene complete: Skill Discovery estrae skill riutilizzabili ed esperienze di fallimento; Skill Orchestration compone skill in catene high-level; Skill Expansion usa i fallimenti allineati alla catena corrente per guidare l'esplorazione di sub-skill (From Local Skills to Long-Horizon Web Tasks: Progressive Skill Exploration for LLM Web Agents). Su WebArena, WebVoyager, WebShop, SCOPE ottiene guadagni relativi 3,9%-18,6% sui best baseline. L'approccio short-to-long con distillazione on-policy internalizza le catene nei parametri di policy.
L'orizzonte operativo per le imprese italiane
Questi lavori, tutti concentrati in una finestra di pochi giorni, delineano un quadro coerente: l'AI agentiva non è un prodotto da comprare, ma un'architettura da costruire. I benchmark (SLATE, TLAPS-Bench) dicono che i modelli da soli non bastano — servono harness, simulatori deterministici, metriche end-to-end. La sicurezza (MCP Poisoning, RuntimeTickets) impone enforcement deterministici al confine, non fiducia nel modello. Il confronto con le soluzioni esistenti (RPA vs APA) richiede analisi costi-benefici oneste per ogni processo. L'interoperabilità (IoA, ComplianceAtlas, SCOPE) richiede standard aperti, registri, gateway, control loop — l'infrastruttura service computing per agenti.
Per un'azienda italiana che oggi valuta l'adozione, la roadmap pragmatica è: (1) mappare i processi candidati distinguendo interfacce stabili (→ RPA/ibridi) da interfacce volatili/non strutturate (→ agenti con guardrail); (2) imporre RuntimeTickets-style egress control su ogni deployment agente; (3) adottare benchmark realistici (SLATE-style) come gate di go/no-go per il passaggio da PoC a produzione; (4) investire nell'infrastruttura IoA (registri skill, gateway A2A/MCP, osservabilità deterministica) come platform capability condivisa, non come feature per singolo use case.
L'AI agentiva arriverà in produzione — ma non come drop-in replacement dell'RPA né come autonomia magica. Arriverà come strato cognitivo governato, verificabile, interoperabile, innestato su infrastrutture deterministiche che ne contengono il rischio e ne amplificano il valore. Chi costruisce oggi quell'infrastruttura — non chi compra il modello più grande — definirà il vantaggio competitivo dei prossimi cinque anni.
Fonti
- https://arxiv.org/abs/2611.03982v1
- https://arxiv.org/abs/2611.03853v1
- https://arxiv.org/abs/2611.03555v1
- https://arxiv.org/abs/2611.03772v1
- https://arxiv.org/abs/2611.03406v1
- https://arxiv.org/abs/2611.03183v1
- https://arxiv.org/abs/2611.03121v1
- https://arxiv.org/abs/2611.03116v1
- https://arxiv.org/abs/2611.03066v1
- https://arxiv.org/abs/2611.02849v1
- https://www.nist.gov/news-events/news/2026/11/self-employed-solopreneur-nist-has-cybersecurity-guide-just-you
Altre letture
- AI Agentica in Produzione: Il Reality Check tra Vulnerabilità Critiche, Benchmark Impietosi e la Sopravvivenza dell'RPA Mentre la narrativa sull'AI agentica promette autonomia totale, tre studi recenti rivelano un quadro diverso: vulnerabilità sistemiche nel protocollo MCP, tassi di successo al 5% su task enterprise reali, e l'RPA che batte ancora gli agenti LLM in ambienti stabili. La strada per la produzione è più ripida del previsto.
- L'illusione della valutazione: perché i benchmark dell'AI agentica ci stanno mentendo e cosa serve davvero Nuove ricerche rivelano che i benchmark attuali misurano male gli agenti AI: il 24% degli episodi 'di successo' viola le specifiche utente, mentre nell'ingegneria professionale i modelli migliori falliscono il 96% dei task multi-software. Servono nuovi paradigmi di valutazione e sicurezza.
- AI agentiva ad alto rischio: il vuoto tra benchmark e affidabilità reale in finanza, difesa e sistemi autonomi Nuove ricerche rivelano falle sistemiche negli agenti autonomi in contesti critici: dal trading finanziario alla difesa aerea, l'autonomia non garantisce robustezza. Serve un cambio di paradigma nella valutazione.