AI agentiva: il conto energetico dell'autonomia, le nuove architetture ibride e l'urgenza dell'osservabilità

L'entusiasmo per l'AI agentiva — sistemi capaci di pianificare, utilizzare strumenti e iterare su obiettivi complessi — ha finora oscurato una realtà operativa che sta diventando insostenibile: ogni passo di ragionamento in più, ogni contesto storico iniettato nel prompt, ogni ciclo di verifica interna si traduce in token, e i token in energia. I paper pubblicati nell'ultima settimana su arXiv disegnano un quadro coerente: l'autonomia ha un prezzo energetico misurabile, le architetture stanno mutando per contenerlo, e senza osservabilità strutturata le imprese non possono né certificare né ottimizzare i propri flussi agentici.

Il fenomeno non è teorico. Già oggi agenti specializzati prevedono perdite agricole da uragani in Florida (From extreme weather to agricultural consequences with agentic AI), selezionano proiezioni TC per predire l'emodinamica aneurismatica (Agentic AI Reasoning and Learned Sampling for Task-Aware Projection Selection in Sparse-View CT: Predicting Hemodynamics) e conducono misure criogeniche su materiali quantistici (HERA: Assessing an Autonomous Agent for Quantum Device Measurement). Tutte applicazioni che richiedono contesti lunghi, ragionamento a più passi e affidabilità certificabile. È il momento di guardare sotto il cofano.

Il conto energetico del contesto: prefill quadrato, decode lineare

La prima sorpresa arriva dalla misurazione sistematica del consumo energetico in modelli proprietari via API. Lo studio "The Real Cost of Context" (The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases) profila centinaia di configurazioni di prefill (input) e decode (output) e dimostra che:

• Il tempo di calcolo e l'energia della fase decode scalano linearmente con la lunghezza dell'output.
• La fase prefill mostra una componente quadratica rispetto alla lunghezza dell'input: raddoppiare il contesto non raddoppia il costo, lo quadruplica nella componente dominata dall'attenzione.
• Il tempo di calcolo funge da proxy affidabile per l'energia quando mancano misure dirette (tipico per API chiuse).

Per un'architettura agentica che inietta storici di conversazione, output dei tool, documenti tecnici e piani intermedi, il prefill diventa la voce di spesa dominante. Un agente che ragiona su 100k token di contesto — norma per task di ingegneria del software o analisi scientifica — può consumare ordini di grandezza in più di energia di una singola query chat. Il paper fornisce un framework di stima basato su modelli lineari generalizzati che permette ai team MLOps di dimensionare budget energetici e scegliere finestre di contesto sostenibili.

Architetture ibride MoE-Mamba: efficienza nativa per carichi agentici

La risposta dell'industria non tarda. NVIDIA pubblica Nemotron 3.5 Super e Lightning (Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI), due modelli Mixture-of-Experts che fondono blocchi Mamba (state-space models a complessità lineare) e Transformer. Le cifre chiave:

| Modello | Parametri totali | Parametri attivi | Modalità | SWE-bench Pro |
|---------|------------------|------------------|----------|---------------|
| Nemotron 3.5 Super | 120B | 12B | Multimodale (testo, immagini, video, tool) | 51,78% |
| Nemotron 3.5 Lightning | 30B | 3B | Solo testo | Non riportato |

Entrambi integrano speculative decoding nativo e multi-teacher on-policy distillation (MOPD). La quantizzazione NVFP4 recupera il 99,62% dell'accuratezza BF16. Il risultato pratico: fino a 4.856 token/s/GPU su GB200 con latenza controllata. Per carichi agentici — dove il prefill domina — la componente Mamba riduce la complessità quadratica dell'attenzione piena, offrendo una via architetturale al problema evidenziato dallo studio sui costi energetici.

Parallelamente, Agent-Conditioned Routing (Agent-Conditioned Routing: Diverse Reasoning Paths Within One Frozen Model) mostra come mascherare l'eligibilità degli esperti in un MoE frozen per ottenere percorsi di ragionamento diversi dallo stesso prompt, senza fine-tuning né copie del modello. Su benchmark matematico-fisici, ACR raddoppia i problemi risolti con almeno due metodi distinti rispetto al temperature sampling (37,3% vs 18,7% su GLM 5.3), aggiungendo solo 160 KiB di stato e <3% di overhead VRAM/latency. È una leva per esplorazione efficiente — cruciale quando ogni token costa.

Osservabilità strutturata: il ledger hash-chained per agenti che scrivono codice

L'efficienza energetica non basta se non si sa cosa l'agente ha fatto. Lo studio Soei (Soei: Structured Observability of Evidence and Intent for Multi-Agent AI Software Engineering) analizza 45 sessioni reali di coding agentico (102k record, 20k esecuzioni tool, 2,3k episodi human-to-agent) e scopre dati allarmanti:

• 23,4% degli episodi di editing termina senza alcun controllo indipendente dopo l'ultima modifica (CI 95%: 17,1–35,7%).
• 57,8% dei to-do marcati completi dall'agente non hanno prova intermedia.
• 42% delle sessioni supera le 24 ore; 48,1% dei byte del transcript eccedono il limite di replay di 2 MiB.
• 1.326 record in 16 sessioni contengono stringhe simili a credenziali (chiavi API, token).

La risposta è Soei: uno schema di eventi acknowledgement-aware, un ledger locale hash-chained allineato a W3C PROV, un grafo di provenienza e un verification layer che separa la claim di completamento dalla proof. Il ledger occupa il 20% della dimensione grezza, non memorizza contenuti né credenziali, verifica a ~126k eventi/secondo, rileva manomissioni e riproduce deterministicamente. È l'infrastruttura minima per rendere l'AI agentica auditabile, riproducibile e conforme — requisiti non negoziabili per banche, sanità, PA italiane sotto AI Act e NIS2.

Applicazioni verticali che pretendono sostenibilità e fiducia

Due paper mostrano perché questi temi non sono accademici. WxCrop (From extreme weather to agricultural consequences with agentic AI) è il primo agente che combina indici meteorologici fisicamente interpretabili, analisi causale e record assicurativi per prevedere la perdita colturale come frazione del valore stagionale atteso, per gruppo di coltura e contea. Valido su uragani, gelate, caldo secco in Florida: AUC 0,98 sul rilevamento giorni ciclone, errore <2% su anni held-out, rank correlation 0,63 con produzione reale. Governatori, agricoltori, scienziati ottengono numeri documentati e spiegabili per dichiarare lo stato di emergenza o attivare assicurazioni. Qui il contesto include serie storiche meteo, polizze, dati satellitari — prefill massicci, energia reale.

In radiologia interventistica, l'agente per sparse-view CT (Agentic AI Reasoning and Learned Sampling for Task-Aware Projection Selection in Sparse-View CT: Predicting Hemodynamics) impara a selezionare le proiezioni ottime per la predizione emodinamica (TAWSS), non per la qualità dell'immagine. Batte campionamento uniforme e golden-angle a budget estremi, rivelando che l'acquisizione task-optimal differisce radicalmente da quella reconstruction-optimal. L'agente ragiona su maschere di campionamento, simula fluidodinamica, itera — ancora contesti lunghi, ancora bisogno di efficienza e tracciabilità.

Implicazioni per le aziende italiane: tre priorità operative

1. Budget energetico come KPI di architettura. Non si può più dimensionare un sistema agentico solo su latency/throughput. Il framework GLM dello studio sui costi (The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases) va integrato nei pipeline CI/CD: ogni nuovo tool, ogni estensione di contesto deve portare un energy impact statement.
2. Adozione precoce di architetture ibride lineari. I modelli MoE-Mamba come Nemotron 3.5 (Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI) e tecniche come ACR (Agent-Conditioned Routing: Diverse Reasoning Paths Within One Frozen Model) sono disponibili in open source e ottimizzati per deployment su GPU Blackwell. Valutare la migrazione da stack Transformer-only riduce CapEx/OpEx e allunga la finestra di contesto sostenibile.
3. Observability-by-design obbligatoria. Soei (Soei: Structured Observability of Evidence and Intent for Multi-Agent AI Software Engineering) fornisce un'implementazione di riferimento open-source (Agenttrail + ledger hash-chained). Le aziende che sviluppano o commissionano agenti per coding, compliance, operations devono esigere: schema eventi standard, ledger inalterabile, separation of claim/proof, assenza di segreti nei log. È la base per dimostrare due diligence sotto AI Act Art. 55 (GPAI) e NIS2 Art. 21 (supply chain).

La convergenza è chiara: l'AI agentiva sta uscendo dai laboratori per entrare in filiere agricole, sale operatorie, criolaboratori quantistici e repository critici. Chi governa questi sistemi deve padroneggiare il triangolo energia–architettura–osservabilità. Non è una scelta tecnica, è la condizione per operare in Europa nel 2026.