llm

Dallo schermo al braccio robotico: la rivoluzione silenziosa degli agenti 'computer-use' che diventano generalisti incarnati

Due studi recenti mostrano come modelli generalisti addestrati solo su interfacce digitali stiano superando i sistemi specializzati nel controllo robotico reale, aprendo una via inedita verso l'AI incarnata senza dati robotici dedicati.

Pubblicato il

La frontiera tra intelligenza artificiale digitale e robotica fisica sta collassando più velocemente del previsto. Mentre l'attenzione della ricerca si concentra su architetture sempre più grandi e benchmark linguistici, due lavori pubblicati a inizio novembre su arXiv rivelano un fenomeno controintuitivo: modelli addestrati esclusivamente per operare su schermi — cliccare, scorrere, digitare — sanno trasferire quelle stesse competenze al controllo di bracci robotici reali, superando sistemi costruiti ad hoc per la manipolazione fisica. Non serve più addestrare un modello per ogni robot, né raccogliere migliaia di dimostrazioni umane: basta un'interfaccia software che renda l'ambiente fisico «leggibile» come un desktop.

Il paradigma si chiama Computer-Use Agent (CUA) e la sua promessa è radicale: un singolo modello generalista, addestrato su compiti software, può diventare un «generalista incarnato» semplicemente cambiando il software che gli sta davanti. Due dimostrazioni indipendenti, pubblicate a distanza di poche ore l'una dall'altra il 6 novembre 2024, convergono su questa conclusione. La prima, AMP1 (Agentic Manipulation Policy), mostra un modello che comanda direttamente manipolatori a uno e due bracci, mobile e fisso, raggiungendo l'85,6% di successo zero-shot su RoboLab-120 contro il 49,2% dei migliori modelli vision-language-action (VLA) e il 42,9% dei world-action models (WAM) (On Agentic Manipulation Policies). La seconda, un sistema CUA testato su quattro competizioni ECCV, si classifica al primo, secondo, terzo e sesto posto senza alcun tuning specifico per la competizione (Computer-Use Agents Are Embodied Generalists). Due percorsi, una stessa destinazione: l'era dei modelli specializzati per la robotica sta finendo.

L'anatomia di un generalista incarnato: AMP1 e la fine delle policy specializzate

Il lavoro su AMP1 (On Agentic Manipulation Policies) smonta un assunto fondante della robotica recente: che servano policy specialiste (VLA, WAM) addestrate su dimostrazioni per controllare un robot. AMP1 usa invece un modello generalista — lo stesso tipo di modello che risponde a prompt testuali o analizza immagini — come «cervello» che comanda il manipolatore direttamente, adattando le azioni mentre il task si svolge. Nessuna dimostrazione, nessun training task-specifico. L'harness di base non fornisce alcuna abilità di presa, spinta o posizionamento: l'agente sviluppa da solo strategie come cercare oggetti nascosti, usare oggetti come strumenti, calibrare le proprie telecamere.

I numeri sono eloquenti: su 108 prove reali su dodici task e tre istanze robotiche diverse, AMP1 fallisce solo 4 volte. Rispetto ai baseline VLA e WAM, il tasso di fallimento crolla di 20x e 15x. Aggiungendo un memory store persistente che trasporta l'esperienza tra episodi, il fallimento su task bimanuali RoboDojo scende ulteriormente di 4,6x. La lezione architetturale è chiara: la generalità del modello compensa e supera la specializzazione dell'addestramento. Il modello «capisce» la fisica e la geometria del task perché le ha apprese in contesti digitali vasti e vari, non perché ha visto mille prese dello stesso oggetto.

Computer-Use Agents: il ponte inaspettato tra desktop e fabbrica

Mentre AMP1 lavora a basso livello (azioni continue sui giunti), il paper sui CUA (Computer-Use Agents Are Embodied Generalists) adotta una via più alta: rendere l'ambiente fisico un'applicazione software. Il team costruisce un software che «renderizza» la vista del robot su uno schermo e fornisce controlli tastiera/mouse per agire. Un CUA — addestrato per usare software generico (browser, IDE, fogli di calcolo) — riceve screenshot e manda click e tasti. Nulla cambia nel modello: stessa architettura, stessi pesi, stessa interfaccia percezione-azione.

Il risultato è sorprendente: lo stesso design CUA, cambiando solo il software di interfaccia, vince premi in quattro workshop ECCV su locomozione, manipolazione, navigazione e riarrangiamento. Le competenze apprese sul software — grounding visivo, clicking preciso, esplorazione — si trasferiscono direttamente ai task incarnati. Gli autori concludono: "i CUAs possono essere generalisti incarnati" e "seguendo la strategia di addestramento che ha reso i CUAs generalisti, l'embodied AI può convergere su un singolo modello generale".

Due approcci — azioni continue (AMP1) e azioni discrete via UI (CUA) — che convergono sulla stessa ipotesi: la generalità appresa nel dominio digitale è una base più potente della specializzazione nel dominio fisico.

Perché funziona: la «competenza di interfaccia» come abilità universale

Cosa hanno in comune un agente che clicca su un pulsante «Invia» e uno che chiude una pinza su un cubo? Entrambi richiedono: localizzare un target visivo in un flusso di immagini, pianificare una traiettoria verso di esso, eseguire con precisione, verificare l'esito, correggere se fallisce. I CUAs imparano questo ciclo milioni di volte su interfacce eterogenee: menu a tendina, drag-and-drop, canvas di disegno, terminali. Quando lo stesso ciclo incontra un braccio robotico, la struttura del problema è isomorfa: il «pulsante» è ora una maniglia, il «click» è una traiettoria di giunti, lo «scroll» è una rotazione del polso.

AMP1 mostra che l'agente inventa comportamenti emergenti: tool use (usare un bastone per raggiungere un oggetto), ricerca attiva (muovere la telecamera per trovare oggetti nascosti), auto-calibrazione (aggiustare la posa della camera per vedere meglio). Nessuno di questi è hardcoded. Il memory store persistente aggiunge apprendimento per esperienza cross-episodico: l'agente ricorda cosa ha funzionato e lo riapplica. È la stessa dinamica di un utente che impara un nuovo software esplorandolo, non leggendo il manuale.

Implicazioni per l'industria italiana: automazione senza integrazione verticale

Per il tessuto manifatturiero italiano — PMI, distretti, filiere flessibili — questo cambio di paradigma ha conseguenze concrete. Oggi automatizzare una cella robotica richiede: integrazione hardware/software proprietaria, programmazione task-specifica, sistemi di visione dedicati, mesi di commissioning. Un approccio CUA/AMP promette: un modello generalista off-the-shelf, un'interfaccia software standardizzata (schermo + controlli), zero training per il nuovo task.

Immaginiamo un'azienda di packaging nel distretto di Bologna: oggi per cambiare formato serve un integratore, settimane di setup, test. Domani: l'operatore descrive il nuovo task in linguaggio naturale, il CUA genera la sequenza di azioni sull'interfaccia robotica, il braccio esegue. La conoscenza del processo resta nell'azienda, non nell'integratore. La riprogrammazione diventa una conversazione, non un progetto software.

La sfida non è più «come addestrare il robot» ma «come esporre il robot come applicazione». Standardizzare l'interfaccia robot-as-software (stream video + API azione) diventa l'infrastruttura abilitante. Chi controlla quell'interfaccia — il runtime CUA, il memory store, la sicurezza dell'esecuzione — controlla la nuova catena del valore dell'automazione flessibile.

Sicurezza e affidabilità: il nuovo perimetro di fiducia

Se il modello generalista comanda il braccio, chi garantisce che non faccia danni? AMP1 e CUA spostano il problema: non si tratta più di verificare una policy specializzata (spazio di stati limitato, comportamenti noti) ma di governare un agente open-ended che può inventare strategie impreviste. Il memory store persistente aggiunge stato a lungo termine: l'agente impara dall'esperienza, il che significa che il suo comportamento evolve nel tempo.

Serve un livello di supervisione architetturale: guardrail cinematici (limiti giunti, zone vietate), watchdog temporali (timeout su azioni), simulazione preventiva (rollout in gemello digitale prima dell'esecuzione reale), audit trail completo di percezioni, decisioni, azioni. La sicurezza funzionale (ISO 13849, IEC 62061) deve comporsi con la sicurezza dell'AI (robustezza a distribuzioni out-of-distribution, resistenza a prompt injection via percezione visiva). AegisCore sta lavorando su framework di "AI Safety by Design" per agenti incarnati che trattano il modello generalista come componente non deterministico da contenere, non come scatola nera da fidarsi.

Oltre la manipolazione: la via verso l'intelligenza fisica generalista

I due lavori non sono episodi isolati. Fonte 6 (Grasp-TAGS) mostra che anche la selezione della presa — tradizionalmente problema geometrico — beneficia di un critic distillato che predice l'utilità downstream di una presa prima del contatto, migliorando il successo del 9,97%. Fonte 7 (FlowAlign) dimostra che l'allineamento multimodale via flow matching preserva struttura globale e corrispondenza istanza-per-istanza — tecnica direttamente applicabile ad allineare percezione robotica e spazio latente del modello generalista. Fonte 5 (CodeQuant2) risolve un collo di bottiglia pratico: quantizzazione a bassa precisione per Large Reasoning Models (fino a 2,85x speedup su BF16), rendendo l'inferenza di modelli generalisti abbastanza veloce per loop di controllo real-time su hardware edge.

Il quadro che emerge è coerente: modelli generalisti + interfacce software standardizzate + quantizzazione efficiente + memory persistente + allineamento multimodale robusto = piattaforma per intelligenza fisica generalista. Non serve più una torre di Babele di modelli specializzati (visione, linguaggio, controllo, pianificazione, presa, navigazione). Serve un modello, molte interfacce.

Il bivio strategico per l'Europa e l'Italia

L'Europa ha perso la corsa ai LLM generalisti (addestramento, scala, dati). Ma non ha perso la corsa all'AI incarnata generalista, perché questa si gioca su: dati di interazione reale, competenza manifatturiera, standardizzazione interfacce, sicurezza certificata, deployment edge. L'Italia ha il secondo manifatturiero d'Europa, distretti che vivono di flessibilità, una tradizione di automazione su misura. Se i modelli generalisti (addestrati altrove) diventano commodity, il valore si sposta su: come li incapsuli, come li interfacci al fisico, come li certifichi, come li fai imparare in sicurezza sul campo.

AMP1 e CUA sono segnali deboli di una transizione forte. Chi oggi costruisce runtime per agenti incarnati, standard robot-as-software, framework di sicurezza per generalisti open-ended, memorie persistenti auditabili — domani fornisce il sistema operativo della fabbrica flessibile. Non è fantascienza: è codice pubblicato il 6 novembre 2024, che gira su robot reali, oggi.

Fonti