Coding agent, memoria distillata e controllo adattivo: il nuovo stack software per robot autonomi

La robotica sta vivendo una transizione silenziosa ma profonda: il passaggio da policy end-to-end addestrate con reinforcement learning a software generato da modelli linguistici. Non si tratta più di addestrare una rete neurale a mappare pixel in azioni, ma di far scrivere a un LLM il codice di controllo, completo di logica, gestione degli errori e interfacce con la percezione. Questo approccio — battezzato coding agent — promette generalizzazione zero-shot e trasparenza, ma apre questioni inedite su sicurezza, memoria e controllo in tempo reale. Negli ultimi giorni, una serie di lavori su arXiv delinea l'architettura emergente di questo nuovo stack: harness di sicurezza per la pianificazione, token di workspace distillati da VLM, chunking adattivo basato sulla geometria del denoising, e World Action Models che rinunciano alla generazione video per predire esplicitamente il movimento.

Il filo conduttore è l'efficienza ingegneristica: sostituire componenti costosi (VLM in-the-loop, generazione video, simulatori fotorealistici) con rappresentazioni compatte addestrate offline, mantenendo o migliorando le prestazioni. Per l'industria italiana, che punta su flessibilità e certificabilità, questa direzione è strategica: codice ispezionabile, modelli leggeri deployabili su edge, e garanzie formali su vincoli di sicurezza.

Il gap di sicurezza nei coding agent: SafeHarness e la pianificazione obstacle-aware

Il paradigma del coding agent è allettante: un LLM scrive il controller come programma Python, lo esegue, osserva l'esito e itera. Ma la sicurezza non emerge per default. Lo studio SafeHarness (Coding Agents with an Obstacle-Aware Harness for Safe Robot Manipulation) evidenzia un fallimento sistematico: dato un obiettivo di manipolazione e un ostacolo da non toccare, l'agente collide nella maggior parte dei casi. Il modello "ragiona" sull'ostacolo nella catena di pensiero e il prompt lo vieta esplicitamente, ma la pianificazione non interiorizza il vincolo come priorità.

L'analisi decompone il problema in due fasi: la route phase (movimento nello spazio libero) e il contact-rich moment (manipolazione a contatto). Nella prima, l'agente non ha nozione di "percorso di sgombro" né capacità di ripianificare quando la rotta scelta diventa infeasibile. Nella seconda, ignora che l'esecuzione del contatto è vincolata dallo stesso ostacolo. SafeHarness introduce due harness obstacle-aware: il primo rappresenta gli oggetti come bounding box, genera waypoint candidati, verifica e ripianifica prima dell'esecuzione; il secondo seleziona la posa di contatto in modo che il contatto stesso eviti l'ostacolo. Risultato: 71,9% task success e 87,5% collision avoidance, superando lo SOTA precedente di 6,5 e 27 punti percentuali.

L'implicazione è chiara: la sicurezza va ingegnerizzata nell'architettura di pianificazione, non delegata al prompting. Per applicazioni industriali certificate (cobot, logistica, medicale), questo approccio harness-based offre un punto di ancoraggio per verifiche formali e runtime monitoring.

Memoria robotica leggera: distillare il VLM a train-time con Workspace Models

Le task a lungo orizzonte richiedono memoria di eventi passati. Condizionare la policy su storici completi degrada le prestazioni per correlazioni spurie; l'alternativa corrente — interrogare un VLM in-the-loop per estrarre informazioni salienti — introduce latenza e dipendenza da cloud. Workspace Models (Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision) rovescia il paradigma: sposta la computazione pesante del VLM a train-time.

Il metodo usa un VLM per identificare, data una task, quali informazioni correnti e storiche sono necessarie. Queste vengono distillate in un workspace token — una rappresentazione latente compatta — tramite una loss di set-reconstruction. Al deployment, il token sostituisce le osservazioni raw: la policy lo interroga come fosse una memoria, senza VLM in-the-loop. In simulazione e su hardware reale, i workspace token non solo sono più leggeri, ma migliorano le prestazioni della policy su task memory-intensive.

Questo pattern — teacher costoso offline, student leggero online — ricorre in più lavori recenti. Per le PMI italiane che integrano robot in celle di lavoro esistenti, significa deployment su hardware edge (Jetson Orin, PC industriali) senza connessione cloud obbligatoria, con latenze deterministiche e superficie d'attacco ridotta.

Controllo adattivo e transizioni di fase: GeoAAC e StageGuard

Due problemi aperti nel controllo basato su VLA (Vision-Language-Action) sono la granularità temporale dell'azione e il riconoscimento del completamento di sottotask.

GeoAAC (GeoAAC: Geometry-Based Adaptive Action Chunking from Denoising Trajectories in VLA Policies) osserva che l'action chunking a orizzonte fisso è inadeguato: fasi diverse richiedono continuità, precisione e feedback closed-loop differenti. L'intuizione chiave è che la geometria delle traiettorie di denoising nel flow matching fornisce informazione a livello di processo sull'affidabilità della predizione. La variazione geometrica tra prefissi d'azione correla positivamente con l'incertezza predittiva. GeoAAC costruisce un profilo geometrico per prefissi e adatta l'orizzonte d'azione da una singola generazione, senza training addizionale. Su GR00T N1.5 e π0.5, in benchmark LIBERO, LIBERO-Pro, RoboCasa365 e task reali, GeoAAC migliora fino a 8,7 punti percentuali in simulazione e porta il success rate reale medio da 53,3% a 74,4%.

StageGuard (StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation) affronta il problema gemello: quando terminare una skill e passare alla successiva in framework gerarchici. I completion checker predefiniti sono fragili; i VLM grandi hanno boundary decisionali non allineati e latenza eccessiva. StageGuard usa agentic distillation: un teacher VLM genera spiegazioni strutturate di completamento sottotask da traiettorie dimostrative; uno student VLM leggero impara a produrre auto-spiegazioni compatte per fine-tuning supervisionato. Integrato in controllo gerarchico su BEHAVIOR-1K e robot reali, migliora sostanzialmente la predizione di transizione di fase mantenendo monitoraggio online efficiente.

Insieme, GeoAAC e StageGuard forniscono controllo temporale adattivo e segmentazione semantica dell'esecuzione — due pilastri per robot che operano in sequenze lunghe e variabili senza supervisione umana costante.

World Action Models agili: predizione esplicita del movimento vs generazione video

I World Action Models (WAM) congiungono predizione di stati futuri e azioni, imparando dinamiche fisiche utili al controllo. Ma la generazione video futura in inferenza è costosa. Due lavori propongono strade complementari per rimuovere il decoder video mantenendo una rappresentazione esplicita del futuro.

MoWAM (MoWAM: Explicit Future Motion Prediction for Efficient World Action Models) sostituisce la generazione video con predizione esplicita del movimento futuro del robot. Un'architettura Mixture-of-Transformer impara le dinamiche visive future durante il training mentre predice congiuntamente moto e azione; in inferenza, la generazione video è rimossa del tutto. La rappresentazione compatta del moto abilita inference-time scaling: si campionano multiple coppie moto-azione e si seleziona la migliore con un verificatore motion-aware di task-progress. Su LIBERO, LIBERO-Plus e task reali, MoWAM ottiene prestazioni forti in-distribution, miglior robustezza out-of-distribution e success rate reale medio superiore ai baseline WAM rappresentativi; le prestazioni crescono all'aumentare dei candidati esplorati.

Agile-WAM (Agile-WAM: An Agile Tactile World Action Model for Contact-Rich Robot Control) persegue l'agilità su task contact-rich. Codifica osservazioni visive e tattili in uno shared latent che alimenta un flusso vision-tactile-to-action flow-matching generante chunk di azione e futuri latenti visivo/tattili. L'osservazione chiave: visione e tatto evolvono a scale temporali diverse — frame visivi adiacenti sono simili, segnali tattili cambiano bruscamente al contatto. Agile-WAM introduce predizione multi-orizzonte multimodale: supervisione per il latente visivo a offset temporale maggiore, predizione del latente tattile al frame successivo per catturare dinamiche di contatto a grana fine. Su nove task simulati e cinque reali contact-rich, supera il baseline più forte in success rate con latenza di inferenza di 11,9 ms; negli esperimenti reali, guadagno relativo del 29,4% in success rate complessivo.

Entrambi i lavori dimostrano che la rappresentazione esplicita del futuro non richiede pixel futuri. Per l'industria, significa WAM deployabili su controller real-time, con latenza deterministica e capacità di ragionare su contatto e dinamiche senza generare video.

Implicazioni per l'ecosistema robotico italiano

Questa convergenza — coding agent con harness di sicurezza, memoria distillata offline, chunking adattivo geometrico, transizioni di fase distillate, WAM a predizione di moto — delinea uno stack software moderno per robotica autonoma che risponde a tre esigenze critiche del manifatturiero e dei servizi italiani:

1. Certificabilità e ispezionabilità: il codice generato da LLM (SafeHarness) è leggibile, analizzabile staticamente, sottoponibile a model checking. I token di workspace (Workspace Models) sono vettori fissi, non black-box VLM. Le transizioni di fase (StageGuard) producono spiegazioni testuali verificabili.
2. Deploy edge-first: latenze di 11,9 ms (Agile-WAM), niente VLM in-the-loop (Workspace Models), niente generazione video (MoWAM), simulatori render-free per guida (OPTED (OPTED: On-Policy Fine-Tuning for End-to-End Driving using a Render-Free Teacher)), rappresentazioni semantic mid-level zero-shot sim-to-real (MILER (MILER: Semantic Mid-Level Representation for Sim-to-Real Reinforcement Learning in Unstructured Autonomous Driving) — 17,3 km su test track senza intervento su Jetson AGX Orin).
3. Data efficiency e transfer: distillazione da teacher privilegiati (OPTED, StageGuard), generazione dati procedurali per articolazione (FAMOS (FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations)), stereo visual-servoing per tracking subacqueo senza profondità costosi (Underwater Visual Target Tracking with Target-Specific Depth Estimation and Adaptive Model-Fusion Predictive Control).

Per system integrator, costruttori di macchine utensili, e centri di competenza Industry 4.0/5.0, l'indicazione strategica è investire nell'ingegneria delle rappresentazioni intermedie (workspace token, motion prediction, semantic BEV, articulation parameters) piuttosto che inseguire modelli end-to-end sempre più grandi. La competizione si sposta su: quanto bene possiamo distillare conoscenza in rappresentazioni compatte, sicure e composabili? — una partita dove l'ingegneria italiana di sistema ha carte da giocare.