AI-native XR: novi sloj za prostorni rad
U posljednjih godinu dana XR industrija napravila je tih, ali ključan zaokret. Prostorna računala više se ne prodaju samo kroz rezoluciju ekrana, refresh rate i širinu field of viewa, nego kroz – ugrađenu umjetnu inteligenciju. Novi headseti i platforme, od Android XR ekosustava do enterprise rješenja, dolaze kao AI-native uređaji.
To znači da XR više nije samo vizualni sloj preko stvarnosti, već kontekstno svjestan asistent. Uređaj razumije prostor, objekte, zadatke i korisnikove namjere. Kamere, depth senzori i eye tracking više ne služe samo za praćenje pokreta, nego postaju ulazni kanali za prostorne AI modele koji “čitaju” scenu u stvarnom vremenu.
Rezultat je nova kategorija alata: prostorni asistenti. Oni kombiniraju generativnu umjetnu inteligenciju, computer vision i mixed reality anchors kako bi informacije vezali za stvarne objekte i procese, umjesto za statične ekrane.
Hardver: XR čipovi dizajnirani za AI
Trend je vidljiv na svim razinama tržišta. Proizvođači hardvera ugrađuju sve snažnije XR čipove i dedicirane akceleratore za AI. Cilj je omogućiti lokalno izvođenje modela za:
- prepoznavanje okoline (scene understanding, semantic segmentation),
- tracking ruku, tijela i alata,
- eye tracking i procjenu pažnje,
- generiranje 2D/3D sadržaja u stvarnom vremenu.
Novi SoC-ovi za XR kombiniraju CPU, GPU i NPU jezgre optimizirane za multimodalne modele. Time se smanjuje latencija između onoga što korisnik vidi i reakcije sustava. Za industrijske scenarije to je ključno: prostorni overlay mora reagirati u milisekundama, ne sekundama.
Istodobno, sve više uređaja podržava hibridni pristup: osnovni modeli za prepoznavanje gesta i okoline vrte se lokalno, dok se veći generativni modeli pozivaju preko edge ili cloud infrastrukture. Time se balansiraju performanse, trošak i sigurnost podataka.
Softver: XR operacijski sustavi s ugrađenim asistentima
Glavni operacijski sustavi za XR – uključujući Android XR i nove prostorne sučeljske slojeve – imaju višegodišnje razvojne mape u kojima je integracija generativnih asistenata i prostorne AI jezgre centralna točka.
To uključuje mogućnost da sustav kontinuirano razumije:
- gdje korisnik gleda (eye tracking i gaze-based interakcije),
- koje alate i strojeve koristi (object recognition, digital twins),
- u kojoj se fazi procesa rada nalazi (task state tracking),
- koje informacije su mu potrebne u sljedećem koraku (intent prediction).
Umjesto klasičnih aplikacija u prozorima, pojavljuju se agent-centric sučelja. Korisnik razgovara s prostornim asistentom glasom ili gestama, a agent otvara aplikacije, dohvaća podatke iz enterprise sustava i postavlja mixed reality anchors točno tamo gdje su potrebne u prostoru.
Od aplikacija do prostornog OS-a
Za developere to znači promjenu paradigme. Više nije dovoljno izgraditi XR aplikaciju koja prikazuje 3D model. Potreban je prostorni AI sloj koji:
- mapira prostor (SLAM, spatial mapping),
- spaja fizičke objekte s digitalnim identitetima (digital twin, QR/markerless anchoring),
- omogućuje agentu da razumije kontekst i donosi odluke.
Operacijski sustav sve više postaje orkestrator AI agenata, a manje klasičan desktop u 3D prostoru.
Industrija, održavanje i proizvodnja: novi radni tokovi
Za industriju, održavanje i proizvodnju to otvara sasvim nove scenarije. Umjesto klasičnih PDF uputa ili 2D videa na tabletu, radnik s XR naočalama dobiva kontekstualne upute u vidu prostorno usidrenih oznaka, strelica i 3D modela koji se dinamički prilagođavaju situaciji.
Prostorno usidrene upute u praksi
Tipičan scenarij u tvornici:
- Radnik stavi XR headset. Sustav prepoznaje liniju, stroj i serijski broj pomoću computer visiona.
- Na stvarnom stroju pojavljuju se holografske oznake: koje panele otvoriti, gdje otpustiti vijke, koji modul zamijeniti.
- LLM-pokretani agent, treniran na tehničkoj dokumentaciji, vodi korisnika korak po korak. Svaki korak je prikazan kao prostorni overlay, a ne kao tekst na ekranu.
- Agent u stvarnom vremenu provjerava je li dio ispravno montiran, koristeći kombinaciju vizualne inspekcije i senzorskih podataka.
Korisnik može pitati: “Što je sljedeći korak?”, “Je li ovaj kabel dobro spojen?” ili “Koje su sigurnosne provjere obavezne prije pokretanja?”. Asistent odgovara glasom, pokazuje relevantne dijelove u vidnom polju i po potrebi prikazuje 3D presjek stroja.
Primjeri iz ranih pilot-projekata
Rani pilot-projekti u područjima poput robotske montaže, servisa infrastrukture ili zrakoplovne industrije pokazuju konkretne učinke:
- Skraćeno vrijeme treninga novih radnika za 30–50%, jer uče na stvarnom stroju uz prostorne upute, bez dugih teorijskih modula.
- Smanjen broj pogrešaka u servisnim intervencijama, zahvaljujući automatskim check-listama i vizualnim potvrđivanjem kritičnih koraka.
- Brže rješavanje incidenata, jer agent može odmah analizirati logove, povijest kvarova i predložiti najvjerojatnije uzroke, dok tehničar stoji ispred opreme.
U zrakoplovnoj industriji XR se koristi za vizualnu inspekciju i verifikaciju, gdje prostorni asistent označava područja koja treba pregledati, a zatim automatski bilježi što je provjereno. U energetici, tehničari na terenu dobivaju live podatke iz SCADA sustava direktno u vidno polje, uz AI preporuke za postupanje.
Tehnički preduvjeti: od podataka do prostorne inteligencije
AI-native XR donosi i nove izazove. Kvaliteta iskustva ovisi o tome koliko dobro su znanje i procedure strukturirani za pretraživanje i razumijevanje od strane modela, kao i o pouzdanosti prostornog mapiranja u dinamičnim okolinama.
Strukturirano znanje i industrijski podaci
Da bi prostorni asistent radio pouzdano, organizacije moraju:
- pretvoriti PDF priručnike i 2D nacrte u strukturirane formate (XML, JSON, grafovi znanja),
- povezati dokumentaciju s konkretnim strojevima i lokacijama (asset management, digital twins),
- uspostaviti pipelines za ažuriranje modela kad se procedure promijene,
- koristiti vektorske baze podataka za semantičko pretraživanje tehničkog znanja.
Bez toga, LLM agenti ostaju generički i skloni halucinacijama. Sa strukturiranim znanjem i jasnim ograničenjima domena, isti modeli postaju pouzdani industrijski asistenti.
Prostorno mapiranje i tracking
Drugi ključni sloj je pouzdano prostorno mapiranje. U dinamičnim okolinama – tvornicama, skladištima, servisnim lokacijama – stalno se mijenjaju ljudi, objekti i osvjetljenje. XR sustav mora održavati stabilne mixed reality anchors i precizan tracking, čak i kada:
- se strojevi pomiču ili mijenjaju moduli,
- radnik prelazi između unutarnjih i vanjskih prostora,
- se mrežna povezanost prekine i agent mora raditi offline.
To traži kombinaciju lokalnog SLAM-a, mapiranja u oblaku i sinkronizacije više uređaja u istom prostoru. Za industrijske klijente, konzistentnost prostornog layouta postaje jednako važna kao i sigurnost mreže.
Sigurnost i privatnost
AI-native XR uređaji prikupljaju osjetljive podatke: video okoline, pozicije radnika, procese rada, ponekad i zvuk razgovora. Potrebni su:
- jasni modeli pohrane i anonimizacije podataka,
- on-device obrada kad god je to moguće,
- granularne kontrole tko ima pristup kojim snimkama i logovima,
- auditi AI odluka u kritičnim industrijskim procesima.
Za mnoge kompanije upravo će sigurnosna arhitektura odlučiti hoće li XR asistent završiti u pilotu ili u punoj produkciji.
UX izazovi: između produktivnosti i preopterećenja
Uz tehničke preduvjete, UX dizajn mora pomiriti bogatstvo informacija s kognitivnim opterećenjem. Previše upozorenja, holograma i notifikacija može biti jednako štetno kao i premalo.
Minimalni overlay, maksimalni učinak
Dobro dizajniran AI-native XR sustav:
- prikazuje samo informacije koje su relevantne za trenutni korak,
- koristi boje, ikonografiju i prostorni raspored koji ne zaklanja kritične fizičke elemente,
- omogućuje brzo skrivanje ili smanjivanje slojeva informacija,
- podržava multimodalnu interakciju (glas, geste, pogled) kako bi ruke ostale slobodne.
Prostorni asistent mora znati kada ne govoriti. U situacijama visokog rizika, kratke, jasne poruke i vizualni highlight ključnih zona važniji su od detaljnih objašnjenja.
Što dolazi sljedeće: prostorni kolege, ne samo alati
U sljedećoj fazi razvoja možemo očekivati da će se AI agenti u XR-u pretvoriti iz pomoćnih alata u stalne suradnike u radnim procesima. Prostorni asistenti koji “vide” isto što i korisnik, razumiju domenski kontekst i mogu inicirati radnje u drugim sustavima (od ERP-a do robotskih stanica) postat će jedan od glavnih razloga zašto će tvrtke ulagati u XR, više nego zbog samog vizualnog efekta.
To otvara nekoliko novih smjerova:
- Orkestracija robota i ljudi – XR asistent koordinira zadatke između autonomnih robota i ljudskih radnika, dodjeljujući poslove ovisno o složenosti i riziku.
- Prediktivno održavanje u prostoru – umjesto liste potencijalnih kvarova u aplikaciji, korisnik vidi koji će dijelovi vjerojatno zakazati, označene izravno na stroju.
- Kolaborativni remote rad – stručnjak na drugoj lokaciji ulazi u istu prostornu scenu, vidi što vidi tehničar i zajedno s AI agentom rješava problem.
Za organizacije koje već danas počnu graditi svoje znanje, podatkovne tokove i procese s obzirom na AI-native XR, prednost neće biti samo u uštedi vremena. Riječ je o stvaranju potpuno novih, prostorno inteligentnih načina rada, gdje je digitalni asistent stalni, vidljivi dio svakog zadatka.
Kako se granica između fizičkog i digitalnog radnog mjesta briše, pitanje više nije hoće li industrija usvojiti XR, nego kakve će prostorne asistente željeti imati uz sebe na liniji, u pogonu ili na terenu.
