Od 3D prikaza do prostorno svjesnih AI likova
U posljednjih godinu dana XR industrija tiho se pomiče iz faze pukog prikaza 3D sadržaja prema prostornim iskustvima u kojima ključnu ulogu imaju autonomni, prostorno svjesni AI agenti. Na konferencijama poput AWE USA 2025 predstavljene su platforme koje omogućuju likovima u virtualnim i proširenim okruženjima da „vide“, pamte, rasuđuju i razgovaraju u stvarnom vremenu. Ti likovi više nisu skriptirani NPC‑evi, već dinamični suigrači, mentori ili instruktori u treningu i edukaciji.
Takvi sustavi već se koriste u simulacijama za NASA‑u i brojne enterprise klijente. U njima prostorno svjesni agenti prate ponašanje korisnika, analiziraju pokrete tijela i pogled, te u hodu prilagođavaju scenarije. Umjesto statičnih vježbi, polaznici dobivaju trening koji reagira na njihove odluke, tempo i razinu znanja.
Tehnička podloga: kako XR uređaji „hrane“ AI agente
Tehnička osnova za ovakve agente leži u kombinaciji prostorne percepcije XR uređaja i agentičke umjetne inteligencije. Headseti poput Meta Questa, Apple Vision Proa ili naprednih AR/MR naočala kontinuirano grade 3D model okoline. Za to koriste SLAM (simultaneous localization and mapping), depth sensing, lidar i passthrough kamere koje u realnom vremenu rekonstruiraju prostor.
Na taj prostorni sloj nadograđuju se AI modeli koji razumiju gdje se korisnik nalazi, što gleda, kojim se putem kreće i s kojim objektima interagira. Field of view, precizno praćenje glave, ruku i kontrolera, kao i eye tracking, omogućuju agentima da zaključe je li korisnik fokusiran, zbunjen ili pod stresom.
Agentic AI: od skripti do autonomnih odluka
Za razliku od klasičnih NPC‑eva u igrama, koji slijede unaprijed zadane skripte, prostorni AI agenti koriste agentic AI pristup. To znači da:
- održavaju dugotrajnu memoriju interakcija – pamte što je korisnik radio u prethodnim sesijama, koje je zadatke savladao i gdje je griješio,
- donose odluke na temelju konteksta okoline – primjerice, ako primijete da korisnik stoji na opasnom mjestu u simulaciji, prekidaju scenarij i pokreću sigurnosni protokol,
- vode višekratne razgovore – dijalog se nastavlja iz sesije u sesiju, pa agent može referencirati ranije razgovore, ciljeve i preferencije korisnika.
U pozadini se kombiniraju veliki jezični modeli, sustavi za planiranje i rezoniranje, te specijalizirani moduli za prostornu analitiku. Rezultat su likovi koji ne reagiraju samo na pritisak tipke, nego na cijeli kontekst – položaj tijela, okruženje, povijest učenja i trenutačne zadatke.
Prostorni AI agenti u treningu i edukaciji
Najkonkretniji pomaci vide se u području treninga i edukacije, gdje XR već godinama služi za simulacije visokog rizika ili visoke cijene. Uvođenjem AI agenata te simulacije postaju interaktivnije, adaptivnije i bliže stvarnim situacijama.
Industrijski i sigurnosni trening
U industrijskim i sigurnosnim simulacijama AI agent može preuzeti ulogu iskusnog nadzornika na terenu. U virtualnoj rafineriji, tvornici ili skladištu, prostorni mentor stoji u blizini korisnika, ali ne blokira mu pogled na zadatak. Kroz kombinaciju glasovnih uputa i vizualnih hintova u XR okruženju:
- u realnom vremenu komentira postupke polaznika,
- upozorava na pogrešne sekvence ili propuštene sigurnosne korake,
- prilagođava težinu zadataka – ubrzava tempo ili uvodi dodatne komplikacije kad polaznik napreduje.
Primjerice, u simulaciji gašenja požara agent može detektirati da korisnik ne provjerava tlak na aparatu ili stoji preblizu izvoru plamena. Sustav tada smanjuje vidljivost, dodaje zvukove stresa ili aktivira scenarij „near miss“ kako bi naglasio posljedice pogreške, a zatim na kraju sesije daje detaljan prostorni replay s analizom svih koraka.
Medicinska edukacija i kirurgija
U medicini se razvijaju MR sustavi u kojima prostorni AI agent prati pokrete ruku i pogled terapeuta, kirurga ili studenta medicine. Kroz kombinaciju mixed reality ankera i preciznog trackinga ruku, agent:
- bilježi metrike koordinacije, stabilnosti i točnosti pokreta,
- uspoređuje ih s idealnim protokolima,
- u stvarnom vremenu sugerira korekcije – npr. promjenu kuta reza ili jačine pritiska.
Passthrough video omogućuje da liječnik i dalje vidi stvarnog pacijenta ili model, dok MR sloj dodaje virtualne slojeve anatomije, kritične zone i upozorenja. Agent može prepoznati kada student preskače važan korak, zaustaviti simulaciju i objasniti zašto je taj korak ključan u stvarnoj operaciji.
Rehabilitacija i terapija pokreta
Sličan pristup primjenjuje se u rehabilitaciji, gdje kombinacija AR prikaza i vanjskih senzora (motion capture, inercijski senzori, kamere) omogućuje detaljnu analizu pokreta. AI agent u prostoru:
- prati amplitude i simetriju pokreta,
- prepoznaje kompenzacijske obrasce koji mogu dovesti do novih ozljeda,
- dinamički prilagođava vježbe – povećava ili smanjuje opterećenje, broj ponavljanja ili brzinu.
Umjesto jednoličnih uputa na ekranu, pacijent u XR okruženju vidi virtualnog terapeuta koji demonstrira vježbu točno na njegovoj razini, u njegovom dnevnom boravku, uz mixed reality anchore koji vježbe „pričvršćuju“ za fizički prostor. Agent pamti napredak iz dana u dan i motivira korisnika kroz personalizirane ciljeve.
Dizajn interakcije: korisni, ali ne nametljivi agenti
Za XR developere ovo otvara novu klasu aplikacija, ali i nove izazove. Ključno pitanje više nije samo kako izgraditi lijep 3D model, već kako dizajnirati odnos korisnika i AI lika u prostoru.
UX u 3D: gdje i kako se agent pojavljuje
Dizajn 3D interakcija i korisničkog sučelja mora osigurati da agenti budu prisutni, ali ne nametljivi. Primjer dobre prakse je da se prostorni mentor pojavljuje u korisnikovom perifernom vidu, a ne izravno ispred zadatka. Agent može stajati sa strane, u visini očiju, ili se pojavljivati samo kada ga korisnik pozove gestom ili glasom.
Field of view XR uređaja dodatno ograničava gdje se agent može smjestiti. Ako lik stalno „iskače“ unutar uskog FOV‑a, korisnik brzo razvija zamor i frustraciju. Zato se uvode pravila poput:
- agent ne prelazi kritičnu liniju zadatka,
- koristi prostorne markere na podu ili zidu kao „pozornicu“,
- mijenja udaljenost i veličinu ovisno o tipu zadatka – bliže za dijalog, dalje za promatranje.
Glas, geste i pogled kao primarni input
U interakciji s prostornim agentima tipkovnica i miš gotovo nestaju. Primarni kanali postaju glas, geste i pogled. To znači da agent mora:
- razumjeti prirodni govor uz buku u pozadini,
- prepoznavati jednostavne geste – podizanje ruke za pitanje, okretanje tijela za prekid,
- koristiti eye tracking kako bi znao na što se korisnik referira („ovo“, „ono tamo“).
Za developere to znači dodatni sloj dizajna: definiranje prostornog vokabulara gesta, vizualnih potvrda i povratnih informacija kako bi interakcija bila jasna i predvidljiva.
Privatnost, sigurnost i etička pitanja
Uz sve mogućnosti, prostorni AI agenti otvaraju i ozbiljna pitanja privatnosti i sigurnosti podataka. Za rad im je potreban stalni pristup informacijama o ponašanju, lokaciji i govoru korisnika, kao i 3D modelima fizičkih prostora.
Organizacije koje uvode ovakve sustave moraju definirati:
- što se točno snima i koliko dugo se podaci čuvaju,
- gdje se podaci obrađuju – lokalno na uređaju ili u cloudu,
- tko ima pristup snimkama i metrikama performansi,
- kako se anonimiziraju prostorne mape i biometrijski podaci.
Posebno je osjetljivo područje evaluacije zaposlenika. Ako AI agent u XR treningu kontinuirano ocjenjuje radnike, nužno je jasno komunicirati svrhu, kriterije i granice takvog nadzora. U suprotnom, tehnologija koja bi trebala pomagati u učenju može stvoriti osjećaj stalnog nadzora i nepovjerenja.
Što dolazi sljedeće: agenti koji putuju kroz XR ekosustave
Sljedeći val inovacija vjerojatno će doći iz spajanja agentičkih sustava s otvorenijim XR ekosustavima i standardiziranim prostornim mapama svijeta. Inicijative poput OpenXR standarda, interoperabilnih spatial anchora i zajedničkih formata za 3D karte otvaraju mogućnost da isti AI mentor „putuje“ s korisnikom.
U takvom scenariju, korisnik započinje obuku na jednom headsetu u uredu, nastavlja na drugom kod kuće, a agent ga prepoznaje, zna gdje je stao i razumije novi fizički prostor. Mixed reality anchori povezuju virtualne objekte s konkretnim mjestima – strojevima u tvornici, radnim stolovima, učionicama – bez obzira na uređaj.
Za XR aplikacije to znači pomak od jednokratnih simulacija prema dugotrajnom odnosu između ljudi i digitalnih suigrača. Agent postaje svojevrsni „digitalni kolega“ ili tutor koji prati karijeru, bilježi napredak, predlaže nove treninge i prilagođava stil poučavanja kako se korisnik razvija.
Zaključak: kvaliteta likova važnija od samog 3D sadržaja
Kako se prostorna računala približavaju mainstreamu, XR aplikacije za trening i edukaciju sve će se manje razlikovati po samom 3D sadržaju, a sve više po kvaliteti svojih AI likova. Realistični modeli i visoka rezolucija više nisu dovoljni; presudni postaju ponašanje, inteligencija i sposobnost agenata da razumiju prostor i čovjeka u njemu.
Za industriju to znači novu utrku: tko će prvi ponuditi prostorne AI mentore koji su pouzdani, etični i dovoljno „ljudski“ da ih korisnici požele imati uz sebe svaki dan. A za korisnike – od radnika u tvornicama do studenata medicine – to znači da će učenje sve više nalikovati radu uz stvarnog, strpljivog mentora koji nikada ne zaboravlja što ste već prošli i uvijek zna koji je sljedeći najbolji korak.
