XR više ne koči samo rezolucija – usko grlo je čip
XR uređaji su ušli u novu fazu. Rasprave o rezoluciji, težini headseta i širini field of viewa više nisu dovoljne. Danas sve češće presuđuje ono što se ne vidi: arhitektura čipa koji pokreće cijeli sustav. Upravo taj „mozak“ sve teže prati složena, istovremena radna opterećenja tipična za prostorna računala.
Za razliku od klasičnih mobilnih telefona, XR headset mora u milisekundama obrađivati više paralelnih tokova podataka: precizno 3D praćenje glave i ruku, SLAM i rekonstrukciju prostora, prepoznavanje gesta, renderiranje 3D scene, prostorni zvuk, passthrough video i složene mixed reality UI interakcije. Sve to uz stroga ograničenja potrošnje energije i zagrijavanja, s baterijom koja mora izdržati barem jedan radni blok od sat do dva.
Tradicionalni odgovor industrije bio je jednostavan: više jezgri, više TOPS-a, veći neuralni akceleratori, brža memorija. No novi val istraživanja XR workloadova pokazuje da takav generički pristup, naslijeđen iz mobilnog svijeta i fokusiran na ubrzavanje nekoliko dominantnih CNN modela, više ne daje željene rezultate. XR pipeline je previše heterogen da bi ga se „nahranilo“ samo dodatnim silicijem.
Što govore nova istraživanja XR radnih opterećenja
Analize tipičnih XR radnih tokova, poput nedavno objavljenih radova na temu arhitekture prostornog računanja, predlažu bitno drukčiji način razmišljanja o čipovima. Umjesto da se gleda samo ukupna računska snaga, istraživači razlažu XR sustav na faze i identificiraju obrasce ponašanja svakog koraka u pipelineu.
Tipičan XR pipeline može se grubo podijeliti na nekoliko faza:
- Senzorski ulaz: kamere, dubinski senzori, IMU, mikrofon, eye-tracking.
- Percepcija i rekonstrukcija: SLAM, 3D rekonstrukcija prostora, semantičko označavanje objekata.
- Interakcija: prepoznavanje ruku, gesta, pogleda, glasovnih naredbi.
- Renderiranje i kompozicija: 3D rendering, lighting, occlusion, kompozicija virtualnog i realnog kroz passthrough.
- Output: prikaz na zaslonima, prostorni zvuk, haptika.
Svaka od tih faza ima drugačiji profil: neke su izrazito memorijski ograničene, druge osjetljive na latenciju, treće na upravljački overhead i sinkronizaciju, a četvrte pak traže kontinuirani throughput. Istraživanja stoga uvode pojam arhitekturnih arhetipova – skupina zadataka koji se slično ponašaju s aspekta hardvera.
Umjesto jedne generičke „AI jezgre“, predlaže se fazno svjestan dizajn: čip koji zna da se u određenom trenutku usko grlo nalazi, primjerice, u SLAM modulu, a ne u renderiranju, te u skladu s time elastično preraspodjeljuje resurse.
Arhitekturni arhetipovi: zašto „više TOPS-a“ više nije dovoljno
Analizom niza reprezentativnih XR jezgri istraživači identificiraju nekoliko tipičnih arhetipova:
- Kapacitetom ograničeni zadaci – primjerice 3D rekonstrukcija i mapiranje prostora, gdje je ključno imati dovoljno memorijskog kapaciteta i propusnosti za volumetrijske podatke, a ne samo sirovu računalnu snagu.
- Latencijom osjetljivi zadaci – poput head-tracking i hand-tracking modula, gdje i mala kašnjenja narušavaju stabilnost slike i uzrokuju mučninu.
- Overhead-om opterećeni zadaci – kompleksni grafički pipelineovi, gdje previše sitnih kernel poziva i sinkronizacija između CPU-a, GPU-a i NPU-a počinje dominirati ukupnim vremenom izvršavanja.
- Throughput-orijentirani zadaci – kontinuirani video passthrough i prostorni audio processing, koji traže stabilan, predvidljiv protok podataka.
Ključna poruka: jedan univerzalni akcelerator, koliko god moćan, teško može optimalno poslužiti sve ove profile. Zato se u novim radovima naglašava potreba za fajnozrnom, fazno svjesnim raspoređivanjem resursa i elastičnim dodjeljivanjem računske snage ovisno o trenutnom uskom grlu u XR pipelineu.
To podrazumijeva i nove algoritme raspoređivanja na razini SoC-a, koji u stvarnom vremenu prate metrike poput latencije trackinga, popunjenosti render queuea ili kašnjenja u SLAM-u, te prilagođavaju takt, napone i dodjelu blokova između CPU, GPU, NPU, ISP i specijaliziranih XR akceleratora.
Što to znači za buduće headsete: od Apple Vision Pro do Meta Questa
Najnoviji XR headseti već pokazuju smjer. Apple Vision Pro kombinira M-seriju čipova s dodatnim R1 procesorom za obradu senzora, dok Meta Quest uređaji spajaju mobilne Snapdragon platforme s XR-specifičnim optimizacijama. No većina tih rješenja i dalje tretira XR kao skupinu relativno izoliranih zadataka: kamera ide na ISP, AI modeli na NPU, grafika na GPU.
Novi pristup sugerira da uspješni prostorni čipovi moraju razumjeti cijeli tok podataka, od senzora do prikaza. Primjerice:
- Praćenje glave i očiju izravno utječe na foveated rendering i raspodjelu piksela.
- Semantičko razumijevanje scene (npr. prepoznavanje stolova, zidova, ljudi) mijenja način na koji se postavljaju mixed reality anchors i kako se renderiraju virtualni objekti.
- Analiza gesta ruku utječe na UI logiku i prioritete u renderingu interaktivnih elemenata.
U praksi to znači da će budući XR SoC-ovi morati imati ugrađene mehanizme za cross-layer optimizaciju: hardver, driveri, XR operativni sustav i aplikacijski engine moraju dijeliti informacije o tome što je trenutno kritično za iskustvo korisnika. Ako se, primjerice, u nekom trenutku intenzivira remote-assistance video sesija, SoC može privremeno smanjiti kvalitetu perifernog renderinga kako bi osigurao dovoljno resursa za niskolatentni streaming i obradu gesta.
Novi raspoređivači na razini SoC-a i suradnja s XR OS-om
Takav pristup otvara prostor za potpuno novu generaciju raspoređivača na razini SoC-a. Umjesto statičnog planiranja, gdje je unaprijed zadano da određeni modul uvijek radi na istoj jezgri, uvodi se dinamičko prebacivanje resursa između faza koje postaju usko grlo u određenom trenutku.
Primjeri mogućih optimizacija:
- Privremeno prebacivanje dijela SLAM pipelinea s CPU-a na specijalizirani akcelerator kad se detektira porast latencije u tracking petlji.
- Adaptivno smanjenje rezolucije passthrough videa u trenucima kad GPU ulazi u saturaciju zbog kompleksnog renderinga refleksija i sjena.
- Prioritizacija audio pipelinea i glasovnih naredbi u situacijama kad korisnik radi hands-free interakciju u industrijskom okruženju.
Da bi to funkcioniralo, XR operativni sustav mora pružiti telemetriju u stvarnom vremenu i API-je kojima aplikacije mogu prijaviti svoje prioritete: je li ključna metrika u toj sceni kvaliteta renderinga, stabilnost trackinga, pouzdanost gesta ili brzina video streama. SoC raspoređivač zatim na temelju tih signala i mjerenja s hardvera donosi odluke o dodjeli resursa.
Implikacije za XR developere: optimizacija više nije samo pitanje poligona
Za XR developere to znači promjenu paradigme. Optimizacija aplikacije više se ne svodi na odabir „pravog“ enginea i smanjenje broja poligona ili tekstura. Sve je važnije razumjeti kako se pojedine funkcije mapiraju na konkretne arhitekturne arhetipove u pozadini.
Nekoliko praktičnih primjera:
- Prostorno mapiranje: ako aplikacija intenzivno koristi 3D rekonstrukciju, developer treba znati je li ciljna platforma optimizirana za memorijski zahtjevne volumetrijske podatke ili se oslanja na rjeđe, ali skuplje rekonstrukcije.
- Prepoznavanje ruku: različiti algoritmi hand-trackinga (klasični računalni vid vs. duboke neuronske mreže) mogu se drastično razlikovati u tome koriste li više NPU, GPU ili CPU. Odabir modela postaje i hardverska odluka.
- UI dizajn: ako znamo da je određeni headset sklon latenciji u gestama, ima smisla dizajnirati sučelje koje tolerira male pomake i koristi prediktivne animacije kako bi sakrilo kašnjenja.
U praksi, to će dovesti do pojave XR performance profila po platformi: dokumentiranih matrica koje opisuju kako se pojedini workloadovi ponašaju na određenom SoC-u. Developeri će morati testirati ne samo FPS i rezoluciju, već i stabilnost trackinga, jitter u passthroughu, konzistentnost frame-timea i potrošnju baterije pod različitim scenarijima.
Enterprise odluke: čip kao ključni faktor poslovnog use-casea
Za poduzeća koja planiraju veća XR ulaganja, izbor hardverske platforme postaje strateško pitanje. Nije dovoljno usporediti samo cijenu i specifikacije zaslona. Ključno pitanje postaje: koliko je čip dizajniran baš za naše tipične radne tokove?
Nekoliko ilustrativnih scenarija:
- Remote-assistance u terenskom radu: kontinuirani video streaming, overlay uputa u stvarnom vremenu, stabilan head-tracking i glasovne naredbe. Platforma mora imati snažan video codec pipeline, optimiziran audio i pouzdan SLAM pod promjenjivim uvjetima osvjetljenja.
- Industrijski digitalni blizanci: kompleksni 3D modeli tvornica, real-time simulacije i kolaboracija više korisnika. Ovdje su kritični GPU throughput, pametno upravljanje memorijom i mogućnost offloada dijela simulacija u cloud uz minimalnu XR latenciju.
- 3D medicinska analiza: vizualizacija volumetrijskih CT/MR podataka, precizno pozicioniranje mixed reality anchors u prostoru, visoka vjernost prikaza. Čip mora biti optimiziran za volumetrijsku obradu, precizan tracking i stabilan, visokokvalitetan prikaz bez artefakata.
Različiti use-caseovi traže različite arhitekturne naglaske. Tvrtke će zato sve češće tražiti detaljne informacije od proizvođača headseta: kakav je profil NPU-a, kako se radi power management tijekom dugih sesija, postoji li mogućnost konfiguriranja prioriteta između trackinga, renderinga i streaminga.
Specijalizirana arhitektura XR čipova kao nova konkurentska prednost
Zaključak koji se nazire iz novog vala istraživanja je jasan: ulazimo u fazu u kojoj XR više ne definira samo oblik headseta ili marketinški FOV, već i duboko specijalizirana arhitektura ispod haube. Proizvođači koji na vrijeme usvoje fazno svjesan, cross-layer pristup dizajnu XR čipova imat će mjerljivu prednost.
Ta se prednost očituje na tri razine:
- Performanse: glatkiji tracking, stabilniji frame-time, manje artefakata pri složenim scenama.
- Autonomija baterije: pametno gašenje i usporavanje neaktivnih blokova, dinamičko skaliranje napona ovisno o fazi pipelinea, duže sesije bez punjenja.
- Kvaliteta iskustva: prirodnije mixed reality sidrenje objekata, uvjerljiviji passthrough, pouzdanije geste i glasovne interakcije.
Kako se XR širi od gaminga prema industriji, zdravstvu, obrazovanju i daljinskoj suradnji, ti će parametri sve više odlučivati tko će isporučivati prostorna računala koja doista mogu pratiti ambicije industrije. U tom kontekstu, pitanje više nije samo „koji headset ima bolji ekran“, već „koji XR čip najbolje razumije moj posao“.
