Od oblaka prema uređaju: tihi zaokret u AI arhitekturi
Većina rasprava o umjetnoj inteligenciji i dalje se vrti oko velikih modela u oblaku. No u pozadini se događa tihi, ali značajan zaokret: rast interesa za on‑device AI, odnosno modele koji rade izravno na uređaju korisnika ili na rubu mreže (edge).
Proizvođači čipova ubrzano uvode nove generacije procesora za pametne telefone, prijenosna računala i nosive uređaje. Ugrađeni NPU‑ovi (Neural Processing Unit) optimizirani su za generativne zadatke, prepoznavanje slike i govora te lokalnu analitiku. Primjeri su najnovije Snapdragon platforme ili specijalizirani AI akceleratori u prijenosnicima i industrijskim edge uređajima.
Istodobno, proizvođači poput Samsunga i drugih velikih brendova u svoje flagship telefone ugrađuju sve naprednije AI funkcije: poboljšanje fotografija u stvarnom vremenu, pametne asistente koji rade i offline, kao i značajke za zaštitu privatnosti zaslona. Korisnici prvi put dobivaju osjetno „pametnije” telefone bez stalnog oslanjanja na cloud infrastrukturu.
Europski regulatorni okvir gura AI prema rubu
Za europske tvrtke ovaj pomak nije samo tehnološki trend, već i odgovor na regulatorni pritisak. EU AI Act uvodi nova pravila za visoko‑rizične sustave i opće‑namjenske AI modele, uključujući generativnu umjetnu inteligenciju. Dio obveza već je na snazi kroz odredbe o transparentnosti, označavanju generiranog sadržaja i nadzoru nad pružateljima AI usluga.
U praksi to znači da se svaka organizacija koja koristi AI mora jasnije baviti pitanjima:
- gdje se podaci obrađuju
- tko ima pristup tim podacima
- kako se modeli treniraju, testiraju i nadziru
- kako se dokumentiraju rizici i ograničenja modela
On‑device pristup tu postaje posebno privlačan. Ako se osobni podaci obrađuju lokalno, a ne šalju u vanjski cloud, smanjuje se površina napada, ali i regulatorni rizik. Lakše je uskladiti se s GDPR‑om, jer podaci ostaju unutar organizacije ili čak unutar samog uređaja korisnika. Za pomoćne zadatke – poput prepoznavanja govora, sažimanja teksta, prijevoda ili lokalne analitike senzora – to može biti dovoljno da se izbjegne ulazak u kategoriju visoko‑rizičnih sustava.
Europa još na početku AI puta
Unatoč snažnoj regulativi i političkom naglasku na digitalnoj transformaciji, službene statistike pokazuju da je usvajanje AI‑ja u Europi i dalje ograničeno. U prosjeku, tek oko petine poduzeća koristi neku vrstu AI tehnologije, pri čemu su velike kompanije značajno ispred malih i srednjih.
Glavne prepreke ponavljaju se iz zemlje u zemlju:
- nedostatak stručnjaka za podatkovnu znanost i MLOps
- nejasni poslovni slučajevi i povrat ulaganja
- visoki troškovi razvoja i korištenja cloud modela
- strah od regulatornih kazni i reputacijskog rizika
On‑device AI ne rješava sve te probleme, ali može ublažiti nekoliko ključnih. Prije svega, omogućuje pokretanje pilot‑projekata na postojećem hardveru, bez velikih početnih ulaganja u cloud infrastrukturu ili skupe API pozive prema velikim modelima.
Primjeri niskorizičnih pilot‑projekata
Tvrtke mogu relativno brzo testirati konkretne primjene:
- Interno generiranje dokumenata – manji jezični model na poslovnim laptopima koji pomaže u pisanju izvještaja, sažetaka sastanaka ili tehničke dokumentacije, bez slanja povjerljivih podataka u oblak.
- Terenske mobilne aplikacije – aplikacija za tehničare koja lokalno obrađuje fotografije opreme, prepoznaje tip kvara i predlaže sljedeće korake, čak i u područjima bez mrežnog signala.
- Lokalna analitika senzora – edge uređaji u proizvodnim pogonima koji u stvarnom vremenu prate vibracije, temperaturu ili potrošnju energije i lokalno detektiraju anomalije.
- Zaštita podataka u stvarnom vremenu – on‑device modeli koji automatski zamagljuju osjetljive dijelove slike ili videa (lica, registarske pločice) prije nego što se sadržaj pošalje u centralni sustav.
Takvi projekti omogućuju tvrtkama da uče na stvarnim podacima i procesima, a da pritom ne izlažu korisnike i sebe nepotrebnom regulatornom riziku.
Tehnički izazovi: kompaktni, ali dovoljno dobri modeli
Prijelaz na AI na rubu mreže nosi vlastiti set izazova. Ključno pitanje glasi: kako odabrati modele koji su dovoljno mali da rade na uređaju, ali i dalje dovoljno točni za poslovnu upotrebu?
Veliki jezični modeli s desecima ili stotinama milijardi parametara teško mogu raditi lokalno, barem na današnjem potrošačkom hardveru. Zbog toga raste uloga tehnika poput distilacije i kvantizacije. Distilirani modeli su „sažete” verzije većih modela, trenirane da zadrže što više performansi uz znatno manji broj parametara. Kvantizacija dodatno smanjuje zahtjeve pretvaranjem težina modela u formate niže preciznosti (npr. 8‑bit), što omogućuje rad na mobilnim čipovima i edge uređajima.
Na tržištu se pojavljuje sve više specijaliziranih platformi koje nude upravo takve optimizirane modele. Uz to, MLOps alati se prilagođavaju novoj stvarnosti u kojoj se model ne vrti samo u jednom podatkovnom centru, već na tisućama ili desecima tisuća uređaja na terenu.
Upravljanje flotom modela na tisućama uređaja
Za veće organizacije, ključno postaje pitanje kako:
- distribuirati nove verzije modela na sve uređaje
- pratiti performanse i pogreške po lokaciji ili tipu uređaja
- sigurno povlačiti ili ažurirati modele u slučaju otkrivenih ranjivosti
- prikupljati agregirane podatke za daljnje treniranje, uz poštivanje privatnosti
Tu dolaze do izražaja MLOps rješenja prilagođena edge okruženju. Ona kombiniraju upravljanje modelima, telemetriju i sigurnosne politike, često u integraciji s postojećim sustavima za upravljanje uređajima (MDM, IoT platforme, industrijski gateway uređaji).
U europskom kontekstu dodatno je važno da takve platforme podržavaju zahtjeve EU AI Acta. To uključuje vođenje detaljne dokumentacije o treniranju, datasetovima, testnim scenarijima, metrikama performansi i poznatim ograničenjima modela. Transparentnost i mogućnost revizije postaju jednako važni kao i sama točnost modela.
Korisničko iskustvo: brže, privatnije, kontekstualnije
Za krajnje korisnike, najveća promjena bit će u iskustvu rada s AI funkcijama. Kada model radi lokalno, nema latencije uzrokovane slanjem upita u oblak i čekanjem odgovora. Generativne funkcije mogu raditi gotovo trenutno, čak i bez internetske veze.
Primjeri uključuju:
- generiranje i prepravljanje tekstova na telefonu ili prijenosniku u stvarnom vremenu
- prepoznavanje govora i prijevod uživo tijekom sastanaka, bez slanja snimke na udaljene servere
- lokalnu klasifikaciju i pretragu fotografija, dok osjetljivi sadržaj ostaje na uređaju
- nosive uređaje (satovi, naočale) koji pružaju kontekstualne savjete na temelju biometrije, lokacije i okoline, uz minimalno dijeljenje podataka prema van
Privatnost je pritom ključna prednost. Zdravstvene bilješke, biometrijski podaci, obrasci kretanja ili osjetljive poslovne informacije ne moraju napuštati uređaj. To povećava povjerenje korisnika i olakšava usklađivanje s internim pravilnicima o zaštiti podataka.
Novi tipovi poslovnih aplikacija na rubu mreže
Za poslovni sektor, on‑device AI otvara prostor za cijelu novu klasu aplikacija. Posebno u kombinaciji s IoT senzorima, industrijskim kontrolerima i specijaliziranim edge gateway uređajima.
Potencijalne primjene uključuju:
- Pametne naočale za radnike – prikaz uputa za održavanje, identifikacija opreme putem računalnog vida i provjera sigurnosnih procedura, sve obrađeno lokalno.
- Industrijski senzori s AI‑jem – lokalno otkrivanje anomalija u radu strojeva, uz slanje samo sažetih upozorenja u centralni sustav.
- Prodajni i korisnički alati – aplikacije koje u stvarnom vremenu analiziraju govor tijela, ton glasa ili ključne riječi u razgovoru s kupcem, ali bez pohrane sirovih audio ili video zapisa u oblaku.
- Sigurnosni sustavi – lokalna detekcija sumnjivih situacija na videonadzoru, pri čemu se u cloud šalju samo relevantni isječci, već anonimizirani.
Takve arhitekture smanjuju potrebu za stalnim prijenosom velikih količina podataka, što je važno i zbog troškova mreže i zbog održivosti. Manje podatkovnog prometa znači i manji ugljični otisak, što se uklapa u šire europske ciljeve zelene tranzicije.
Kombinirana arhitektura: kompromis između performansi i regulative
Iako on‑device modeli postaju sve sposobniji, cloud neće nestati. Vjerojatan ishod u Europi jest hibridni pristup u kojem se lokalna i cloud obrada nadopunjuju.
Tipičan obrazac mogao bi izgledati ovako:
- osjetljivi dijelovi zadatka (prepoznavanje lica, obrada zdravstvenih podataka, interni poslovni dokumenti) obrađuju se lokalno
- cloud se koristi za teže zadatke, treniranje većih modela i agregiranu analitiku
- u oblak se šalju samo anonimizirani, agregirani ili sintetizirani podaci
- modeli se periodično ažuriraju na uređajima, na temelju učenja iz centralnog sustava
Ovakav pristup spaja najbolje od oba svijeta: performanse velikih generativnih modela i fleksibilnost oblaka, uz bolju privatnost i lakše dokazivanje sukladnosti s EU AI Actom i GDPR‑om.
Kako se približava puna primjena EU AI Acta 2026. godine, očekuje se da će upravo ovakve kombinirane arhitekture postati dominantne u europskim poduzećima. Tvrtke koje na vrijeme počnu eksperimentirati s on‑device AI‑jem, distiliranim modelima i edge MLOps alatima imat će prednost – ne samo u inovacijama, već i u sposobnosti da tu inovaciju usklade s jednim od najstrožih regulatornih okvira na svijetu.
