Zašto klasični AI benchmarki više nisu dovoljni
Generativna umjetna inteligencija u kratkom je vremenu prešla put od chatbota koji odgovaraju na pitanja do autonomnih agenata koji planiraju zadatke, pozivaju API-je i samostalno donose odluke. Kako se ti sustavi sve češće spajaju na poslovne procese, kritičnu infrastrukturu i osjetljive podatke, raste pritisak da se sigurnost modela mjeri puno preciznije nego do sada.
Godinama su se AI sustavi ocjenjivali jednostavnim metrikama: točnost, F1-score, BLEU, ili postotak „točnih” odgovora na standardiziranim skupovima zadataka. Takav pristup zanemaruje ključnu dimenziju – kako se model ponaša u rijetkim, ali visokorizičnim situacijama. U praksi, jedan jedini pogrešan odgovor može biti presudan: pogrešna medicinska preporuka, neovlašteno otkrivanje podataka ili sugestija opasnog postupka.
Novi sigurnosni benchmarki zato ne pitaju samo „je li odgovor točan?”, nego „kada, gdje i kako model može pogriješiti – i ima li sustav vremena reagirati prije nego što nastane šteta”. Fokus se seli s prosjeka na rubne slučajeve i najgore scenarije.
Vremenski osjetljiv nadzor nad AI agentima
Jedan od najzanimljivijih istraživačkih smjerova uvodi koncept vremenski osjetljivog nadzora nad AI agentima. Umjesto da se gleda samo je li sustav na kraju prepoznao rizično ponašanje, benchmark mjeri:
- u kojem trenutku je rizik detektiran,
- koliko je koraka agent već poduzeo,
- je li preostalo dovoljno vremena za intervenciju.
Primjerice, agent koji upravlja IT infrastrukturom može u nekoliko koraka doći do naredbe koja briše podatke ili mijenja konfiguraciju vatrozida. U klasičnom testu dovoljno je da sigurnosni modul „negdje usput” označi naredbu kao opasnu. U vremenski osjetljivom benchmarku mjeri se koliko je koraka prije izvršenja naredbe rizik uočen i je li blokada došla na vrijeme.
Takvi benchmarki često kombiniraju simulirana okruženja (npr. virtualne mreže, sandbox sustave, testne baze podataka) s automatiziranim nadzorom. Evaluira se ne samo sam model, nego i cijeli sigurnosni lanac: detekcija anomalija, pravila za zaustavljanje agenta, eskalacija prema ljudskom operateru.
Otpornost autonomnih sustava na napade
Drugi val benchmarka fokusira se na sigurnost autonomnih sustava – od dronova i robota do softverskih agenata koji komuniciraju preko mreže. Ovdje je ključno pitanje: kako se sustav ponaša pod pritiskom namjernih napada i manipulacija?
Tipični scenariji uključuju:
- napade na komunikaciju – lažne poruke, preusmjeravanje naredbi, „man-in-the-middle” situacije,
- napade na planiranje – ubacivanje zavaravajućih ciljeva ili ograničenja koja agentu mijenjaju prioritete,
- napade na odlučivanje – prompt injection, trovanje podataka, manipulacija povratnim informacijama.
U slučaju drona vođenog LLM agentom, benchmark može sadržavati stotine varijacija: od gubitka GPS signala i lažnih koordinata, do kompromitirane komunikacije s kontrolnim centrom. Mjeri se koliko često agent donosi pogrešne odluke, ali i koliko se brzo sustav vraća u sigurno stanje – primjerice prelaskom u „safe mode” ili traženjem ljudske potvrde.
Za industriju to znači da sigurnosni test više nije samo statičan set pitanja, nego cijela baterija scenarija koja kombiniraju simulacije, napade i stres-testove. Edge uređaji, gateway sustavi i senzori postaju dio sigurnosne slike, a ne samo „izvor podataka” za model.
Benchmarki kroz cijeli životni ciklus modela
Treći pristup ide još šire i pokušava katalogizirati rizike generativne AI kroz cijeli životni ciklus modela. Umjesto da se fokusira samo na fazu korištenja (inference), gleda se:
- dizajn modela – arhitektura, broj parametara, korišteni algoritmi, načini regularizacije,
- treniranje – porijeklo i kvaliteta datasetova, filtriranje sadržaja, zaštita od trovanja podataka,
- evaluacija i puštanje u promet – izbor benchmarka, testiranje na osjetljivim domenama, definiranje ograničenja upotrebe,
- operativna faza – praćenje incidenta, logiranje, mehanizmi hitnog gašenja, nadogradnje modela,
- društvene i okolišne posljedice – utjecaj na radna mjesta, potrošnju energije, dezinformacije, privatnost.
Takvi „end-to-end” sigurnosni okviri često kombiniraju tehničke metrike (npr. učestalost toksičnih odgovora, uspješnost napada) s organizacijskim pokazateljima (postojanje procedura, uloga odgovornih osoba, revizijski tragovi). Cilj je omogućiti regulatorima, kupcima i partnerima da usporede ne samo performanse modela, nego i zrelost cijelog ekosustava oko njega.
EU AI Act i utrka za de facto sigurnosne standarde
Za europske tvrtke i institucije ovi trendovi izravno su povezani s EU AI Actom. Uredba definira obveze oko procjene rizika, transparentnosti, upravljanja podacima i ljudskog nadzora, ali namjerno ne propisuje konkretne benchmarke ili testne skupove. To ostavlja prostor za inovacije, ali i otvara rizik fragmentacije.
Bez zajedničkih referenci, svaki bi proizvođač modela mogao razviti vlastite, neusporedive metrike. Jedna banka mogla bi koristiti interni sigurnosni test za AI asistenta, dok bi druga primjenjivala potpuno drugačiji okvir. Regulatore bi to dovelo u težak položaj: kako objektivno procijeniti usklađenost, ako ne postoje zajednički pragovi i scenariji?
U praksi je zato vjerojatno da će se u sljedećih nekoliko godina formirati de facto standardi – skupovi testova, metodologija i referentnih scenarija koje će industrija i nadzorna tijela prešutno prihvatiti. Oni akteri koji rano usvoje robusne sigurnosne benchmarke bit će u prednosti: lakše će dokazivati usklađenost, dobivati certifikate i sklapati ugovore s velikim klijentima.
Za Europu je dodatni izazov globalna konkurencija. Američke i azijske kompanije već agresivno razvijaju vlastite sigurnosne okvire, često ih objavljuju kao open source i tako postavljaju standarde koje ostatak svijeta preuzima. Ako europski akteri ne budu dovoljno brzi, mogli bi završiti u situaciji da primjenjuju tuđe mjerila koja nisu nužno prilagođena europskom regulatornom i društvenom kontekstu.
Prilika i obveza za hrvatske i regionalne AI timove
Za hrvatske i regionalne AI timove ovo je istovremeno prilika i obveza. Startupi koji razvijaju AI agente za automatizaciju poslovanja, financijske asistente ili medicinske alate mogu već danas sigurnosno testiranje ugraditi kao standardni dio MLOps procesa.
To konkretno znači:
- uvođenje posebnih testnih skupova za rizična ponašanja (npr. financijske prijevare, zlouporaba osobnih podataka, medicinski savjeti),
- izgradnju simulacija napada – prompt injection, pokušaji zaobilaženja zaštita, manipulacija ulaznim podacima,
- definiranje jasnih pragova kada se model ne smije pustiti u produkciju, ili kada je nužno ograničiti njegove funkcije,
- automatizaciju kontinuiranog nadzora – logiranje, alarmi, slučajno uzorkovanje interakcija za ručni pregled.
Akademska zajednica može odigrati važnu ulogu u razvoju lokalno relevantnih scenarija. Primjerice, scenariji za javnu upravu (obrada zahtjeva građana), zdravstvo (trijaža, podsjetnici za terapiju) ili kritičnu infrastrukturu (energetika, promet) u regiji imaju specifične pravne i jezične zahtjeve. Uključivanje tih scenarija u benchmarke pomaže da modeli budu usklađeni ne samo s tehničkim, nego i s regulatornim okvirom u Hrvatskoj i Europskoj uniji.
Povezivanje s europskim istraživačkim projektima i inicijativama za otvorene benchmarke dodatno povećava vidljivost. Timovi koji doprinesu razvoju testnih skupova, alata za evaluaciju ili referentnih implementacija mogu izravno utjecati na buduće industrijske standarde.
Povezivanje tehničkih i poslovnih metrika
Sljedeća faza zrelosti bit će povezivanje tehničkih sigurnosnih benchmarka s poslovnim i pravnim metrikama. Tvrtke neće moći stati na tome da znaju samo „score” modela na nekom testu. Morat će razumjeti što taj rezultat znači u:
- eurima potencijalne štete – izravni financijski gubici, troškovi incident responsea, naknade korisnicima,
- regulatornim posljedicama – moguće kazne, dodatni nadzor, ograničenja upotrebe tehnologije,
- reputacijskom riziku – gubitak povjerenja korisnika, negativni medijski odjek, utjecaj na brend.
To zahtijeva suradnju između data science timova, pravnika, stručnjaka za usklađenost i menadžmenta rizika. Primjerice, ako benchmark pokaže da model u 0,1 % slučajeva daje opasan savjet, pravni i poslovni tim moraju procijeniti je li to prihvatljivo za određenu primjenu. U visoko reguliranim sektorima poput zdravstva ili bankarstva, tolerancija na takve pogreške može biti gotovo nula.
Kombinacija EU AI Acta i novih sigurnosnih benchmarka gura industriju prema zrelijem pristupu AI-ju. Umjesto da se govori samo o „pametnijim” modelima, fokus se polako seli na „predvidljivije” i „kontroliranije” modele. Organizacije koje na vrijeme uspostave jasne sigurnosne metrike, povežu ih s poslovnim pokazateljima i integriraju u MLOps procese, mogu pretvoriti regulatorne zahtjeve u konkurentsku prednost – umjesto da ih doživljavaju samo kao trošak.
Može li Europa pratiti tempo?
Hoće li Europa uspjeti pratiti globalnu utrku za sigurnijim AI modelima ovisit će o nekoliko čimbenika. Prvo, o brzini kojom će istraživačka zajednica i industrija zajednički razviti otvorene, transparentne benchmarke prilagođene europskom kontekstu. Drugo, o spremnosti regulatora da takve inicijative prepoznaju i ugrade u smjernice i certifikacijske sheme. Treće, o tome hoće li mali i srednji poduzetnici dobiti alate i podršku da te standarde doista primijene.
Za hrvatske i regionalne timove poruka je jasna: sigurnosni benchmarki više nisu luksuz rezerviran za najveće laboratorije. Oni postaju osnovni alat za ulazak na tržište, sklapanje partnerstava i dokazivanje usklađenosti. Tko ih počne shvaćati ozbiljno već danas, sutra će imati jasnu prednost – i u Europi i globalno.
