Od generiranja teksta do otkrivanja ranjivosti
Umjetna inteligencija više nije samo alat za pisanje tekstova, sažetaka ili generiranje slika. Sljedeći val razvoja usmjeren je na kibernetičku sigurnost. U europskim institucijama već se govori o novoj generaciji takozvanih „kiber-kapabilnih” AI modela – specijaliziranih verzija velikih jezičnih modela (LLM-ova) treniranih da pronalaze sigurnosne rupe u softveru, aplikacijama i računalnim mrežama.
U radnim dokumentima Europskog parlamenta spominju se eksperimentalni modeli poput Anthropicova Mythosa i OpenAI-jevih GPT‑5.5 Cyber varijanti. Ideja je jasna: pomoći stručnjacima za sigurnost da brže otkrivaju ranjivosti i automatiziraju dio sigurnosnih testova. No isti modeli, u krivim rukama, mogu postati moćno oružje za napadače bez velikog tehničkog znanja.
Kako izgledaju „kiber-kapabilni” LLM-ovi
Za razliku od općih chatbota, kiber-specijalizirani modeli dobivaju dodatnu obuku na tehničkim sadržajima. To uključuje izvorni kod, dokumentaciju za razvojne okvire, javne baze ranjivosti (poput CVE i NVD repozitorija), izvješća o incidentima te simulirane napade i obrane.
Takvi modeli uče obrasce koji se ponavljaju u nesigurnom kodu i lošim konfiguracijama. U praksi to znači da im možete opisati neki sustav – primjerice web aplikaciju, mikroservisnu arhitekturu ili poslovnu mrežu s udaljenim pristupom – a oni će:
- predložiti gdje bi se potencijalno mogla kriti rupa u sigurnosti,
- opisati kako bi je napadač mogao iskoristiti,
- navesti koje logove i metrike treba pratiti,
- ponuditi prijedloge zakrpa i sigurnijih konfiguracija.
Za razliku od klasičnih alata za penetracijsko testiranje, interakcija je u prirodnom jeziku. Umjesto pisanja skripti, analitičar može postaviti pitanje: „Imam API gateway s ovakvom autentikacijom, što je najvjerojatniji vektor napada?” i dobiti strukturiran odgovor s mogućim scenarijima zlouporabe.
Primjeri obrambene primjene
Organizacije već eksperimentalno koriste ovakve modele za:
- automatiziranu analizu koda – AI označava potencijalno opasan SQL upit, nesigurno rukovanje lozinkama ili neprovjerene ulaze korisnika,
- podršku DevSecOps timovima – model se integrira u CI/CD pipeline i komentira promjene u repozitoriju prije puštanja u produkciju,
- kontinuirano skeniranje infrastrukture – AI analizira konfiguracije poslužitelja, cloud resursa, mrežnih pravila i predlaže pooštravanje postavki,
- edukaciju – simulira ulogu napadača u vježbama za sigurnosne timove, generira scenarije napada i obrane.
Na taj se način dio rutinskog posla prebacuje na AI, dok se stručnjaci fokusiraju na složenije incidentne situacije i strateško planiranje.
Od alata za obranu do alata za napad
Problem počinje kada kiber-AI modeli izađu iz strogo kontroliranih okruženja. Za razliku od klasičnih hakerskih alata, koji često zahtijevaju duboko tehničko znanje, kiber-kapabilni LLM-ovi spuštaju prag ulaska. Dovoljno je postaviti pitanje prirodnim jezikom, uz minimalno razumijevanje mrežnih pojmova i programiranja.
Napadač početnik može, primjerice, opisati javno dostupnu web aplikaciju i tražiti prijedloge za iskorištavanje tipičnih ranjivosti. Model može predložiti konkretne korake, pa čak i generirati primjere zlonamjernog koda ili naredbi za skeniranje i eksploataciju. Čak i ako su modeli formalno ograničeni da „ne pomažu u nezakonitim aktivnostima”, napredni korisnici često pronalaze zaobilazne upute i načine formuliranja zadataka.
Zbog toga se u Bruxellesu vodi rasprava treba li modele s naprednim kibernetičkim sposobnostima tretirati kao posebno rizične. Ključna pitanja su:
- tko ih smije trenirati i pod kojim uvjetima,
- gdje se takvi modeli smiju izvoditi (on-premise, u cloudu, unutar EU),
- kako ograničiti pristup punim mogućnostima modela,
- smiju li se izravno povezivati na internet i automatizirano pokretati alate za skeniranje.
EU AI Act i nova kategorija rizika
EU AI Act već prepoznaje kategoriju općih AI modela sa „sistemskim rizikom”. Za takve modele propisana su stroža pravila transparentnosti, testiranja, dokumentacije i nadzora. To uključuje obvezu procjene rizika, izvještavanje o energetskim i podatkovnim resursima, te mogućnost nadzora od strane regulatora.
Pojava kiber-specijaliziranih modela otvara dodatna pitanja koja postojeći okvir samo djelomično pokriva:
- Granica između obrane i napada – kako regulatorno razlikovati alat za etičko testiranje sigurnosti od alata za automatizirani kiber-kriminal, kada je jezgra tehnologije ista?
- Odgovornost za generirani napad – tko je odgovoran ako AI model generira konkretan napadni kod koji se kasnije iskoristi u stvarnom incidentu: pružatelj modela, korisnik, ili oba?
- Pristup za manje tvrtke – kako omogućiti malim i srednjim europskim poduzećima da koriste ove modele za obranu, a da ne preuzmu nesrazmjerno velik regulatorni i administrativni teret?
U raspravi se razmatraju i tehničke mjere, poput obveznih sigurnosnih „filtera” u modelima, ograničenja na izvođenje određenih naredbi ili povratnih informacija, te zahtjeva za auditabilnost – mogućnost naknadnog pregleda što je model savjetovao i zašto.
Što to znači za europske organizacije
Za europske organizacije poruka je dvostruka i naizgled proturječna.
S jedne strane, ignoriranje kiber-AI modela znači zaostajanje za napadačima. Kiber-kriminalne grupe već eksperimentiraju s generativnom AI za phishing, socijalni inženjering i automatizaciju napada. Logično je očekivati da će brže prihvatiti i kiber-kapabilne LLM-ove, bez obzira na regulativu.
S druge strane, prebrzo i nekritičko uvođenje takvih sustava može otvoriti dodatne rupe u sigurnosti. Loše konfiguriran AI agent s pristupom produkcijskim sustavima može nenamjerno uzrokovati prekid rada, izložiti osjetljive podatke ili generirati preporuke koje su u suprotnosti s budućim pravilima EU-a.
Preporučeni pristup: kontrolirani eksperimenti
Stručnjaci za sigurnost savjetuju da se s kiber-AI modelima krene postupno, kroz jasno definirane eksperimente:
- Zatvorena okruženja – testiranje u izoliranim labovima, na sintetičkim datasetovima i nerealnim, ali reprezentativnim konfiguracijama sustava.
- Strogo logiranje – bilježenje svih upita modelu i njegovih preporuka, uz mogućnost naknadne revizije. Logovi su ključni za forenziku i dokazivanje usklađenosti s pravilima.
- Ljudska provjera – nijedna AI preporuka ne smije ići u produkciju bez odobrenja stručnjaka. Model služi kao asistent, ne kao autonomni donositelj odluka.
- Ograničeni pristup – pristup kiber-funkcionalnostima treba imati samo mali broj provjerenih korisnika, uz višefaktorsku autentikaciju i stroge uloge.
- Procjena utjecaja – za veće primjene, izrada internih procjena rizika i utjecaja (AI risk assessment) kako bi se dokumentiralo zašto je odabrani pristup razuman.
Balansiranje inovacije i kontrole
U mjesecima koji dolaze, način na koji će Europa regulirati i poticati kiber-AI modele postat će test zrelosti njezine AI politike. Prestroga pravila mogla bi otjerati inovacije i gurnuti razvoj u neregulirane jurisdikcije. Prelabava pravila otvorila bi prostor za zloporabe i narušila povjerenje građana u AI tehnologije.
Ključ će biti u kombinaciji tehničkih i pravnih mjera: jasnih standarda za treniranje i testiranje modela, transparentnosti prema korisnicima, mogućnosti neovisnog nadzora te poticaja za razvoj alata koji prioritetno služe obrani. U tom okviru kiber-kapabilni LLM-ovi mogu postati važan dio sigurnosne infrastrukture, ali samo ako se od početka dizajniraju s pretpostavkom zlouporabe.
Za organizacije to znači da je vrijeme za pasivno promatranje prošlo. Potrebno je razumjeti potencijal i rizike, graditi interne kompetencije te pratiti regulatorni razvoj. Oni koji to učine ranije, imat će veću šansu iskoristiti novu generaciju AI modela kao štit – a ne kao dodatni izvor ranjivosti.
