Visokorizični AI sustavi: što Zakon o AI-u zahtijeva od vaše organizacije

Visokorizični sustavi umjetne inteligencije središnja su točka Europske uredbe o umjetnoj inteligenciji ( Uredba (EU) 2024/1689 ), obično nazvane Zakonom o umjetnoj inteligenciji, koja uvodi okvir temeljen na riziku za razvoj, isporuku i korištenje sustava umjetne inteligencije (UI). Što je veći rizik za zdravlje, sigurnost i temeljna prava, to su obveze teže.

Za organizacije, usklađenost stoga ne počinje izradom tehničke dokumentacije, već ispravnom klasifikacijom. Prvo utvrdite koji su sustavi umjetne inteligencije razvijeni, kupljeni ili korišteni unutar organizacije. Zatim procijenite je li sustav zabranjen , visokorizičan, podložan obvezama transparentnosti ili izvan bilo kakvih specifičnih obveza.

This article sets out when an AI system may qualify as high-risk, which obligations apply to providers and deployers, and which steps organisations can take now. It also sets out the timeline as it now stands, after the deferral of the high-risk obligations under the Digital Omnibus.

Kada je AI sustav visokorizičan?

Procjena visokorizičnih sustava umjetne inteligencije provodi se prvenstveno prema članku 6. i prilozima I. i III. Zakona o umjetnoj inteligenciji. Postoje dva puta.

Prvi put odnosi se na sustave umjetne inteligencije koji su dio proizvoda obuhvaćenih europskim zakonodavstvom o proizvodima navedenim u Prilogu I. i za koje je potrebna ocjena sukladnosti od strane treće strane. Razmislite o određenim medicinskim uređajima, strojevima, dizalima i igračkama. Za te sustave Zakon o umjetnoj inteligenciji temelji se na postojećem postupku ocjenjivanja sukladnosti.

Drugi put odnosi se na sustave umjetne inteligencije koji se koriste u područjima navedenima u Prilogu III.: biometrija, kritična infrastruktura, obrazovanje i strukovno osposobljavanje, zapošljavanje i upravljanje radnom snagom, pristup bitnim privatnim i javnim uslugama, provedba zakona, migracije, azil i granična kontrola te upravljanje pravosuđem i demokratski procesi. Ne rezultira svaka upotreba unutar takvog područja automatski klasifikacijom među visokorizične sustave umjetne inteligencije: potrebno je procijeniti i specifičnu funkciju sustava i uvjete iz članka 6.

Iznimka u članku 6(3)

Sustav koji spada u domenu Priloga III. ne ubraja se automatski među visokorizične sustave umjetne inteligencije: ta se klasifikacija isključuje ako ne predstavlja značajan rizik za zdravlje, sigurnost ili temeljna prava osoba i ne utječe bitno na ishod donošenja odluka. To može biti slučaj kada sustav obavlja samo uski proceduralni zadatak, samo poboljšava aktivnost koju je već izvršio čovjek, samo označava odstupanja od ranijeg ljudskog donošenja odluka bez zamjene te procjene ili obavlja isključivo pripremni zadatak.

Oslanjanje na ovu iznimku mora biti pažljivo obrazloženo i dokumentirano. Organizacija bilježi ne samo zaključak, već i činjenice i procjenu na kojoj se taj zaključak temelji. Pružatelj usluga koji smatra da sustav iz Priloga III. ne spada među visokorizične sustave umjetne inteligencije mora dokumentirati tu procjenu prije nego što se sustav stavi na tržište ili u upotrebu, a dodatno podliježe obvezi registracije iz članka 49. stavka 2.

U jednoj točki Uredba je apsolutna. Članak 6(3) propisuje da se sustav umjetne inteligencije iz Priloga III. uvijek ubraja među visokorizične sustave umjetne inteligencije ako provodi profiliranje fizičkih osoba. U tom slučaju se ne može pozvati na iznimku.

Koju ulogu ima vaša organizacija?

Zakon o umjetnoj inteligenciji razlikuje nekoliko uloga u lancu. Dvije od njih su važne za većinu organizacija. Stranka koja razvija sustav umjetne inteligencije ili ga stavlja na tržište pod svojim imenom ili zaštitnim znakom kvalificira se kao pružatelj usluga. Stranka koja koristi sustav umjetne inteligencije u vlastitom poslovanju bez da ga je razvila općenito se kvalificira kao implementator.

Ta raspodjela uloga nije statična. Organizacija koja značajno modificira kupljeni sustav, isporučuje ga dalje pod svojim imenom ili zaštitnim znakom ili mijenja njegovu namjenu, i dalje se može smatrati pružateljem usluga i stoga podliježe težem skupu obveza. Za svaki sustav utvrdite koju ulogu ispunjavate i zabilježite tu procjenu.

Glavne obveze

Pružatelji visokorizičnih sustava umjetne inteligencije podliježu obvezama, uključujući one iz članaka 8. do 17., 43. i 47. do 49.:

• sustav upravljanja rizicima koji pokriva cijeli životni ciklus
• upravljanje podacima, uključujući otkrivanje i ispravljanje pristranosti u korištenim podacima, uključujući podatke za obuku, validaciju i testiranje
• tehnička dokumentacija u skladu s Prilogom IV. i zapisivanje događaja
• jasne upute za uporabu za implementatore
• dizajn koji omogućuje učinkovit ljudski nadzor
• zahtjevi za točnost, robusnost i kibernetičku sigurnost
• sustav upravljanja kvalitetom, ocjenjivanje sukladnosti, EU izjava o sukladnosti, oznaka CE i registracija u bazi podataka EU-a

Za visokorizične sustave umjetne inteligencije koji se koriste za daljinsku biometrijsku identifikaciju kako je navedeno u Prilogu III. točki 1(a), članak 14(5) nameće dodatni zahtjev za ljudski nadzor: nikakva radnja ili odluka ne smije se poduzeti na temelju identifikacije osim ako je nisu zasebno provjerile i potvrdile najmanje dvije fizičke osobe s potrebnom kompetencijom, obukom i ovlastima. To je poznato kao načelo četiri oka.

Implementatori podliježu lakšim, ali ne manje važnim obvezama iz članaka 26. i 27.: korištenje u skladu s uputama za uporabu, nadzor kompetentnog ljudskog tijela, praćenje rada sustava, izvještavanje o rizicima i ozbiljnim incidentima te čuvanje zapisnika najmanje šest mjeseci. Zaposlenici koji će raditi sa sustavom i osobe na koje se primjenjuje moraju biti unaprijed obaviješteni.

Određeni pružatelji usluga također moraju provesti procjenu utjecaja na temeljna prava, Procjenu utjecaja na temeljna prava prema članku 27. To se u svakom slučaju odnosi na tijela kojima upravlja javno pravo, na privatne pružatelje javnih usluga i na pružatelje usluga koji koriste sustave za kreditno bodovanje ili za procjenu rizika osiguranja u životnom i zdravstvenom osiguranju.

Vremenska crta i trenutni status

Zakon o umjetnoj inteligenciji stupio je na snagu 1. kolovoza 2024. i primjenjuje se u fazama. U praksi je važno razlikovati obveze koje se već primjenjuju, obveze s budućim datumom primjene i najavljene izmjene čije formalno stupanje na snagu još nije dovršeno.

Zabranjene prakse (članak 5.): Primjenjuje se od 2. veljače 2025.

AI pismenost (članak 4): Primjenjuje se od 2. veljače 2025.

Modeli umjetne inteligencije opće namjene: Primjenjivo od 2. kolovoza 2025.

Transparency obligations (Article 50): applicable since 2 August 2026; not deferred

High-risk via Annex III: applicable from 2 December 2027, following the deferral

High-risk via Annex I: applicable from 2 August 2028, following the same deferral

That deferral is settled law. The European Commission presented the Digital Omnibus package on 19 November 2025 with a proposal to postpone the obligations for high-risk AI systems. The amending regulation, Regulation (EU) 2026/1744, was published in the Official Journal on 24 July 2026 and entered into force on 27 July 2026.

Only the high-risk regime moved. The obligations under Chapter III for systems classified through Annex III now apply from 2 December 2027, and those for systems classified through Annex I from 2 August 2028. Everything else kept its original date, so the deferral did not create a general pause in the AI Act.

The postponement is not unconditional in the way a simple change of date would be. Application of the high-risk obligations is linked to the availability of the harmonised standards and supporting instruments needed to comply with them, and the new dates operate as the outer limit of that arrangement rather than as a target that can still slip further. Planning on the assumption of another extension is therefore unwise.

Two points deserve separate attention. First, the transparency obligations of Article 50 and the AI literacy obligation of Article 4 were not deferred: Article 50 has applied since 2 August 2026 and Article 4 since 2 February 2025. Second, the package adds a new prohibition to Article 5, aimed at AI applications generating non-consensual intimate imagery and at AI-generated child sexual abuse material.

For organisations this means that December 2027 is the date to plan the high-risk documentation against, while the transparency, literacy and general purpose obligations are matters of present compliance rather than preparation.

Nadzor i kazne

In the Netherlands the implementing act for the AI Act is not yet in force. A draft was released for public consultation on 20 April 2026. It gives the Dutch Data Protection Authority (Autoriteit Persoonsgegevens) the role of supervisor for the fields in which no sector supervisor is designated, with a dedicated AI unit, and gives the Dutch Authority for Digital Infrastructure (RDI) a coordinating role, while sector supervisors keep their own domains. Until that act has been passed and brought into force, the precise allocation of powers and the national penalty regime are not settled.

Članak 99. Zakona o umjetnoj inteligenciji predviđa nekoliko maksimalnih kategorija kazni. Visina ovisi o prirodi prekršaja i, gdje je to relevantno, o godišnjem prometu poduzeća na svjetskoj razini. Najviši maksimum primjenjuje se na kršenje zabranjenih praksi iz članka 5.; niži maksimum primjenjuje se na kršenje ostalih obveza, uključujući one za pružatelje i implementatore visokorizičnih sustava umjetne inteligencije; a najniži se primjenjuje na davanje netočnih, nepotpunih ili obmanjujućih informacija tijelima vlasti. Povoljniji režim primjenjuje se na mala i srednja poduzeća (MSP), uključujući novoosnovana poduzeća. Stvarna kazna određuje se uzimajući u obzir primjenjiva pravila o kaznama i okolnosti slučaja.

Praktični plan

• Popisajte sve AI sustave koje vaša organizacija razvija, kupuje ili koristi.
• Za svaki sustav odredite koju ulogu ispunjavate: pružatelja usluga ili implementatora.
• Odredite kategoriju rizika za svaki sustav i dokumentirajte tu procjenu, uključujući svako oslanjanje na iznimku iz članka 6(3).
• Uspostaviti upravljanje umjetnom inteligencijom i imenovati odgovornog službenika.
• Osigurati pismenost u području umjetne inteligencije među osobljem koje radi s tim sustavima; ta se obveza već primjenjuje.
• Implement the transparency measures under Article 50; they have applied since 2 August 2026.
• Pravovremeno započnite s tehničkom dokumentacijom i, gdje je potrebno, procjenom utjecaja na temeljna prava.
• Pregledajte ugovore s dobavljačima o raspodjeli uloga, pružanju informacija i pravima revizije.
• Plan the high-risk documentation against 2 December 2027 for Annex III systems and 2 August 2028 for Annex I systems.

Što Zakon o umjetnoj inteligenciji traži od vaše organizacije

The AI Act fundamentally affects how organisations develop, purchase and use AI. The deferral of the high-risk obligations buys time for the heaviest part of the regime, but it leaves everything else in place: the prohibitions of Article 5, the AI literacy obligation, the rules for general purpose AI models and the transparency obligations of Article 50 all apply today. The time gained is best spent on classification and documentation, because those are the steps that cannot be compressed later. For a broader overview of the regulation, see our Potpuni vodič kroz Zakon EU o umjetnoj inteligenciji, što nadopunjuje fokus ovog članka na visokorizične AI sustave.

Law & More helps organisations inventory and classify their AI systems, determine their role as provider or deployer, review and draft contracts with AI suppliers, and set up AI governance. If you would like to know which obligations currently apply to your organisation and which steps should take priority? please feel free to contact us.

Često postavljana pitanja

U nastavku odgovaramo na pitanja koja nam se najčešće postavljaju o ovoj temi.