Akt w sprawie sztucznej inteligencji wprowadza cztery kategorie systemów AI według poziomu ryzyka: systemy niedopuszczalne (zakazane), systemy wysokiego ryzyka, systemy ograniczonego ryzyka oraz systemy niskiego ryzyka. Klasyfikacja ta ma praktyczne znaczenie dla przedsiębiorców, ponieważ determinuje, jakie wymogi prawne należy spełnić przy rozwoju i wdrażaniu danego systemu AI. W artykule przybliżam, czym są systemy AI wysokiego ryzyka w rozumieniu AI Act oraz jakie obowiązki prawo nakłada na ich dostawców oraz użytkowników.
Czym jest system AI wysokiego ryzyka?
Systemy AI wysokiego ryzyka (dalej ,,high-risk’’), to takie, które mogą wyrządzić poważną szkodę zdrowiu, bezpieczeństwu lub prawom podstawowym, zwłaszcza jeśli zawiodą albo zostaną niewłaściwie użyte. AI Act zalicza do tej kategorii zarówno pewne produkty oparte na AI, jak i określone zastosowania AI w ważnych obszarach życia społeczno-gospodarczego. Zgodnie z art. 6 AI Act oraz załącznikiem III do rozporządzenia, do systemów wysokiego ryzyka należą m.in.:
AI w obszarze biometrii – systemy do zdalnej identyfikacji biometrycznej osób (rozpoznawanie twarzy w tłumie), systemy kategoryzujące osoby według cech wrażliwych (pochodzenie, płeć, itp.) oraz systemy rozpoznawania emocji. Należy jednak podkreślić, że systemem high-risk nie będzie system AI przeznaczony do wykorzystywania przy weryfikacji biometrycznej, której jedynym celem jest potwierdzenie, że określna osoba jest osobą, za którą się podaje.
AI w infrastrukturze krytycznej – systemy będące elementami bezpieczeństwa w zarządzaniu infrastrukturą cyfrową lub sieciami dostaw (transport, zaopatrzenie w wodę, prąd, gaz itp.), gdzie błąd AI mógłby zagrozić życiu lub zdrowiu wielu osób.
AI w edukacji i szkoleniach zawodowych – np. systemy decydujące o przyjęciu do szkoły lub na studia, przydzielające uczniów do określonych klas, oceniające wyniki nauki (egzaminy, prace) lub monitorujące przebieg testów (wykrywanie ściągania).
AI w zatrudnieniu i zarządzaniu pracownikami – np. narzędzia do rekrutacji (selekcja CV, ocena kandydatów), systemy wspomagające decyzje o awansie lub zwolnieniu, algorytmy przydzielające zadania pracownikom według ich wydajności czy monitorujące ich efektywność w pracy.
AI w dostępie do usług prywatnych i publicznych – np. systemy oceniające uprawnienia osoby do otrzymania świadczeń socjalnych lub usług publicznych (np. opieki zdrowotnej), systemy oceniające zdolność kredytową lub ustalające scoring kredytowy (z wyłączeniem systemów wykrywających wyłącznie oszustwa finansowe) oraz systemy używane przez ubezpieczycieli do oceny ryzyka i kalkulacji składek w ubezpieczeniach na życie i zdrowotnych. Do tej grupy zalicza się także AI do priorytetyzacji wezwań alarmowych (112) i dysponowania służb ratunkowych.
AI w egzekwowaniu prawa – np. systemy wykorzystywane przez policję do oceny ryzyka, że dana osoba stanie się ofiarą przestępstwa, tzw. predictive policing prognozujące, kto może popełnić (lub ponownie popełnić) przestępstwo, „wariografy” oparte na AI do analiz przesłuchań, systemy analizujące wiarygodność dowodów w śledztwie lub profilujące osoby podejrzane.
AI w kontroli granicznej, azylowej i migracji – np. systemy używane na granicach do analizy ryzyka zagrażającego bezpieczeństwu (wykrywające potencjalnych przestępców lub zagrożenia epidemiologiczne), tzw. „wykrywacze kłamstw” w odprawach granicznych, systemy wspomagające urzędników w ocenie wniosków o wizę, azyl lub pobyt, a także systemy do masowego rozpoznawania osób na granicach (np. przez kamery), z wyłączeniem standardowej weryfikacji dokumentów podróży.
AI w wymiarze sprawiedliwości i procesach demokratycznych – np. systemy wspierające sędziów przy interpretacji prawa i okoliczności sprawy, a także systemy używane w kampaniach politycznych do wpływania na preferencje wyborców lub wyniki głosowań. Zastosowania AI, których odbiorca nie jest świadomy jak mikrotargetowanie przekazów politycznych są uznane za wysokiego ryzyka, natomiast wewnętrzne narzędzia organizacyjne kampanii są wyłączone z tej kategorii.
Oprócz powyższego katalogu, AI Act uznaje za wysokiego ryzyka także każdy system AI będący elementem bezpieczeństwa produktu podlegającego oznakowaniu CE. Innymi słowy, jeżeli sztuczna inteligencja stanowi część np. wyrobu medycznego, zabawki, pojazdu, maszyny lub urządzenia dźwigowego, które wymaga oceny zgodności z odpowiednimi dyrektywami/rozporządzeniami UE, to taki system AI jest traktowany jako wysokiego ryzyka. Przykładem może być AI sterująca robotem chirurgicznym albo asystującą kierowcy w prowadzeniu samochodu, zanim taki produkt trafi na rynek, zastosowana w nim AI musi przejść procedurę oceny zgodności wymaganą dla systemów wysokiego ryzyka.
Obowiązki dostawców i użytkowników systemów wysokiego ryzyka
Systemy wysokiego ryzyka są dopuszczone do użytku, ale pod warunkiem spełnienia licznych rygorystycznych wymogów. AI Act ustanawia w tym zakresie szereg obowiązków zarówno dla dostawców (twórców, producentów systemu AI), jak i dla użytkowników, czyli zgodnie z treścią AI Act podmiotów stosujących system AI. Te wymagania mają zapewnić, że systemy wysokiego ryzyka będą bezpieczne, godne zaufania i zgodne z prawem od etapu projektowania, przez wdrożenie, po cały okres eksploatacji.
Dostawca zanim wprowadzi taki system na rynek UE, musi m.in.:
- przeprowadzić systematyczną analizę i redukcję ryzyka wdrożyć system zarządzania ryzykiem AI (identyfikacja możliwych zagrożeń dla bezpieczeństwa, zdrowia, praw, testowanie i minimalizacja tych zagrożeń na etapie projektowania oraz na bieżąco podczas korzystania);
- zadbać o wysoką jakość danych treningowych – dane wykorzystywane do trenowania i walidacji modeli AI powinny być odpowiedniej jakości, reprezentatywne i wolne od biasów na tyle, na ile to możliwe, aby zminimalizować ryzyko dyskryminacji lub błędnych decyzji systemu;
- zapewnić automatyczne rejestrowanie zdarzeń (logowanie) – system powinien prowadzić dzienniki zdarzeń umożliwiające późniejszą identyfikację przyczyn jego decyzji i wyników. Logi mają służyć śledzeniu działania AI i ewentualnemu audytowi (np. w razie wypadku z udziałem robota bazującego na AI);
- opracować kompletną dokumentację techniczną – dostawca musi przygotować szczegółową dokumentację systemu, obejmującą m.in. jego opis, cel, architekturę, algorytmy, dane, testy, wyniki oceny ryzyka, metryki dokładności itd. Dokumentacja ta powinna pozwolić organom nadzoru ocenić zgodność systemu z wymogami AI Act. Zakres wymaganych informacji określa załącznik IV do AI Act;
- udostępnić jasne instrukcje i informacje dla użytkownika – jeszcze przed wdrożeniem systemu jego nabywca/użytkownik powinien otrzymać od dostawcy instrukcję użytkowania wyjaśniającą przeznaczenie systemu, jego ograniczenia, wymogi dotyczące danych wejściowych, zalecenia co do nadzoru człowieka itp. Celem jest, by użytkownik rozumiał, jak prawidłowo korzystać z systemu AI i jakie ma obowiązki podczas eksploatacji;
- zapewnić nadzór człowieka (human oversight) – system musi być zaprojektowany tak, by człowiek mógł skutecznie nadzorować jego działanie i korygować go w razie potrzeby. To może obejmować mechanizmy pozwalające operatorowi przerwać działanie AI, kiedy sytuacja tego wymaga (tzw. funkcja stop lub kill switch) oraz szkolenie operatorów co do ich roli nadzorczej;
- spełniać wymogi dokładności, solidności i i cyberbezpieczeństwa – system powinien cechować się wysoką dokładnością działania, odpornością na błędy lub zakłócenia oraz zabezpieczeniami przed atakami w cyberprzestrzeni. Np. model AI do diagnostyki medycznej musi mieć określony minimalny poziom skuteczności wykrywania chorób, a robot przemysłowy zabezpieczenia przeciw manipulacji sygnałami sterującymi.
- przeprowadzić ocenę zgodności, sporządzić deklarację zgodności i umieścić deklarację CE – zanim system trafi do użytku, dostawca musi poddać go wymaganej procedurze oceny zgodności i sporządzić deklarację zgodności UE, oznakować system znakiem CE jako potwierdzenie spełnienia AI Act. Dodatkowo dostawca zobowiązany jest zarejestrować system w specjalnej bazie UE dla systemów wysokiego ryzyka, zanim system zostanie wdrożony komercyjnie (rejestr ułatwi organom nadzoru identyfikację takich systemów na rynku).
- wprowadzić system zarządzania jakością, obejmujący spójny, systematyczny i udokumentowany zbiór polityk, procedur oraz instrukcji operacyjnych, które jasno określają zasady projektowania, rozwoju, testowania, monitorowania i utrzymania systemu AI;
- monitorować system po wprowadzeniu na rynek – dostawca musi aktywnie prowadzić działania nadzorcze po wdrożeniu, zbierając informacje o działaniu AI u klientów, aby wychwycić ewentualne incydenty lub nowe zagrożenia i móc aktualizować system lub dokumentację. Ponadto ciąży na nim obowiązek zgłaszania poważnych incydentów lub awarii związanych z systemem do właściwych organów.
Użytkownik również ma istotne obowiązki, w tym m.in.:
- korzystać z systemu zgodnie z instrukcją i wytycznymi dostawcy, użytkownik powinien stosować system tylko do jego przewidzianego celu, na określonych warunkach i z uwzględnieniem zaleceń od dostawcy. Np. jeśli algorytm predykcyjny został zatwierdzony do wspomagania decyzji kredytowych dla klientów indywidualnych, nie należy używać go samowolnie do oceny przedsiębiorstw. Niedopuszczalne jest też wprowadzanie samodzielnych modyfikacji, które mogłyby zwiększyć ryzyko systemu;
- utrzymywać nadzór człowieka nad działaniem AI – podmiot stosujący system AI w swojej organizacji musi wyznaczyć odpowiednio przeszkolone osoby do nadzorowania pracy systemu AI w swoim środowisku. Operatorzy powinni być w stanie weryfikować wyniki AI i ingerować, gdy system działa niewłaściwie (np. wyłączyć system, jeśli zauważą anomalię);
- monitorować działanie i incydenty – użytkownik ma obowiązek obserwować funkcjonowanie AI podczas użytkowania i informować dostawcę lub organy nadzoru o wszelkich poważnych incydentach, awariach czy niebezpiecznych sytuacjach związanych z systemem. Współpracuje tym samym w procesie tzw. nadzoru rynkowego nad AI.
- w zakresie danych zapewnić, że dane wejściowe są odpowiednie i reprezentatywne, jednocześnie stosując się do wymogów RODO;
- przechowywać logi operacji wykonywanych przez AI;
- zapewnić zgodność z przepisami sektorowymi – często użycie AI high-risk następuje w kontekście istniejących regulacji (np. przepisów o ochronie danych, niedyskryminacji, BHP, prawa pracy, itp.). Użytkownik musi dbać, by stosowanie AI nie naruszało tych przepisów, np. system rekrutacyjny musi być używany tak, by nie łamać prawa pracy i zasad równego traktowania kandydatów;
- przeprowadzić ocenę wpływu na prawa podstawowe (FRIA) – to istotny wymóg AI Act, obligujący określonych użytkowników do przeanalizowania, jak planowane użycie systemu AI wpłynie na prawa i wolności osób. Taka Fundamental Rights Impact Assessment jest wymagana przed pierwszym wdrożeniem systemu wysokiego ryzyka w sektorze publicznym (oraz dla niektórych systemów prywatnych, np. systemów oceny zdolności kredytowej czy ubezpieczeń zdrowotnych). W ramach FRIA należy m.in. opisać kontekst i cel użycia AI, grupy ludzi, których działanie systemu może dotknąć, potencjalne zagrożenia (np. ryzyko dyskryminacji), planowane środki nadzoru i mechanizmy reagowania na ewentualne naruszenia praw.
Większość obowiązków w tym dotyczących systemów wysokiego ryzyka zacznie obowiązywać od 2 sierpnia 2026 r. (przy czym dla systemów AI będących elementem bezpieczeństwa produktów objętych regulacjami UE przewidziano wydłużony okres do 2 sierpnia 2027 r.). Warto zaznaczyć, że pewne obowiązki wynikające z AI Act pojawiły się wcześniej w tym zakazy niedopuszczalnych praktyk oraz obowiązek AI literacy obowiązują już od lutego 2025. Od sierpnia 2025 r. natomiast zaczęły obowiązywać przepisy dotyczące dostawców modeli ogólnego przeznaczenia, czyli np. firm tworzących duże modele językowe lub generatywne oraz kar.
Przykład systemu AI wysokiego ryzyka?
Platforma AI do preselekcji kandydatów do pracy, analizująca CV i listy motywacyjne, a nawet prowadząca wstępne rozmowy w formie czatu (co już jest stosowane w dużych korporacjach). Dostawca takiego systemu musiałby spełnić wszystkie powyższe wymogi w tym zadbać np. o to, by algorytm nie dyskryminował kandydatów (równa jakość danych treningowych dla obu płci itp.), a także udokumentować działanie modelu i zapewnić możliwość audytu wyników. Firma rekrutacyjna wdrażająca ten system musiałaby z kolei m.in. przeszkolić rekruterów w obsłudze AI, monitorować rekomendacje AI i w razie potrzeby je korygować (obowiązkowy nadzór ludzki), a także przeanalizować w ocenie FRIA, czy automatyczna selekcja CV nie naruszy praw kandydatów (np. prawa do równego traktowania).
Inny przykład? Platforma wspomagana AI do oceniania prac egzaminacyjnych studentów albo system wykrywający podczas zdalnego testu, czy student nie ściąga (proctoring AI). W edukacji tego typu AI może zadecydować o przyszłości ucznia/studenta (zaliczenie lub nie), a także budzi ryzyko błędnej oceny lub naruszenia prywatności. Producent systemu musiałby m.in. zapewnić, że algorytm oceniający esej jest sprawiedliwy i dostatecznie dokładny w porównaniu z ludzkim egzaminatorem, a także że system proctoringowy nie daje fałszywych alarmów (np. niesłusznie oskarżając o oszukiwanie).
Wdrożenie każdego systemu AI, w tym takiego, który podlega pod kategorię wysokiego ryzyka, to coś więcej niż tylko „odhaczenie” wymogów z AI Act. To niezwykle szeroki proces, który wymaga zadbania także o inne obowiązki prawne. Jeśli Twój system przetwarza dane osobowe, musisz uwzględnić RODO. Każdorazowo należy pamiętać również o prawach autorskich, cyberbezpieczeństwie i kiedy ma to zastosowanie, również o dyrektywie NIS2. Dlatego odpowiedzialne wdrażanie AI to nie tylko technologia, ale też zgodność z prawem, etyka i zaufanie, zmierzające do odpowiedzialnego wdrażania oraz korzystania z AI.
