Czy analiza sentymentu przy pomocy systemu AI to praktyka zakazana?

English version will be sent tomorrow.

TL;DR Niestety nie ma jednoznacznej odpowiedzi – to może być praktyka zakazana lub nie, w zależności od tego czyj sentyment jest badany i w jaki sposób, ale na pewno trzeba to zweryfikować przed 2 lutego 2025 r.

AI Act najeżony jest różnymi nieścisłościami i brakiem konsekwencji w używaniu terminologii. Odkrywamy je powoli w miarę prowadzenia analiz związanych z konkretnymi pytaniami. Oto jedna z tych zagwozdek.

Czy system AI do analizy sentymentu to „system do wyciągania wniosków na temat emocji”?

Już 2 lutego 2025 r. wejdą w życie przepisy AI Act dotyczące praktyk zakazanych. Jedną z nich jest praktyka polegająca na korzystaniu z systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych. Przepis brzmi tak:

Art. 5.1.f

Zakazuje się następujących praktyk w zakresie AI: (…)

wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych, z wyjątkiem przypadków, w których system AI ma zostać wdrożony lub wprowadzony do obrotu ze względów medycznych lub bezpieczeństwa;

I tu powstaje bardzo praktyczne pytanie, czy takim zakazanym systemem będzie system AI do analizy sentymentu.

Co to jest analiza sentymentu?

Badanie sentymentu to inaczej badanie wydźwięku emocjonalnego wypowiedzi.  Analiza sentymentu jest szeroko stosowana do analizy wypowiedzi na określone tematy w celu oceny nastawienia autora danej wypowiedzi do tego tematu.

Najczęściej wynikiem analizy sentymentu jest klasyfikacja wypowiedzi jako pozytywnej, negatywnej lub neutralnej, jednak są także systemy, które pozwalają na bardziej szczegółową analizę  (np. w skali od zera do 100), a nawet na wykrywanie konkretnych emocji autora (np. frustracji, obojętności lub niepokoju).

Przedmiotem analizy sentymentu mogą być wypowiedzi w dowolnej formie, zarówno tekstowej jak i audio. Analiza sentymentu jest zwykle stosowana w monitoringu mediów, klasyfikacji komunikacji od klientów pod kątem pilności czy analizie rynku, jednak niektóre organizacje stosują ją także w procesach kadrowych w celu np. mierzenia satysfakcji pracowników czy analizy ich nastrojów lub w celu oceny jakości rozmów w call center. Analiza sentymentu może być także wykorzystana w kontekście edukacyjnym, np. do analizy ocen studentów dotyczących prowadzonych zajęć.

W świetle tych ustaleń na zadane pytanie trzeba odpowiedzieć pozytywnie – tak, system AI do analizy sentymentu może być systemem AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych.

Czy „system AI do wyciągania wniosków na temat emocji osoby fizycznej” jest tym samym, co „system rozpoznawania emocji”?

W AI Act nie znajdziemy definicji „systemu AI do wyciągania wniosków na temat emocji osoby fizycznej”, ale jest za to definicja systemu rozpoznawania emocji, która jest następująca:

Art. 3 pkt 39

„system rozpoznawania emocji” oznacza system AI służący do identyfikacji lub wywnioskowania emocji lub zamiarów osób fizycznych na podstawie danych biometrycznych tych osób”

Brzmienie tych pojęć jest bardzo podobne – czy zatem system, o którym mowa w art. 5 ust. 1 lit. f (czyli system AI do wyciągania wniosków na temat emocji) jest tożsamy z systemem rozpoznawania emocji czy nie? A jeśli tak, to dlaczego w art. 5 ust. 1 lit. f nie użyto ww. terminu, lecz zamiast tego napisano, że zakaz dotyczy „systemów AI do wyciągania wniosków na temat emocji osoby fizycznej”?

Niestety AI Act nie jest konsekwentny w stosowaniu jednolitej terminologii. Różnych określeń systemów do rozpoznawania emocji jest w AI Act więcej.

I tak motyw 44 preambuły – który jest uzasadnieniem wprowadzenia zakazu z art. 5 ust. 1 lit. f - mówi o systemach AI „przeznaczonych do wykrywania stanu emocjonalnego osób fizycznych w sytuacjach związanych z miejscem pracy i edukacją.

Z kolei w Załączniku III w pkt 1 wskazane są jako systemy wysokiego ryzyka „systemy AI przeznaczone do wykorzystania przy rozpoznawaniu emocji”.

Mamy zatem 4 różne pojęcia, które zdają się opisywać to samo:

• system AI do wyciągania wniosków na temat emocji osoby fizycznej
• system AI służący do identyfikacji lub wywnioskowania emocji lub zamiarów osób fizycznych
• system AI przeznaczony do wykrywania stanu emocjonalnego osób fizycznych
• system AI przeznaczony do wykorzystania przy rozpoznawaniu emocji.

Moim zdaniem nie powinniśmy przypisywać specjalnego znaczenia stosowaniu różnej terminologii. Użycie różnych określeń raczej nie było zamierzone, lecz wynikało z szybkiego tempa, w którym przygotowywano ostateczną wersję przepisów rozporządzenia. Wszystkie wyżej podane pojęcia należy zatem rozumieć jako systemy rozpoznawania emocji.

Jeśli „system do wyciągania wniosków na temat emocji” to tak naprawdę „system rozpoznawania emocji”, to jakie systemy będą podlegać zakazowi wykorzystania?

Definicja systemu rozpoznawania emocji składa się z trzech elementów:

1. jest to system AI służący do celów identyfikacji lub wnioskowania;
2. identyfikacja lub wnioskowanie ma dotyczyć emocji lub zamiarów (intencji) osób fizycznych;
3. identyfikacja lub wnioskowanie ma następować na podstawie danych biometrycznych tych osób.

Czym są emocje w ramach AI Act?

Motyw 18 preambuły wskazuje, że emocjami są

„radość, smutek, złość, zdziwienie, obrzydzenie, zakłopotanie, podekscytowanie, wstyd, pogarda, satysfakcja i rozbawienie.”

Ten sam punkt wskazuje jednak, że emocjami nie są stany fizyczne, takie jak ból lub zmęczenie.

Emocjami nie są także łatwe do zauważenia formy wyrazu, gestów lub ruchów, takie jak:

•             podstawowe rodzaje wyrazu twarzy takiej jak grymas lub uśmiech,

•             gesty, takie jak ruch rąk, ramion lub głowy,

•             cechy głosu danej osoby, takie jak podniesiony ton lub szept

chyba, że wykorzystuje się takie formy wyrazu lub gestów do identyfikacji lub wnioskowania na temat emocji.

Zauważmy, że określenie sentymentu może mieć różny charakter.  Może być zarówno zniuansowanym opisem różnych predefiniowanych emocji wykrytych w danej treści, jak i wskazaniem swoistego sumarycznego podsumowania stosunku emocjonalnego autora treści bez wskazywania konkretnych emocji (np. wg skali pozytywny, neutralny, negatywny).

Co to są dane biometryczne?

Kolejnym elementem definicji systemu rozpoznawania emocji jest „identyfikacja lub wnioskowanie o emocjach na podstawie danych biometrycznych”.

Pojęcie danych biometrycznych ma swoją definicję w AI Act:

Art. 3 pkt 34

„dane biometryczne” oznaczają dane osobowe będące wynikiem specjalnego przetwarzania technicznego, które dotyczą cech fizycznych, fizjologicznych lub behawioralnych osoby fizycznej, takich jak wizerunek twarzy lub dane daktyloskopijne;

Oznacza to, że identyfikacja lub wnioskowanie o emocjach w oparciu o np. analizę wyłącznie tekstu nie wchodzi w zakres tego pojęcia, jednak analiza w oparciu o np. wzorzec pisania na klawiaturze, pisma odręcznego lub w oparciu o analizę głosu już tak.

Podsumowanie

W ramach tego materiału tylko zasygnalizowałem tematykę związaną z klasyfikacją systemów AI do oceny sentymentu na tle przepisów o zakazie stosowania systemów AI do rozpoznawania emocji. Można by na ten temat napisać dużo więcej, np. o tajemniczym określeniu „zamiary” (intencje)  w definicji systemu rozpoznawania emocji i o tym, jaka jest różnica pomiędzy zamiarem a emocją. Zainteresowanych odsyłam do artykułu koleżanki z Bird & Bird - Nora Santalu „What is an Emotion Recognition System under the EU’s Artificial Intelligence Act?: Part 1 - A machine that “understands” your Monday blues!”, w którym te zagadnienia są szerzej poruszone.

Warto wspomnieć, że nie mamy jeszcze wytycznych dotyczących sposobu rozumienia wielu opisanych powyżej pojęć. Zgodnie z art. 96 AI Act Komisja Europejska powinna opracować wytyczne dotyczące praktycznego wdrażania rozporządzenia, a w szczególności zakazanych praktyk, o których mowa w art. 5. Mają one być dostępne jeszcze przed wejściem w życie zakazu.

W ramach tego newslettera chciałbym zwrócić uwagę firmom, które wykorzystują systemy AI do analizy sentymentu, że od 2 lutego 2025 r. takie systemy mogą być uznane za „systemy do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy” i w związku z tym stanowić praktykę zakazaną.

Jeśli uważasz, że Twoje systemy sztucznej inteligencji mogą zostać uznane za systemy, których stosowanie stanowi zakazaną praktykę, zapraszam do kontaktu.

 Jeśli podobał Ci się ten newsletter, zasubskrybuj go oraz follow me on LinkedIn.