Zagraniczne modele AI potrafią pomylić kluski śląskie z francuskimi makaronikami, a fontannę Neptuna w Gdańsku uznać za pomnik w Bolonii. Skąd biorą się takie błędy i dlaczego sztuczna inteligencja wciąż ma problem z rozumieniem polskiej historii, kultury i codzienności? O tym w rozmowie z Marcinem Dąbrowskim, współtwórcą i liderem projektu Obywatel Bielik.
Czy sztuczna inteligencja naprawdę rozumie świat, czy tylko go rozpoznaje? Okazuje się, że gdy przychodzi do polskiej historii, kultury czy kuchni, nie zawsze radzi sobie tak dobrze, jak mogłoby się wydawać. O powodach tych pomyłek porozmawiam z Marcinem Dąbrowskim, współtwórcą i liderem projektu Obywatel Bielik.
Prowadzący: W informacji prasowej projektu Obywatel Bielik przeczytałem, że zagraniczne modele AI potrafią pomylić kluski śląskie z francuskimi makaronikami, a fontannę Neptuna w Gdańsku uznać za pomnik w Bolonii. To pojedyncze przypadki. Ale czy rzeczywiście sztuczna inteligencja ma problem z rozumieniem polskiej rzeczywistości i dlaczego popełnia takie błędy?
Marcin Dąbrowski: Krótko mówiąc, tak. Globalna sztuczna inteligencja ma problem ze zrozumieniem polskiej rzeczywistości i problem jest większy, niż się wydaje, ponieważ te duże, globalne modele świetnie sobie radzą z rozpoznawaniem takich uniwersalnych wzorców, popularnych obiektów. No bo takie dane są w internecie dostępne, takich danych jest najwięcej. Problem zaczyna się tam, gdzie wchodzi lokalny kontekst, czyli polska kuchnia, symbolika, historia, architektura. To nie są przypadki odosobnione, to jest taka dosyć systematyczna luka. Dlaczego tak się dzieje? W skrócie mówiąc, modele uczą się na tych danych, które dostaną. Globalne modele, czy to tekstowe, czy wizyjne, uczą się przede wszystkim na danych angielskojęzycznych i nazwijmy to międzynarodowych, bo takich danych jest najwięcej w internecie. Takich przykładów zdjęć dotyczących polskiej kultury jest dużo mniej, czy to klusek śląskich, czy fontanny Neptuna. W związku z tym modele mają mały dostęp do tych danych i nie nauczyły się dobrze rozpoznawać tych obiektów. Na koniec dnia po prostu je mylą.
Prowadzący: A takich przykładów jest więcej? Czy to się ogranicza tylko do kuchni czy do zabytków? Czy jest jeszcze jakieś miejsce, w którym modele zagraniczne sobie za bardzo nie radzą?
Marcin Dąbrowski: Tak, tych obszarów jest więcej. My oczywiście skupiamy się tutaj na zdjęciach, ponieważ to wszystko jest związane z akcją i aplikacją Obywatel Bielik. W przypadku zdjęć wykonaliśmy taki benchmark, czyli mówiąc bardziej po ludzku, test obejmujący 12 kategorii związanych z kulturą, historią, tradycją, kulinariami, de facto całym kontekstem kultury i języka polskiego. Ten test pokazał, że nie jest to tylko problem kuchni albo architektury, ale dużo szerszy. Z takich bardziej jaskrawych przykładów testowaliśmy zdjęcia z obrony Poczty Gdańskiej. Jeden z modeli wiedział, że jest to rok 1939, że jest to wojna, że jest to poczta, ale podał lokalizację, że jest to poczta w Bydgoszczy. Gdzieś tam więc dzwoniło, ale nie do końca. Innym przykładem historycznym było zdjęcie symbolu Polski Walczącej, model rozpoznał go jako logotyp jednego z youtuberów. Zahaczając o kinematografię, wysyłaliśmy także popularne klatki z polskiego filmu „Seksmisja”. Prawdopodobnie z uwagi na charakterystyczne stroje aktorów, inny model ocenił, że jest to film radziecki lub rosyjski, a nawet podał tytuł „Solaris”. Jeżeli więc chodzi o zdjęcia i kontekst kulturowy na zdjęciach, to rzeczywiście jest to problem. Jeżeli chodzi o teksty, jest już dużo lepiej, bo od kilku lat rozwijamy model Bielik, który jest modelem tekstowym. Z tymi kwestiami tekstowymi, w kontekście kultury i języka polskiego, jest już bardzo dobrze. Teraz chcemy pokryć kolejny obszar związany ze zdjęciami i obrazami.
Prowadzący: Czy jedno wysłane zdjęcie ma aż tak duży wpływ na naukę modelu?
Marcin Dąbrowski: Każde jedno zdjęcie ma znaczenie. Ja nazywam je taką cegiełką, którą każdy z nas może dołożyć do tworzenia polskiej sztucznej inteligencji. Oczywiście pojedyncze zdjęcie nie zmieni modelu, ale tysiące takich zdjęć od tysięcy albo dziesiątek tysięcy ludzi już tak. Pokazują to również wyniki, które osiągnęliśmy po pierwszych dwóch dniach od premiery aplikacji. W ciągu 48 godzin, bez dużej kampanii promocyjnej, zebraliśmy tysiąc zdjęć. To pokazuje, że taka akcja ma sens. Masowe opisywanie zdjęć i dotarcie do jak największej liczby ludzi daje efekt kuli śnieżnej. Każde pojedyncze zdjęcie ma znaczenie, ale żeby wywrzeć realny wpływ i wytrenować model, potrzebujemy oczywiście skali. Trzeba pomnożyć to jedno zdjęcie przez jak największą liczbę obywateli.
Prowadzący: Moim i Państwa gościem był Marcin Dąbrowski, współtwórca i lider projektu Obywatel Bielik. Dziękuję bardzo za rozmowę.
Marcin Dąbrowski: Dziękuję bardzo i pozdrawiam wszystkich.

Radio Szczecin