Naukowcy opracowali metodę, która pozwala lepiej zrozumieć decyzje modeli AI
Badacze z Uniwersytetu Jagiellońskiego i Max Planck Institute for Informatics opracowali metodę, która pozwala lepiej wyjaśniać decyzje modeli sztucznej inteligencji.
Systemy sztucznej inteligencji są coraz częściej wykorzystywane do wspomagania decyzji w medycynie, finansach czy systemach bezpieczeństwa. Jednocześnie zwykle działają jak tzw. „czarne skrzynki” – osiągają wysoką skuteczność, choć trudno zrozumieć, dlaczego wskazały właśnie taki, a nie inny wynik. Wyjaśnialność sztucznej inteligencji (Explainable AI, XAI) to dziedzina badań, której celem jest opracowanie metod pozwalających zajrzeć do wnętrza modeli. Wszystko aby lepiej zrozumieć mechanizmy ich działania.
Szczególnym wyzwaniem są modele typu Vision Transformer (ViT). W ostatnich latach zrewolucjonizowały one rozpoznawanie obrazów i stanowią podstawę wielu nowoczesnych systemów AI. Dotychczasowe metody wyjaśniania ich decyzji często prowadziły jednak do powstawania rozmytych lub niestabilnych wyników.
W czym może pomóc DAVE?
Nowa metoda DAVE (Distribution-aware Attribution via ViT Gradient Decomposition) została zaprojektowana specjalnie dla modeli Vision Transformer. – DAVE jest metodą wyjaśniania działania modeli sztucznej inteligencji, tzw. metodą atrybucji. Jej zadaniem jest wskazanie, które fragmenty obrazu były najważniejsze dla podjęcia przez model konkretnej decyzji – wyjaśnił PAP dr hab. Bartosz Zieliński, prof. UJ, dyrektor Jagiellońskiego Centrum Sztucznej Inteligencji.
Jak dodał, metoda analizuje sposób przepływu informacji przez model. Oddziela sygnały związane z rzeczywistym przetwarzaniem obrazu od elementów wynikających z architektury modelu lub jego lokalnej niestabilności. Dzięki temu powstają bardziej precyzyjne i stabilne mapy pokazujące, na jakie obiekty i struktury wizualne zwraca uwagę sztuczna inteligencja.
To odróżnia DAVE od większości obecnie stosowanych metod wyjaśnialności AI.
– Większość obecnych metod traktuje model jak „czarną skrzynkę” i analizuje jedynie zależność między wejściem a wyjściem. DAVE wykorzystuje wiedzę o wewnętrznej architekturze Vision Transformerów. Dzięki temu potrafi odfiltrować elementy odpowiedzialne za szum i niestabilność wyjaśnień. Dokładniej wskazuje, które fragmenty obrazu rzeczywiście wpłynęły na decyzję modelu – wytłumaczył PAP dr Adam Wróbel, pierwszy autor publikacji pt. „DAVE: Distribution-aware Attribution via ViT Gradient Decomposition”. Publikacja opisująca metodę dostępna jest w serwisie arXiv. Gromadzone są tam wstępne wersje prac naukowych, zanim te przejdą proces recenzji i zostaną opublikowane w renomowanych czasopismach.
Testy na różnych modelach
Badacze sprawdzili skuteczność metody na kilku grupach modeli Vision Transformer. Zarówno klasycznych modelach uczonych w sposób nadzorowany, jak i modelach samo-nadzorowanych oraz architektury zaprojektowanej z myślą o interpretowalności. We wszystkich testowanych rozwiązaniach DAVE osiągał wyniki porównywalne lub lepsze od dotychczasowych metod wyjaśniania AI.
Zdaniem naukowców metoda może znaleźć zastosowanie wszędzie tam, gdzie wykorzystywane są systemy analizujące obrazy. Dotyczy to m.in. diagnostyki medycznej opartej na zdjęciach rentgenowskich. Także tomografii komputerowej i obrazach mikroskopowych, kontroli jakości w przemyśle, systemów wspomagających pojazdy autonomiczne oraz analizy zdjęć satelitarnych.
– Największą zaletą DAVE jest możliwość sprawdzenia, na które elementy obrazu zwraca uwagę model podczas podejmowania decyzji. W zastosowaniach wysokiego ryzyka może to pomóc ekspertom ocenić, czy sztuczna inteligencja opiera swoje wnioski na rzeczywiście istotnych cechach, czy też na przypadkowych artefaktach – podkreślił dr Dawid Rymarczyk, autor korespondencyjny.
Pora na decyzje modeli LLM
Jak zaznaczył, obecną wersję DAVE opracowano dla modeli wizyjnych, jednak zespół pracuje już nad rozszerzeniem metody na modele przetwarzające tekst oraz systemy multimodalne łączące obraz i język.
O znaczeniu osiągnięcia świadczy także wyróżnienie na tegorocznej International Conference on Machine Learning (ICML), jednej z najbardziej prestiżowych konferencji poświęconych sztucznej inteligencji i uczeniu maszynowemu. W tym roku organizatorzy otrzymali rekordowe 23 918 zgłoszeń, z których do programu zakwalifikowano 26,6 proc. Tytuł „Spotlight”, przyznawany pracom uznanym przez komitet programowy za szczególnie istotne dla rozwoju dziedziny, otrzymało jedynie 536 artykułów, czyli około 2,2 proc. wszystkich zgłoszeń.
Metoda jest bardzo nowa i oficjalnie twórcy zaprezentują ją podczas lipcowej konferencji ICML 2026. Naukowcy przygotowują obecnie publiczną wersję kodu, która umożliwi innym zespołom wykorzystanie DAVE we własnych badaniach.
– Już teraz otrzymaliśmy pierwsze zapytania od badaczy ze Stanów Zjednoczonych i Chin zainteresowanych wykorzystaniem naszej metody. Spodziewamy się, że po udostępnieniu kodu DAVE będzie szeroko wykorzystywany i porównywany z innymi rozwiązaniami w dziedzinie wyjaśnialnej sztucznej inteligencji – zapowiedzieli autorzy rozwiązania.
Przeczytaj także: Rośnie zainteresowanie polskimi modelami językowymi. Bielik wkrótce będzie „mówić” w 50 językach
Źródło: naukawpolsce.pap.pl
Last Updated on 29 czerwca, 2026 by Krzysztof Kotlarski