Światło pomoże wykrywać wiele deepfake’ów jednocześnie

Twórcami systemu są naukowcy z University of California w Los Angeles (UCLA). Jak przypomnieli, wraz z rozwojem sztucznej inteligencji powstaje coraz więcej fałszywych i bardzo realistycznych nagrań (deepfake’ów), a co za tym idzie, rośnie także potrzeba ich automatycznego wykrywania. Nie jest to jednak proste, ponieważ nowoczesne detektory wymagają setek miliardów operacji obliczeniowych, żeby ocenić pojedynczy materiał. Ponieważ zwykle analizują filmy kolejno, sprawdzanie dużych zbiorów nagrań staje się bardzo czasochłonne i energochłonne.

Do tego tradycyjne cyfrowe detektory są podatne na oszustwa (ataki typu adversarial), polegające na celowym wprowadzaniu do nagrania takich zmian, które mają sprawić, że system uzna fałszywy film za autentyczny.

Badacze z UCLA postanowili sprawdzić, czy część obliczeń potrzebnych do wykrywania deepfake’ów można wykonać za pomocą światła. W ich systemie część analizy odbywa się więc nie na komputerze, lecz w specjalnym układzie optycznym, w którym informacje są przetwarzane podczas rozchodzenia się światła.

Najpierw film analizuje niewielka sieć neuronowa, która wyodrębnia z niego najważniejsze informacje dotyczące obrazu, jego właściwości świetlnych oraz zmian zachodzących między kolejnymi klatkami. Dane te są następnie zamieniane w specjalny wzór, który steruje światłem.

Światło przechodzi przez układ optyczny, gdzie ulega dyfrakcji, czyli ugina się i rozchodzi w określony sposób. Właśnie podczas tego procesu wykonywana jest część obliczeń potrzebnych do oceny nagrania. Na końcu detektory mierzą docierające do nich światło i na tej podstawie system określa, czy film jest autentyczny, czy zmanipulowany.

Jak podkreślili badacze, dzięki temu część pracy, którą normalnie wykonywałaby kolejna sieć neuronowa działająca na procesorach, odbywa się fizycznie podczas przechodzenia światła przez układ. Pozwala to analizować wiele filmów równolegle.

W pierwszych testach system analizował jednocześnie 15 nagrań wideo. Średnia dokładność klasyfikacji wyniosła 97,79 proc., a czułość 99,86 proc., co oznacza, że poprawnie identyfikował niemal wszystkie zmanipulowane filmy. Swoistość, czyli zdolność prawidłowego rozpoznawania autentycznych materiałów, była na poziomie 95,72 proc.

W kolejnym etapie naukowcy zwiększyli liczbę filmów do 18. Dokładność nadal pozostawała wysoka i wyniosła średnio 96,13 proc.

Badacze sprawdzili również, czy skuteczność systemu można zwiększyć, rozbudowując optyczną część urządzenia. Okazało się, że dodanie dwóch kolejnych warstw optycznych, które odpowiednio zmieniają sposób rozchodzenia się światła, poprawiło dokładność wykrywania najbardziej zaawansowanych manipulacji o prawie 7 proc.

Następnie system przetestowano na nagraniach wygenerowanych za pomocą nowoczesnego modelu Google VEO-3. Tym razem osiągnął dokładność 94,80 proc. i czułość 97,61 proc. Badacze zaznaczyli, że jest to bardzo dobry wynik, ponieważ nowsze generatory deepfake’ów tworzą coraz doskonalsze filmy, unikając części błędów charakterystycznych dla starszych modeli.

Rozwiązanie zachowywało wysoką skuteczność również wtedy, gdy obrazy zawierały szum, były rozmyte, skompresowane w formacie JPEG albo gdy w eksperymentalnym układzie optycznym pojawiały się niewielkie przesunięcia.

Nowy system okazał się także odporny na próby celowego oszukania detektora. Takie ataki polegają na wprowadzaniu do obrazu zmian, często niewidocznych dla człowieka, które sprawiają, że algorytm błędnie uznaje fałszywy materiał za prawdziwy.

Autorzy podsumowali, że ich rozwiązanie mogłoby działać jako pierwszy etap weryfikacji autentyczności materiałów wideo. Szybko analizowałoby duże zbiory nagrań i przekazywało podejrzane filmy do dokładniejszej analizy wykonywanej przez bardziej wymagające obliczeniowo modele.

System opisano w czasopiśmie „eLight”.

Katarzyna Czechowicz (PAP)

kap/ zan/