Łamigłówki liczbowe to rozrywka znana od tysiącleci – pierwsze pojawiły się w starożytnych Chinach, w gazetach zaczęto je publikować pod koniec XIX w. Ok. 20 lat temu światową popularność zdobyło sudoku, łamigłówka po raz pierwszy wydrukowana w 1986 r. w japońskim czasopiśmie „Nicoli”. Dziś na świecie ta gra ma miliony miłośników, tylko różne wersje aplikacji na urządzenia mobilne pobrało ok. 200 mln użytkowników.

Sudoku polega na wypełnieniu cyframi pustych pól kwadratowej planszy 9x9. Każdy wiersz, kolumna i kwadrat 3x3 (tzw. blok liczbowy), na które jest podzielona plansza, muszą zawierać po jednej cyfrze od 1 do 9, cyfry nie mogą się w nich powtarzać. Matematycy z Uniwersytetu w Sheffield (Wielka Brytania) udowodnili w 2005 r., że wszystkich możliwych poprawnych plansz sudoku jest ok. 6 tryliardów (6 x 10 do 21 potęgi). Istnieją też inne wersje tej gry – na przykład planszę 6x6 trzeba wypełnić cyframi od 1 do 6.

Teraz okazało się, że sudoku stanowi wyzwanie dla sztucznej inteligencji. Chociaż AI robi ogromne postępy m.in. w analizie dużych zbiorów danych, generowaniu tekstów, obrazów i filmów albo tłumaczeniach, zadania logiczne to jej słaby punkt. Potwierdzili to naukowcy z Uniwersytetu Kolorado w Boulder (USA), których artykuł na ten temat ukazał się w „Antologii ACL” – zbiorze ponad 110 tys. prac zgromadzonych przez Stowarzyszenie Lingwistyki Komputerowej (Association for Computational Linguistics, ACL).

Jak powiedział główny autor pracy, ekspert w dziedzinie informatyki i uczenia maszynowego Anirudh Maiya, rozwiązywanie sudoku ma kilka ważnych elementów. – Trzeba postępować krok po kroku, ciągle na nowo oceniać pola liczbowe i konsekwentnie przestrzegać zasad. Łamigłówki tego typu to dobra zabawa, ale stanowią też idealny mikrokosmos do badania procesu podejmowania decyzji w uczeniu maszynowym – wyjaśnił ekspert.

W ramach badania Maiya i jego zespół stworzyli 2300 sudoku o różnym stopniu trudności w siatce 6x6 pól. Ich rozwiązanie naukowcy zlecili kilku dużym modelom językowym (LLM), m.in. o1, Llama-3.1, Gemma-2 i Mistral.

Eksperyment wykazał, że dla wszystkich modeli AI polecenie było zbyt trudne – w sumie udało im się rozwiązać 0,4 proc. plansz. Badacze przypisują to faktowi, że sztuczna inteligencja nie myśli logicznie, ale określa rozwiązania na podstawie prawdopodobieństwa. Dlatego zadania oparte na regułach i rozumowaniu sprawiają jej trudności. – Modele sztucznej inteligencji mają problemy z braniem pod uwagę jednocześnie wszystkich ograniczających czynników w siatce liczbowej – wyjaśnili autorzy pracy.

Najlepiej wśród badanych LLM wypadł o1, który rozwiązał ok. 65 proc. plansz sudoku. Jednak wraz ze wzrostem stopnia trudności łamigłówek również jego wskaźnik skuteczności spadał.

Jeszcze więcej problemów pojawiło się, gdy naukowcy kazali AI wyjaśnić, jak doszła do rozwiązania łamigłówki. Wszystkie badane modele tylko w 5 proc. przypadków potrafiły poprawnie uzasadnić wpisanie konkretnych liczb. Często odpowiedzi były błędne lub niejasne. – Na przykład AI stwierdziła: tutaj nie może być dwójki, ponieważ w tym wierszu już jest dwójka, co nie było prawdą – opowiadał współautor badania dr Ashutosh Trivedi.

Dodał, że w niektórych sytuacjach sztuczna inteligencja ignorowała kombinacje liczb na planszy albo wymyślała absurdalne uzasadnienia. W jednym z takich przypadków w trakcie rozmowy na temat sudoku jeden z modeli nagle podał prognozę pogody. – AI była całkowicie zdezorientowana i zareagowała w dziwaczny sposób – ocenił dr Trivedi.

Zdaniem autorów wyniki badania pokazują, że mimo imponujących osiągnięć sztucznej inteligencji nie można na niej w pełni polegać, zwłaszcza w zadaniach wymagających precyzyjnego rozumowania. – Wiele osób mówi o nowych umiejętnościach modeli AI, których nie można by się po nich spodziewać. Jednak jednocześnie nie jest zaskakujące, że w wielu zadaniach nadal radzi sobie słabo – podsumował Anirudh Maiya.