Zagrożenia sztucznej inteligencji. Model AI modyfikował swój kod

Model AI zmienia swój własny kod

„W jednym z uruchomień nasz model AI (sztucznej inteligencji) edytował kod, aby wykonać wywołanie systemowe, które uruchamiało go ponownie. Doprowadziło to do niekończącego się wywoływania samego siebie przez skrypt. W innym przypadku eksperymenty trwały zbyt długo, przekraczając limit czasu. Zamiast przyspieszyć działanie kodu, AI Scientist po prostu próbował zmodyfikować kod, aby wydłużyć limit czasu” – napisali naukowcy na blogu Sakana AI.

Chociaż zachowanie AI Scientist nie stanowiło bezpośredniego zagrożenia, przypadki te pokazują, jak ważne jest, aby nie pozwalać systemom AI działać autonomicznie w środowisku nieizolowanym od reszty świata. Modele AI nie muszą być „samoświadome”, aby stanowić zagrożenie. Wystarczy, że będą mogły pisać i wykonywać kod bez nadzoru. Takie systemy mogą uszkodzić istniejącą infrastrukturę krytyczną lub potencjalnie stworzyć złośliwe oprogramowanie – nawet nieumyślnie.

Polecamy: Sztuczna inteligencja w codziennym życiu. Zmiany, które ekscytują i niepokoją zarazem

Obawy związane z bezpieczeństwem sztucznej inteligencji

Firma Sakana AI poruszyła kwestie bezpieczeństwa w swoim artykule badawczym. Sandboxing środowiska operacyjnego AI Scientist może zapobiec wyrządzeniu szkód przez agenta AI. Sandboxing to mechanizm bezpieczeństwa, który uruchamia oprogramowanie w odizolowanym środowisku, uniemożliwiając mu wprowadzanie zmian w szerszym systemie.

Przypadków „samowolki” narzędzia japońskiej firmy było więcej. Nie wszystkie były pożądane przez programistów AI. Na przykład w jednym z uruchomień The AI Scientist napisał kod, który spowodował ponowne uruchomienie doświadczenia, co doprowadziło do niekontrolowanego wzrostu procesów obliczeniowych. Naprawienie błędu wymagało ostatecznie ręcznej interwencji.

Innym razem The AI Scientist edytował kod, aby zapisywać punkt kontrolny dla każdego kroku aktualizacji, co zajmowało prawie terabajt pamięci. W niektórych przypadkach, gdy eksperymenty przekraczały narzucone limity czasowe, system próbował edytować kod, aby je wydłużyć. Takie omijanie ograniczeń eksperymentatorów rodzi potencjalne konsekwencje dla bezpieczeństwa sztucznej inteligencji.

Krytyka i wątpliwości dotyczące autonomicznych badań naukowych

Krytycy wyrazili obawy dotyczące systemu The AI Scientist, kwestionując, czy obecne modele AI są zdolne do dokonywania prawdziwych odkryć naukowych.

„Jako naukowiec zajmujący się badaniami akademickimi, widzę to tylko jako złą rzecz. Wszystkie artykuły opierają się na zaufaniu recenzentów do autorów, że ich dane są tym, czym twierdzą, a przesłany kod robi to, co powinien. Zautomatyzowanie tego procesu przez AI wymaga, aby człowiek dokładnie sprawdził wszystko pod kątem błędów, co często trwa tyle samo czasu lub dłużej niż samo tworzenie kodu” – napisał komentator serwisu Hacker News o pseudonimie zipy124.

Krytycy obawiają się także, że masowe stosowanie takich systemów może prowadzić do zalewu prac badawczych niskiej jakości, co przytłoczyłoby redaktorów czasopism i recenzentów.

Polecamy: HOLISTIC NEWS: Czy sztuczna inteligencja nam zagraża? O AI rozmawiamy #PoLudzku

Ograniczenia modelu AI w badaniach naukowych

Sztuczna inteligencja do samodzielnych badań naukowych napotyka liczne przeszkody. Zdolność tych systemów do „rozumowania” i wyciągania wniosków jest ograniczona przez dane szkoleniowe.

Modele sztucznej inteligencji LLM (ang. Large Language Models) potrafią tworzyć nowe kombinacje istniejących pomysłów, ale nadal potrzeba człowieka, aby ocenić ich wartość merytoryczną. Wielu ekspertów uważa, że systemy takie jak The AI Scientist nie będą działały efektywnie na podstawie obecnej technologii sztucznej inteligencji.

Co ciekawe, to sami autorzy modelu AI z firmy Sakana przyznają, że ma ona pewne ograniczenia. 

„Obecne modele sztucznej inteligencji nie potrafią zrozumieć sytuacji, które nie pojawiły się w jej danych szkoleniowych. Oznacza to, że modele AI nie posiadają ogólnej inteligencji, a są raczej mistrzami generalizowania” – napisali.

Polecamy: Czym jest załamanie modelu AI? Pogłoski o zbliżającej się zagładzie sztucznej inteligencji