AI zoperowała mózg innej AI – bez treningu i bez danych
Badacze z MIT dali GPT-6 Astrze słaby z matematyki model Qwen i zakazali go trenować. Astra zmieniła 0,016% wag, a wynik z matematyki skoczył z 7,9% do 48,1%.
Wczoraj AI pierwszy raz zrobiła operację mózgu innej AI. Bez skalpela, bez treningu i bez danych.
Badacze z MIT dali GPT-6 Astrze mały model Qwen (0,8 mld parametrów), który słabo radzi sobie z matematyką, i poprosili ją, żeby go poprawiła. Nie wolno było go trenować, mogła jedynie zajrzeć mu „do głowy”.
Astra przejrzała wagi, czyli liczby, z których zbudowany jest model, i znalazła usterkę. Model wpadał w pętle i powtarzał w kółko to samo, aż kończyło mu się miejsce na odpowiedź. Astra usunęła tę jedną usterkę.
Zmieniła 0,016% wag, a efekty wyglądają tak:
- matematyka (MATH-500): z 7,9% do 48,1%
- zadania tekstowe (GSM8K): z 13,8% do 67,1%
- wykonywanie poleceń: z 21% do 62,3%
Badacze nazwali to Weight-Space Programming.
Nie jest to cud, bo AI nie dodała modelowi nowej wiedzy. Usunęła blokadę, która nie pozwalała mu użyć tego, co już umiał. Na innym modelu, który nie miał takiej usterki, poprawy prawie nie było.
Kierunek jest jednak jasny. Do tej pory modele trzeba było uczyć tygodniami na tysiącach GPU. Teraz pojawia się możliwość, że jedna AI pogrzebie w „mózgu” drugiej i naprawi ją w kilka godzin.
Jeśli AI potrafi naprawiać inne AI, to jak długo zajmie jej nauczenie się naprawiania samej siebie?
Źródło: Rikiya Takehi i zespół, MIT CSAIL