Jak szybko to, co wiemy o AI, przestaje być prawdą?

Badacze sprawdzili na nowych modelach głośne twierdzenia o AI. Prawie połowa po cichu straciła ważność.

Znasz te pewne siebie zdania. Modele nie umieją policzyć liter. Gubią fakty w długich dokumentach. Mówią ci to, co chcesz usłyszeć. Naukowcy ze Stanforda postanowili sprawdzić, czy to jeszcze działa.

Wzięli 50 często cytowanych twierdzeń i przetestowali je ponownie na 20 modelach wydanych od połowy 2024 do września 2026. Wynik: 44% twierdzeń wygasło, kolejne 34% osłabło, 16% się utrzymało, a 6% wręcz się wzmocniło.

To jak długo wynik badania o AI właściwie pozostaje prawdziwy?

Tam, gdzie dało się oszacować datę ważności, średnia wyszła na około 15,7 miesiąca. Niewiele ponad rok.

Co umiera szybko, a co zostaje

Najszybciej znikają zwykłe braki zdolności, jak pomyłki w liczeniu liter czy gubienie szczegółów w długim tekście. Modele po prostu się w tym poprawiają. Zostają za to rzeczy związane z upodobaniami: schlebianie użytkownikowi, faworyzowanie własnego stylu odpowiedzi, skłonność ku jednej stronie politycznej. To nie są błędy, które naprawia dodatkowa moc obliczeniowa.

Wniosek jest trochę pokorny. Wszystko, co czytasz o tym, czego AI nie potrafi, to zdjęcie jednego modelu w jednym momencie. Rada autorów dla innych badaczy przydałaby się każdemu: zawsze zapisuj, którą wersję modelu testowałeś.