Najlepszy agent AI kończy 12% prawdziwych zadań zawodowych. To dużo czy mało?
Wszyscy powtarzają, że AI lada moment zrobi za nas całą robotę. To postaw obok tego jedną liczbę. SemiAnalysis właśnie ruszył z GDPx, czyli testem 206 długich zadań z 11 dziedzin, od projektowania układów i cyberbezpieczeństwa po biologię, finanse i prawo. Jedno zadanie może trwać nawet osiem godzin.
Najlepszy wynik? Claude Opus 5.5 z 12,0%. Gemini 4 Carbon ma 10,9%, GPT-6 Astra 9,6%. Niżej siedzi otwarty model z wynikiem 2,7%. A w finansach i prawie najlepszy agent dostaje zero.
Czyli AI to jednak przereklamowany balon?
Momencik. Ten test zbudowano tak, żeby bolał. Ma pokazać, jak wysoko jest sufit, a nie że AI do niczego się nie nadaje. Niski wynik na bardzo trudnym egzaminie mówi, gdzie naprawdę jest granica, a nie że nic nie działa.
I teraz zwrot, którego nikt się nie spodziewa: filtry bezpieczeństwa kosztują punkty. Opus 5.5 i GPT-6 Astra czasem odmawiają pracy w cyberbezpieczeństwie, biologii i alignmencie. Wyrzuć te trzy dziedziny, a Astra wysuwa się przed Opusa o dziesiątą część punktu.
Tabela robi się wtedy dużo mniej schludna niż nagłówek. Nie ma też jednego zwycięzcy. Opus prowadzi w handlu kwantowym, projektowaniu sprzętu i układów, Gemini jest najlepszy w biologii, a Astra wygrywa w materiałoznawstwie i w samodoskonaleniu się AI.
Uczciwy wniosek jest taki: modele świetnie radzą sobie z kawałkami pracy, a nadal kiepsko z doprowadzeniem długiego zlecenia od początku do końca. Jeśli wybierasz agenta do firmy, pytanie nie brzmi "który jest najlepszy", tylko "najlepszy w czym".