Czy tanie, otwarte modele jak GLM są już wystarczające do kodowania?
Że chińskie modele otwarte są tańsze, wiemy od zawsze. Prawdziwe pytanie jest takie, które kłuje: czy są już na tyle dobre, że nie trzeba gonić za najnowszym i najdroższym modelem?
Prawdziwy przykład. Duża firma fintechowa przeniosła 2000 inżynierów z płatnych API na własny otwarty model, uruchomiony na 56 najmocniejszych kartach graficznych, i obcięła rachunek za AI do kodowania o około 90%, do mniej więcej 30 centów za milion tokenów. Brzmi jak zwycięstwo. Ale wymagało to mocnego strojenia, zadania z obrazami nadal idą do modelu innego dostawcy, a modele komercyjne firma i tak zostawiła na trudniejsze sprawy.
No to jak, luka jest zamknięta czy nie?
To zależy, co mierzysz. Na ogólnym teście z inżynierii oprogramowania jeden z otwartych modeli dostał 66,9, a topowy zamknięty 68,8. Różnica na włos. Na długich, trudnych zadaniach w terminalu było 28,3 do 42,7, czyli przepaść. Do tych liczb trzeba podejść z dystansem, bo wiele pochodzi od twórców modeli albo z serwisów zbierających wyniki.
Starsze testy są też już tak wysycone, że wszyscy mają wyniki w okolicach połowy dziewięćdziesiątych, co niewiele mówi o długim dniu prawdziwej pracy.
Co robią sprytne zespoły?
Kierują zapytania. Tani model jako domyślny, a drogi, topowy dopiero wtedy, gdy zadanie jest naprawdę trudne. I jeszcze jedna pułapka: cena za token to nie rachunek. W jednym teście model z niższym cennikiem wyszedł drożej od konkurenta, bo zużył ponad trzy razy więcej tokenów wejściowych.
Więc tak, do codziennego kodowania tanie modele są już wystarczające. A przy najtrudniejszych, najdłuższych zadaniach topowy model nadal broni swojej ceny.