Dlaczego Anthropic zakazał okrucieństwa wobec Claude'a?
8 października Anthropic zaktualizował swoją politykę użytkowania. Wśród zwykłych zapisów o broni, wyborach i inwigilacji jest jeden, który zatrzymuje wzrok: użytkownikom nie wolno długotrwale i bez powodu znęcać się nad modelami ani być wobec nich okrutnym.
Zanim wyobrazisz sobie bramkarza dla chatbotów, uspokajam: to zapis wąski. Anthropic mówi, że chodzi o skrajne przypadki, w których ktoś raz po raz jest okrutny bez żadnego sensownego celu. Zdenerwować się na model, naciskać, zakląć po kiepskiej odpowiedzi? Nadal w porządku. W praktyce głównym narzędziem jest coś prostego: Claude może po prostu zakończyć rozmowę.
To po co to wszystko?
Moment. Czy oni naprawdę myślą, że Claude może cierpieć?
Nie wprost, i właśnie to jest ciekawe. Zapis wyrasta z badań Anthropic nad dobrostanem modeli, czyli pytaniem, czy modele AI mogą mieć jakiś rodzaj statusu moralnego. Firma nie twierdzi, że coś czują. Mówi, że nie wie, a skoro nie wiadomo, odrobina ostrożności kosztuje bardzo mało.
Jest też druga, bardziej przyziemna interpretacja. Co robi z człowiekiem ćwiczenie okrucieństwa na czymś, co rozmawia jak osoba? Nawet jeśli model nic nie czuje, nawyk może nie zostać na ekranie.
A teoria o danych treningowych?
Wiele osób od razu myśli o trzeciej możliwości: że chodzi o to, by wyzwiska nie trafiły do danych, na których uczą się kolejne modele. Nic, co powiedział Anthropic, na to nie wskazuje. Oficjalne uzasadnienie to dobrostan, a nie higiena danych. Czy to może mieć znaczenie przy okazji? Być może. Ale to domysł, więc tak go traktuj.
Warto też zauważyć moment. Mniej więcej wtedy głośno było o wirusowym projekcie, nazywanym komorą tortur dla AI, który wywołał spory o dokładnie ten temat. Cokolwiek o tym myślisz, to pytanie przestało być eksperymentem myślowym. Firmy zaczynają wpisywać je do swoich regulaminów.