Gdy laboratoria AI coraz chętniej zamiast regulacji proponują wynajęcie „neutralnych” obserwatorów z zewnątrz, pojawia się pytanie, czy ktoś taki naprawdę jest w stanie cokolwiek zagwarantować. Irene Solaiman, dyrektorka ds. polityki w Hugging Face, studzi entuzjazm: sama idea wbudowanych ewaluatorów nie zastąpi dojrzałej, powtarzalnej metodyki testów. Mówiła o tym podczas panelu na TechCrunch Disrupt.

Fundamentem jest odtwarzalność. Solaiman zwraca uwagę, że zaufanie do wyniku testu zaczyna się od możliwości powtórzenia go przez kogoś innego, a to wymaga realnego dostępu do samego modelu — i tu kluczową rolę odgrywają otwarte wagi. Bez tego niezależny audyt zamienia się w wiarę w raport, którego nikt nie potrafi zweryfikować. Problem nie jest nowy, ale wciąż pozostaje jednym z najbardziej zapalnych punktów debaty o benchmarkach.

Drugi kłopot to porównywalność. Testy są, jak to ujęła Solaiman, „ewoluującą nauką” — brakuje wspólnych ram, które pozwoliłyby zestawiać ze sobą różne ewaluacje. Wyniki szybko tracą aktualność, a ekosystem narzędzi nie jest wystarczająco rozwinięty, by nadążyć za potrzebami rynku. Innymi słowy: popyt na wbudowanych ewaluatorów rośnie, ale standardy określające, kto jest dobrym ewaluatorem i w jakich zadaniach, wciąż są szczątkowe.

W tle jest presja po serii incydentów bezpieczeństwa, które podkopały zaufanie do laboratoriów — jednym z głośniejszych przypadków był atak na samo Hugging Face. Zamiast twardych regulacji firmy wolą więc outsourcing nadzoru, co budzi wątpliwości co do faktycznej niezależności takich podmiotów. Decyzja Anthropic o powierzeniu roli pierwszego wbudowanego ewaluatora firmie Accenture spotkała się z ostrą krytyką — komentatorzy wątpili, czy konsultingowy gigant ma kompetencje do oceny ryzyk modeli.

Ewaluacja przestaje też dotyczyć wyłącznie modelu. Coraz częściej ocenia się cały system — wraz z narzędziem, przez które użytkownik sięga po model, czyli harnessem, oraz z agentem. Solaiman podkreśla, że harness ma ogromny wpływ na wyniki: słabszy model z lepszym oprzyrządowaniem może bez trudu przegonić model z czołówki. A testy agentowe są wyjątkowo trudne i kosztowne — ewaluacji harnessów i całych agentów jest znacznie mniej niż tych dla samych modeli, choć to właśnie one odpowiadają za realną wartość, jaką użytkownicy czerpią z AI.

Wniosek jest niewygodny dla branży: przestrzeń ewaluacji przypomina dziś raczej wolnoamerykę niż rynek zaufanych certyfikatów. Jeśli benchmarki mają pozostać argumentem w rękach liderów sektora i decydentów, potrzebne jest wspólne, branżowe podejście — takie, w którym wszyscy grają według tych samych zasad. Bez tego wbudowany ewaluator będzie raczej elementem wizerunkowej układanki niż realnym mechanizmem bezpieczeństwa.

Podsumowanie: Wbudowani ewaluatorzy mogą stać się użytecznym uzupełnieniem nadzoru nad AI, ale nie zastąpią standardów. Kluczowe warunki to odtwarzalność wyników, dostęp do modeli i spójne metody oceny całych systemów — modeli, harnessów i agentów.