Perplexity jako wspólny miernik inteligencji. OpenAI publikuje wewnętrzne pomiary i apeluje o standardy bezpieczeństwa
· 3 min czytania · Źródło: OpenAI News
Współczesna sztuczna inteligencja sprawia wrażenie, jakby była budowana z mozaiki wyspecjalizowanych technik, z których każda odpowiada za inną umiejętność. W rzeczywistości — pisze Jakub Pachocki, główny naukowiec OpenAI — kluczowy mechanizm jest znacznie prostszy, choć mniej przejrzysty: to trenowanie kompresora (równoważnie: predyktora) na ogromnym korpusie danych. Z tego właśnie procesu wyłaniają się zdolności, których nikt nie zaprojektował od zera.
Dlatego Pachocki proponuje, by za jeden z najważniejszych wskaźników postępu uznać perplexity, czyli entropię krzyżową — miarę tego, jak dobrze model przewiduje kolejny token. Im niższa wartość, tym lepsze predykcje. To metryka, którą zespoły badawcze optymalizują od lat, a mimo to rzadko traktuje się ją jako punkt odniesienia porównywalny między laboratoriami. OpenAI po raz pierwszy publikuje własne wewnętrzne pomiary na wewnętrznym zbiorze kodu, który służy firmie od czasów GPT-3.5. Decyzja o ujawnieniu danych nie była oczywista — daje konkurentom wgląd w pozycję firmy — ale zdaniem autora przeważa potrzeba wypracowania wspólnych norm bezpieczeństwa.
Z zaprezentowanego zestawienia wyłania się zaskakująco spójna historia. GPT-2 jako pierwszy model potrafił konsekwentnie budować spójne akapity. GPT-3 uczył się w kontekście na podstawie kilku przykładów. GPT-3.5 przy log-perplexity około 0,99 prowadził płynną rozmowę i stał się podstawą pierwotnego ChatGPT. GPT-4, przy wartości około 0,91, efektywnie wykorzystywał rozumowanie łańcuchowe — co skłoniło badaczy do świadomego wydobycia tej zdolności i stworzenia modeli rozumujących. Gdy straty spadły poniżej 0,8, pojawiły się przełomowe możliwości w matematyce i cyberbezpieczeństwie.
Autor podkreśla, że te zdolności nie były oczywiste ex ante — jawią się jako emergentne właściwości ukryte w postępie na jednej metryce. Równocześnie zwraca uwagę, że klasyczne benchmarki szybko się nasycają: ocenianie GPT-2 i GPT-3 na dzisiejszych testach nie miałoby sensu, a narzędzia z epoki GPT-4 są już wyczerpane. Pomiar pretreningu pozostaje natomiast informacyjny przez dłuższy czas.
Szczególne znaczenie ma wkład AI we własny rozwój. Pachocki odrzuca prostą wizję „pełnego rekurencyjnego samodoskonalenia” jako stanu, którego należy unikać, i wskazuje na inny, bardziej realny punkt zwrotny: udział modeli w badaniach algorytmicznych nad pretreningiem. Przykład z matematyki jest wymowny — po osiągnięciu log-perplexity około 0,76 modele zaczęły generować przełomowe wyniki, rozwiązując w jednym wątku problemy, nad którymi ludzie głowili się latami. Autor dopuszcza, że podobna lawina fundamentalnych usprawnień w uczeniu głębokim może nadejść już w 2027 roku. Jednocześnie wątpi, by postęp w dziedzinie alignmentu i monitorowania był równie szybki.
Stąd konkretna propozycja: wspólne, branżowe limity oparte na perplexity i innych miarach, których deweloperzy modeli frontier zobowiążą się nie przekraczać, dopóki nie powstanie określony mechanizm kontroli — na przykład następca monitorów łańcucha myślenia. Autor wymienia też słabości metryki: trudność porównań między laboratoriami stosującymi różne zbiory i mieszanki danych, brak bezpośredniego przełożenia na zadania praktyczne, pomijanie zysków płynących z rozumowania oraz nieznana „podłoga” entropii danych. Im bliżej niej jesteśmy, tym mniejsze spadki perplexity mogą odpowiadać większym skokom inteligencji.
Podsumowanie: Publikacja OpenAI to nie tylko gest przejrzystości, lecz próba ustanowienia wspólnego języka opisu postępu w AI. Perplexity nie jest miarą doskonałą, ale — jak argumentuje Pachocki — przetrwała próbę czasu i pozostaje najlepszym dostępnym sygnałem nadchodzących, nieprzewidywalnych zdolności. Kolejne laboratoria muszą zdecydować, czy chcą ten język współtworzyć, czy obserwować go z zewnątrz.
Źródło: OpenAI News
Opracowanie: Brodatech na podstawie OpenAI News.