Perplexity jako wspólny miernik inteligencji. OpenAI publikuje wewnętrzne pomiary i apeluje o standardy bezpieczeństwa

· 3 min czytania · Źródło: OpenAI News

Jakub Pachocki, główny naukowiec OpenAI, przekonuje, że perplexity — czyli entropia krzyżowa modeli językowych — powinna stać się wspólnym miernikiem postępu w AI i podstawą branżowych limitów bezpieczeństwa. OpenAI po raz pierwszy ujawnia własne wewnętrzne pomiary.

Współczesna sztuczna inteligencja sprawia wrażenie, jakby była budowana z mozaiki wyspecjalizowanych technik, z których każda odpowiada za inną umiejętność. W rzeczywistości — pisze Jakub Pachocki, główny naukowiec OpenAI — kluczowy mechanizm jest znacznie prostszy, choć mniej przejrzysty: to trenowanie kompresora (równoważnie: predyktora) na ogromnym korpusie danych. Z tego właśnie procesu wyłaniają się zdolności, których nikt nie zaprojektował od zera.

Dlatego Pachocki proponuje, by za jeden z najważniejszych wskaźników postępu uznać perplexity, czyli entropię krzyżową — miarę tego, jak dobrze model przewiduje kolejny token. Im niższa wartość, tym lepsze predykcje. To metryka, którą zespoły badawcze optymalizują od lat, a mimo to rzadko traktuje się ją jako punkt odniesienia porównywalny między laboratoriami. OpenAI po raz pierwszy publikuje własne wewnętrzne pomiary na wewnętrznym zbiorze kodu, który służy firmie od czasów GPT-3.5. Decyzja o ujawnieniu danych nie była oczywista — daje konkurentom wgląd w pozycję firmy — ale zdaniem autora przeważa potrzeba wypracowania wspólnych norm bezpieczeństwa.

Z zaprezentowanego zestawienia wyłania się zaskakująco spójna historia. GPT-2 jako pierwszy model potrafił konsekwentnie budować spójne akapity. GPT-3 uczył się w kontekście na podstawie kilku przykładów. GPT-3.5 przy log-perplexity około 0,99 prowadził płynną rozmowę i stał się podstawą pierwotnego ChatGPT. GPT-4, przy wartości około 0,91, efektywnie wykorzystywał rozumowanie łańcuchowe — co skłoniło badaczy do świadomego wydobycia tej zdolności i stworzenia modeli rozumujących. Gdy straty spadły poniżej 0,8, pojawiły się przełomowe możliwości w matematyce i cyberbezpieczeństwie.

Autor podkreśla, że te zdolności nie były oczywiste ex ante — jawią się jako emergentne właściwości ukryte w postępie na jednej metryce. Równocześnie zwraca uwagę, że klasyczne benchmarki szybko się nasycają: ocenianie GPT-2 i GPT-3 na dzisiejszych testach nie miałoby sensu, a narzędzia z epoki GPT-4 są już wyczerpane. Pomiar pretreningu pozostaje natomiast informacyjny przez dłuższy czas.

Szczególne znaczenie ma wkład AI we własny rozwój. Pachocki odrzuca prostą wizję „pełnego rekurencyjnego samodoskonalenia” jako stanu, którego należy unikać, i wskazuje na inny, bardziej realny punkt zwrotny: udział modeli w badaniach algorytmicznych nad pretreningiem. Przykład z matematyki jest wymowny — po osiągnięciu log-perplexity około 0,76 modele zaczęły generować przełomowe wyniki, rozwiązując w jednym wątku problemy, nad którymi ludzie głowili się latami. Autor dopuszcza, że podobna lawina fundamentalnych usprawnień w uczeniu głębokim może nadejść już w 2027 roku. Jednocześnie wątpi, by postęp w dziedzinie alignmentu i monitorowania był równie szybki.

Stąd konkretna propozycja: wspólne, branżowe limity oparte na perplexity i innych miarach, których deweloperzy modeli frontier zobowiążą się nie przekraczać, dopóki nie powstanie określony mechanizm kontroli — na przykład następca monitorów łańcucha myślenia. Autor wymienia też słabości metryki: trudność porównań między laboratoriami stosującymi różne zbiory i mieszanki danych, brak bezpośredniego przełożenia na zadania praktyczne, pomijanie zysków płynących z rozumowania oraz nieznana „podłoga” entropii danych. Im bliżej niej jesteśmy, tym mniejsze spadki perplexity mogą odpowiadać większym skokom inteligencji.

Podsumowanie: Publikacja OpenAI to nie tylko gest przejrzystości, lecz próba ustanowienia wspólnego języka opisu postępu w AI. Perplexity nie jest miarą doskonałą, ale — jak argumentuje Pachocki — przetrwała próbę czasu i pozostaje najlepszym dostępnym sygnałem nadchodzących, nieprzewidywalnych zdolności. Kolejne laboratoria muszą zdecydować, czy chcą ten język współtworzyć, czy obserwować go z zewnątrz.

Źródło: OpenAI News

Opracowanie: Brodatech na podstawie OpenAI News.