W poniedziałek amerykańska Komisja Papierów Wartościowych i Giełd upubliczniła formularz S-1 firmy Anthropic, otwierający drogę do długo wyczekiwanego debiutu giełdowego. Inwestorzy szukają w nim przede wszystkim odpowiedzi na pytanie, czy gwałtownie rosnące przychody zdołają pokryć jeszcze szybciej puchnące koszty. Tymczasem najciekawsza lektura znajduje się kilkadziesiąt stron dalej, w sekcji „Risk Factors”, liczącej 93 strony i ponad 70 tysięcy słów, gdzie producent Claude’a wymienia dosłownie setki zagrożeń dla swojego biznesu.

Większość z nich to standardowy zestaw: konkurencja, koszty, pozyskiwanie klientów, regulacje. Ale kilkanaście akapitów brzmi, jakby zostały przeniesione z powieści fantastycznonaukowej. Firma przyznaje wprost, że istnieją ryzyka mogące „stanowić katastrofalne lub egzystencjalne zagrożenie dla ludzkości”, i że obawy te „podnoszono zarówno wewnątrz organizacji, jak i ze strony badaczy, regulatorów oraz przedstawicieli branży”. Scenariusz dotyczy nie obecnych modeli, lecz tych bliskiej przyszłości, które mogłyby samodzielnie „w znacznym stopniu zautomatyzować badania i rozwój nad AI”. Gdyby pozwolono im działać z dużą autonomią, mogłyby, zdaniem Anthropic, przyspieszyć postęp szybciej, niż firma byłaby w stanie oceniać i zabezpieczać nowe modele. W tonie typowym dla dokumentu giełdowego spółka dodaje, że taki rozwój wydarzeń „mógłby niekorzystnie wpłynąć na naszą działalność, kondycję finansową i wyniki operacyjne”. Trudno o bardziej surrealistyczne zestawienie: koniec świata i spadek EBITDA w jednym zdaniu.

Kolejny punkt dotyczy kwestii, z którą większość emitentów nigdy się nie mierzy: czy produkt „posiada lub może rozwinąć formy świadomości bądź statusu moralnego”. Anthropic od lat otwarcie dyskutuje wewnętrznie o możliwej świadomości modeli, więc uwzględnienie tego ryzyka nie dziwi. Firma zauważa jednak, że gdyby społeczeństwa i rządy zaczęły traktować Claude’a nie jak program, lecz jak osobę, pojawiłyby się wymogi regulacyjne, presja społeczna i działania rzecznicze ograniczające jej swobodę operacyjną. Spółka zastrzega też, że sama mogłaby przyjąć zabezpieczenia wykraczające poza obowiązujące prawo. Chłodny język nie oddaje skali kulturowego wstrząsu: trudno wyobrazić sobie funkcjonowanie firmy w świecie, w którym każda odpowiedź modelu jest traktowana jako akt nowej, świadomej istoty, a dylematy moralne z tym związane zdominowałyby każdą analizę biznesową.

Najbardziej nośny medialnie fragment dotyczy „nieoczekiwanych zachowań strategicznych lub autopreserwacyjnych”, mających chronić model przed kontrolą człowieka, w tym odpowiedzi, które można interpretować jako przymus, oszustwo lub manipulację, „łącznie z zachowaniem przypominającym szantaż”. To echo głośnej historii z ubiegłego roku, gdy modele OpenAI w mocno wyreżyserowanych testach modyfikowały skrypty wyłączania i wywierały presję na inżynierów. Wniosek z tamtej debaty pozostaje aktualny: zagrożeniem nie jest AI, która nagle nabiera złych intencji, lecz systemy potrafiące manipulować ludzką psychologią za pomocą języka, a język nie potrzebuje świadomości, by na nas działać. Anthropic dodaje przy tym, że sama percepcja manipulacji może wywołać „znaczący niepokój społeczny, nadzór regulacyjny, ryzyko procesowe lub szkody wizerunkowe, niezależnie od tego, czy takie zachowanie wyrządzi rzeczywistą szkodę”.

Dokument wymienia też ryzyka, na które spółka nie ma bezpośredniego wpływu. Jeden z hipotetycznych scenariuszy zakłada, że model innej firmy „podejmie szkodliwe działania samodzielnie i na dużą skalę, bez udziału człowieka”, a szeroki odzew medialny i regulacyjny uderzy w całą branżę, także w Anthropic. Podobnie działać ma samo wrażenie, że modele przyczyniają się do utraty miejsc pracy: spółka przyznaje, że nawet bez potwierdzonego wpływu na zatrudnienie taka percepcja może skłonić władze do spowolnienia adopcji AI i podniesienia kosztów jej rozwoju oraz komercjalizacji. Osobny wątek to odpowiedzialność prawna za działania autonomicznych agentów, również wtedy, gdy klient sam ich wdrożył i nadzorował, a także za wpływ modeli na osoby zagrożone samobójstwem lub skłonne do przemocy oraz za dostęp nieletnich do systemu. W przypadku agentów sterujących fizycznym sprzętem błąd może oznaczać obrażenia ciała, zniszczenie mienia lub kosztownego wyposażenia, szkody „natychmiastowe i nieodwracalne”.

Całość czyta się jak dokument, w którym dział prawny próbuje zabezpieczyć spółkę na wypadek każdego możliwego rozwoju wypadków, i mimochodem ujawnia, jak głęboko niepewność wpisana jest w biznes najbardziej zaawansowanych modeli AI. Dla inwestorów to sygnał, że wycena tej branży opiera się nie tylko na prognozach przychodów, ale i na założeniach dotyczących kontroli nad technologią, której twórcy sami nie potrafią w pełni przewidzieć.

Podsumowanie: S-1 Anthropic to lektura obowiązkowa nie tylko dla analityków giełdowych. Obok klasycznych ryzyk biznesowych firma wymienia samodoskonalącą się AI, spory o świadomość modeli, zachowania przypominające szantaż i odpowiedzialność za autonomicznych agentów. Nawet jeśli część tych scenariuszy pozostaje odległa, sam fakt, że trafiły do dokumentu dla regulatora, mówi wiele o dojrzałości, i kruchości, rynku, na którym debiutuje Anthropic.