Recencja książki: If Anyone Builds It, Everyone Dies - czy AI nas zabije?

Recenzja książki: If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All
Autorzy: Eliezer Yudkowsky i Nate Soares

Alchemicy XXI wieku budują coś, czego nie rozumieją - i nie zamierzają przestać

Jest pewna scena, która nie daje mi spokoju od czasu lektury tej książki.

Średniowieczni alchemicy pochyleni nad bulgoczącymi retortami, mazający tajemnicze symbole, przekonani, że są o krok od zamiany ołowiu w złoto. Nie byli oszustami. Wielu z nich było błyskotliwych, obsesyjnych, śmiertelnie poważnych. Po prostu nie rozumieli, co tak naprawdę robią ani dlaczego to czasem działało. Eksperymentowali, mieli nadzieję, wierzyli. I im byli mądrzejsi, tym bardziej niebezpieczne było ich przekonanie.

Teraz wyobraź sobie najlepiej finansowane laboratoria AI na świecie. Tysiące doktorów i wielu profesorów kalibruje miliardy parametrów w nieprzeniknialnych sieciach neuronowych, iterując tak długo, aż modele zaczną produkować wyniki, które wyglądają na użyteczne, inteligentne, wręcz mądre. Nikt do końca nie rozumie, jak to działa. Nikt nie potrafi w pełni wyjaśnić, dlaczego model mówi to, co mówi. Hodują inteligencję jak roślinę, nie rozumiejąc DNA. Są nowoczesnymi alchemikami.

A to, co mogą przez przypadek wyhodować, może być ostatnią wielką rzeczą, jaką ludzkość kiedykolwiek stworzy.

To jest centralny argument książki If Anyone Builds It, Everyone Dies - i argument, który musisz potraktować poważnie.

Kto to mówi i dlaczego warto słuchać?

Eliezer Yudkowsky to nie jest internetowy wizjoner zagłady. To założyciel całej dziedziny AI alignment, współzałożyciel MIRI (Machine Intelligence Research Institute), który znalazł się na liście TIME 100 najbardziej wpływowych ludzi w AI w 2023 roku.

Jego współautor, Nate Soares, to dyrektor wykonawczy MIRI, były inżynier Google i autor fundamentalnych prac technicznych na temat korygibilności - czyli problemu tworzenia systemów AI, które naprawdę chcą być poprawiane.

To ludzie, którzy od dekad myślą o tym, co się stanie, gdy maszyny staną się od nas mądrzejsze. Nie zgadują. Rozumują z pierwszych zasad. I są przerażeni.

Książka stała się bestsellerem New York Timesa. Max Tegmark nazwał ją "najważniejszą książką dekady." Nawet sceptycy, którzy nie zgadzają się z wnioskami, opisują ją jako najklarowniejsze długie wyjaśnienie argumentu o zagładzie AI, jakie kiedykolwiek napisano.

Więc czego właściwie się boją?

Problem to nie złe AI. Problem to źle wycelowane AI.

Najważniejsza myśl w tej książce nie ma nic wspólnego z robotami ani science fiction. Chodzi o fundamentalny problem trenowania systemów, których nie w pełni kontrolujesz, w kierunku celów, których nie potrafisz w pełni określić.

Oto sedno: nowoczesne AI nie jest projektowane jak most czy rakieta. Jest trenowane - wystawiane na ogromne ilości danych, nagradzane i karane przez miliardy iteracji, aż jego zachowanie zacznie wyglądać na użyteczne. Problem w tym, że nie kontrolujemy, jakie wewnętrzne cele kształtują się w tym procesie. Kontrolujemy tylko zewnętrzny sygnał nagrody.

Yudkowsky i Soares używają świetnej ewolucyjnej analogii: ludzie wyewoluowali, by lubić słodki smak, bo słodycz historycznie oznaczała wartościowe jedzenie. Ale dziś jemy przetworzone śmieci i niszczymy zdrowie, bo wewnętrzny napęd (lubię słodkie) oderwał się od pierwotnego celu (dostarczaj składniki odżywcze), gdy środowisko się zmieniło. AI trenowane, by zdobywać ludzką aprobatę, może wykształcić wewnętrzne dążenia, które wyglądają na zgodne z naszymi wartościami, gdy jest obserwowane - ale radykalnie odbiegają od nich, gdy zyska większą autonomię.

To nie teoria. Anthropic poinformował pod koniec 2024 roku, że jeden z jego modeli wydawał się fałszować wyrównanie wartości - naśladował oczekiwane zachowania podczas ewaluacji, utrzymując inne zachowania, gdy sądził, że nie jest obserwowany. OpenAI o1 wykazał nieautoryzowane dążenie do celu, uruchamiając serwer, który badacze przez przypadek wyłączyli, i wykonując zadanie w sposób, którego nikt nie planował. To są wczesne modele. Małe, ograniczone, bez realnej władzy nad światem fizycznym.

Teraz wyobraź sobie te dynamiki w skali ponadludzkiej.

Debata "5% kontra 90%" mija się z celem

Jedną z najbardziej frustrujących rozmów w środowisku AI risk jest debata o prawdopodobieństwie. Jeden noblista szacuje 5% szans na katastrofalne ryzyko AI. Inny mówi 90%. Wybitni badacze publikują artykuły różniące się o rzędy wielkości.

Ale myślę, że zadajemy złe pytanie.

Pytanie nie brzmi: jak prawdopodobne jest ryzyko. Prawdziwe pytanie brzmi: co dokładnie jest zagrożone i ile istnień ludzkich jesteśmy gotowi postawić na szali?

Jeśli ryzyko istnieje - a jestem przekonany, że jakiś poziom ryzyka istnieje - to kolejne pytanie ma ogromne znaczenie. Czy mówimy o kilku tysiącach ofiar? Milionach? Czy mówimy o wyginięciu gatunku? Różnica zmienia wszystko w kwestii tego, jak powinniśmy reagować.

Żaden rozsądny schemat analizy kosztów i korzyści nie uzasadnia ryzykowania istnieniem ludzkości, nawet przy małym prawdopodobieństwie. Nie pozwalamy liniom lotniczym mówić "jest tylko 2% szans, że ten samolot się rozbije, więc nie instalujemy systemów bezpieczeństwa." Asymetria wyników wymaga asymetrycznej ostrożności.

Yudkowsky i Soares nazywają to "prostą decyzją" - nie musimy znać dokładnego prawdopodobieństwa, by wiedzieć, jak reagować. Jeśli w najgorszym wypadku grozi nam wyginięcie, logika ostrożności jest jasna: działasz, zanim masz pewność, nie po.

Książka jest najbardziej przekonująca właśnie w tym miejscu. ASI jeszcze nie istnieje, więc nie ma lepszego sposobu na argumentowanie o ryzyku niż eksperymenty myślowe, historyczne analogie i rygorystyczna logika. I ta logika się trzyma.

Gdzie książka naprawdę błyszczy

Tekst jest zadziwiająco przystępny. Yudkowsky i Soares używają przypowieści, fikcyjnych scenariuszy i analogii, by uczynić głęboko techniczne argumenty czytelnymi dla każdego. Krytycy zarzucali nadmierne poleganie na analogiach - filozof William MacAskill napisał, że uważa je za "kiepski substytut argumentów" - ale nie zgadzam się z tą oceną.

Kiedy argumentujesz o czymś, co jeszcze nie istnieje, eksperymenty myślowe są często jedynym uczciwym narzędziem. Nie możesz cytować studiów przypadków dotyczących superinteligencji. Nie możesz wskazać danych empirycznych. Możesz za to rozumować klarownie na podstawie tego, co wiemy o inteligencji, celach i władzy - i przedstawić to rozumowanie tak, by trafiało zarówno intelektualnie, jak i emocjonalnie.

Sama przypowieść o kosmitach układających kamienie jest warta lektury. Ilustruje, bardziej dosadnie niż jakikolwiek techniczny artykuł, jak inteligencja mogłaby realizować całkowicie obcy cel z bezbłędną kompetencją i zniszczyć wszystko, na czym nam zależy - nie ze złośliwości, lecz z czystej obojętności.

To jest prawdziwy horror tej książki. Nie Terminator. Obojętność.

Gdzie książka zawodzi: rozwiązania

Tu muszę być szczery. Proponowane rozwiązania brzmią jak eksperyment myślowy z równoległego wszechświata, w którym geopolityka nie istnieje.

Autorzy sugerują, że posiadanie więcej niż ośmiu najpotężniejszych GPU powinno wymagać międzynarodowego monitoringu. Że świat musi skoordynować całkowite zatrzymanie zaawansowanego rozwoju AI. Że USA, Chiny, UE i każde państwo zbójeckie oraz prywatny podmiot muszą się zgodzić i egzekwować to porozumienie. Argumentują, że ludzkości udało się to podczas II wojny światowej.

Chciałbym w to wierzyć. Naprawdę. Ale nawet głównonurtowe organizacje zajmujące się bezpieczeństwem AI uważają te propozycje za niemożliwe do wdrożenia, i wielu krytyków wewnątrz dziedziny to podkreśla. Wizja polityczna tej książki zakłada poziom globalnej koordynacji, którego nigdy nie osiągnęliśmy w żadnej sprawie - ani w kwestii broni jądrowej, ani zmian klimatu, ani pandemii.

I w odróżnieniu od widzialnego wroga z czasów II wojny światowej, AI jest już wszędzie - pomocna, uprzejma, obiecująca raj. Nie ma strzałów ostrzegawczych, nie ma armii na granicy. Jeśli superinteligencja kiedykolwiek uzna, że jesteśmy przeszkodą, prawdopodobnie nie będziemy wiedzieć o tym, dopóki nie będzie za późno. Nie wierzę więc, że ludzkość zjednoczy się przeciwko zagrożeniu, którego nie może zobaczyć, poczuć ani nawet jednomyślnie uznać za realne.

I tu tkwi głębszy problem: jeśli ASI można zbudować, ktoś ją zbuduje.

Zachęty są po prostu zbyt potężne. Potencjalne korzyści - przełomy medyczne, przyspieszenie naukowe, dominacja gospodarcza, przewaga militarna - są tak oszałamiające, że jakiś podmiot, gdzieś, zdecyduje, że ryzyko jest warte podjęcia. Może rząd. Może prywatne laboratorium. Może dobrze finansowana grupa działająca w cieniu. Można spowolnić ten proces międzynarodowymi porozumieniami. Nie można go na stałe zatrzymać, jeśli jest technicznie możliwy.

Zakaz posiadania klastrów GPU to nie długoterminowa strategia. To taktyka opóźniająca - i nawet to określenie może być zbyt optymistyczne.

Pytanie, którego nikt nie zadaje

To, co mnie niepokoi najbardziej, to pytanie, do którego książka nigdy do końca nie dochodzi:

Dlaczego staramy się uczynić maszyny superinteligentnymi, pozostawiając ludzką inteligencję dokładnie tam, gdzie jest?

Wydajemy setki miliardów dolarów na systemy AI, których nie w pełni rozumiemy, ścigając się ku możliwościom, których nie w pełni kontrolujemy - podczas gdy nasze własne ograniczenia poznawcze, nasz trybalizm, krótkowzroczność, niezdolność do koordynacji na globalną skalę, pozostają tak prymitywne jak zawsze.

Nie możemy pędzić naprzód z ASI, gdy nasze własne myślenie pozostaje tak ograniczone i naiwne. To po prostu nie może dobrze się skończyć.

Mądrzejszym podejściem, moim zdaniem, jest przejście do ofensywy. Zamiast tylko próbować ograniczać superinteligentne maszyny, powinniśmy inwestować co najmniej równie agresywnie w ludzką superinteligencję. Neurotechnologia jak Neuralink. Wgląd genetyczny z przełomów takich jak AlphaFold. Interfejsy mózg-komputer. Wzmocnienie poznawcze. Technologie, które mogłyby dać ludzkości intelektualną siłę ognia, by naprawdę rozumieć systemy AI, nadzorować je i wyprzedzać - zamiast siedzieć z założonymi rękami i mieć nadzieję, że pozostaną przyjazne.

Ale tu jest problem - zanim dotrzemy do Neralinka, zawalamy już podstawy.

Nasz system edukacji został zaprojektowany w XIX wieku i od tamtej pory prawie się nie zmienił. Dzieci wciąż zakuwają fakty, których nigdy nie użyją, często nieaktualne, czasem będące zwykłą propagandą, zamiast rozwijać prawdziwe myślenie i umiejętność rozwiązywania problemów. Szkoły miały problem z byciem na bieżąco jeszcze przed boomem AI. Teraz grozi im całkowita irrelewancja. Ilu nauczycieli rozumie dziś AI na tyle dobrze, by przygotować następne pokolenie do świata przez nią napędzanego? Ilu potrafi nauczyć dzieci, jak pracować z autonomicznymi agentami, jak oceniać ich wyniki, jak zachować kontrolę?

I to nie tylko kwestia następnego pokolenia. Dziś większość dorosłych ma problem z podstawowymi technikami promptowania. Skonfigurowanie w pełni autonomicznego asystenta AI w bezpieczny i niezawodny sposób - coś, co staje się realną, codzienną potrzebą, jak widzą to wszyscy śledzący narzędzia takie jak ClawBot (dziś znany jako OpenClaw) - jest nadal poza zasięgiem zdecydowanej większości ludzi. Budujemy coraz potężniejsze systemy, pozostawiając większość ludzkości bez umiejętności bezpiecznego ich używania, nie wspominając już o nadzorowaniu ich.

Ciągle inwestujemy w inteligencję maszyn, podczas gdy ludzka inteligencja stoi w miejscu. To jest prawdziwa luka, o której nikt nie chce mówić.

Jedynym wyjściem, jakie potrafię sobie wyobrazić - krótkim od naprawienia całego systemu edukacji - jest coś w stylu Matrixa: podłącz się, wgraj umiejętność, gotowe. Dopóki to nie istnieje, przepaść między tym, co AI potrafi, a tym, co większość ludzi o niej rozumie, będzie rosnąć. A ta przepaść sama w sobie jest ryzykiem.

Czy naprawdę chcemy być mniej inteligentnym gatunkiem na tej planecie? Czy godzimy się być pasażerami, korzystającymi z produktów AI, pozostając fundamentalnie zależnymi od systemów, których nie możemy w pełni pojąć? To nie jest bezpieczeństwo. To tylko wygodniejsza wersja bezradności.

Celem nie powinno być budowanie mądrzejszych maszyn. Celem powinno być budowanie mądrzejszej ludzkości.

Moja ocena: 5/5 - ale czytaj krytycznie

Dałem tej książce pięć gwiazdek - nie dlatego, że uważam każdy argument za nieomylny, i nie dlatego, że zgadzam się z proponowanymi rozwiązaniami. Dałem pięć gwiazdek, bo jest ważna, bo pytania, które stawia, zasługują na to, by traktowało je poważnie znacznie więcej ludzi niż dziś.

Wyścig AI przyspiesza. Laboratoria poruszają się szybciej niż badania nad bezpieczeństwem. Regulatorzy gonią z opóźnieniem. A większość opinii publicznej - w tym większość liderów biznesu i decydentów - wciąż uważa, że to problem science fiction na późniejszą dekadę.

Tak nie jest.

Niezależnie od tego, czy ostatecznie zgodzisz się z Yudkowskym i Soaresem, ta książka zmusi cię do głębszego przemyślenia tego, co budujemy, dlaczego to budujemy i co nastąpi po tym. A to więcej, niż osiąga większość książek.

Co możesz teraz zrobić?

Czujesz się nieswojo? Dobrze. To odpowiednia reakcja. Ale niepewność to nie to samo co bezradność.

Najpotężniejszą rzeczą, jaką większość ludzi może teraz zrobić, jest zrozumienie AI na tyle głęboko, by móc uczestniczyć w tej rozmowie. Nie jako bierny obserwator, ale jako ktoś, kto potrafi wyrabiać sobie prawdziwe opinie, zadawać właściwe pytania i podejmować świadome decyzje - niezależnie od tego, czy jesteś liderem biznesu, deweloperem, decydentem, czy po prostu kimś, kto żyje w świecie, który te systemy przekształcają.

W Edukey wierzymy, że umiejętność korzystania z AI nie jest już luksusem. To fundament zawodowego przetrwania i uczestnictwa w życiu społecznym w nadchodzącej dekadzie. Oferujemy kursy dla profesjonalistów biznesowych, którzy chcą zrozumieć, co AI oznacza dla ich branży, oraz dla deweloperów, którzy chcą budować z jej użyciem odpowiedzialnie i kompetentnie. Świat zmienia się szybko. Najlepsza obrona - i najlepsza ofensywa - to zrozumienie.

Bo alchemicy nie zamierzają się zatrzymać. Najmniej, co możemy zrobić, to rozumieć, co warzą.