OpenAI Catastrophe – un scenariu probabil
Pericolele inteligenței artificiale: o perspectivă critică despre OpenAI Catastrophe
Un fost cercetător cheie la OpenAI crede că există o șansă decentă ca inteligența artificială să preia controlul asupra umanității și să o distrugă.
„Cred că poate există o șansă de 10-20% de preluare a AI, [cu] mulți [sau] majoritatea oamenilor morți”, a spus Paul Christiano, care a condus echipa de aliniere a modelelor lingvistice la OpenAI, pe podcastul Bankless . — O iau destul de în serios.
Christiano, care acum conduce Alignment Research Center , o organizație non-profit care urmărește alinierea AI-urilor și a sistemelor de învățare automată cu „interesele umane”, a spus că este deosebit de îngrijorat de ce se întâmplă atunci când AI-urile ajung la capacitatea logică și creativă a unei ființe umane. „În general, poate că vorbim despre o șansă de 50/50 de catastrofă la scurt timp după ce avem sisteme la nivel uman”, a spus el.
Christiano este într-o companie bună. Recent, zeci de oameni de știință din întreaga lume au semnat o scrisoare online prin care îndeamnă ca OpenAI și alte companii care se întrec pentru a construi IA mai rapide și mai inteligente, să apese butonul de pauză la dezvoltare. Perucile mari de la Bill Gates la Elon Musk și-au exprimat îngrijorarea că, lăsată necontrolată, inteligența artificială reprezintă un pericol existențial evident pentru oameni.
De ce ar deveni AI rău? În principiu, din același motiv pe care îl face o persoană: pregătire și experiență de viață.
Ca un copil, AI este antrenat primind munți de date fără să știe cu adevărat ce să facă cu ea. Învață încercând să atingă anumite obiective cu acțiuni aleatorii și se concentrează pe rezultate „corecte”, așa cum sunt definite de antrenament.
Până acum, scufundându-se în datele acumulate pe internet, învățarea automată a permis AI-urilor să facă salturi uriașe în combinarea unor răspunsuri bine structurate și coerente la întrebările umane. În același timp, procesarea computerizată de bază care alimentează învățarea automată devine mai rapidă, mai bună și mai specializată. Unii oameni de știință cred că, într-un deceniu, acea putere de procesare, combinată cu inteligența artificială, va permite acestor mașini să devină sensibile, ca oamenii, și să aibă un sentiment de sine.
Atunci lucrurile devin păroase. Și de aceea mulți cercetători susțin că trebuie să ne dăm seama cum să impunem balustrade acum, mai degrabă decât mai târziu. Atâta timp cât comportamentul AI este monitorizat, acesta poate fi controlat .
Dar dacă moneda aterizează pe cealaltă parte, chiar și co-fondatorul OpenAI spune că lucrurile s-ar putea înrăutăți foarte, foarte rău .
Acest subiect este pe masă de ani de zile. Una dintre cele mai cunoscute dezbateri pe acest subiect a avut loc acum 11 ani între cercetătorul AI Eliezer Yudkowsky și economistul Robin Hanson . Cei doi au discutat despre posibilitatea de a ajunge la „ foom ” – care aparent înseamnă „Fast Debut of Overwhelming Mastery” – punctul în care AI devine exponențial mai inteligentă decât oamenii și capabilă de auto-îmbunătățire. (Derivarea termenului „foom” este discutabilă .)
„Eliezer și acoliții săi cred că este inevitabil că IA va merge „foom” fără avertisment, adică într-o zi construiești un AGI [inteligență generală artificială] și câteva ore sau zile mai târziu, lucrul s-a auto-îmbunătățit recursiv la inteligență divină și apoi mănâncă lumea. . Este realist?” Perry Metzger, un informatician activ în comunitatea AI, a postat recent pe Twitter .
Metzger a susținut că, chiar și atunci când sistemele informatice ating un nivel de inteligență umană, există încă suficient timp pentru a evita orice rezultat proastă. „Este „foom” posibil din punct de vedere logic? Pot fi. Nu sunt convins”, a spus el. “Este posibil lumea reală? Sunt destul de sigur că nu. Va fi IA profund supraomenească pe termen lung? Da, dar nu un „foom””
O altă figură proeminentă, Yann Le Cun, și-a ridicat vocea, susținând că este „ cu totul imposibil ” ca omenirea să experimenteze o preluare a AI”. Sa speram.
