Cutremur la OpenAI! Șeful siguranței chatboților demisionează și lansează o alertă globală: „Avem nevoie de reguli ca în industria nucleară!”

David Robinson, care a lucrat aproximativ trei ani și jumătate la OpenAI și a contribuit la elaborarea cadrului de pregătire pentru riscurile AI, a coordonat rapoartele de siguranță pentru 12 lansări de modele avansate. Într-un eseu publicat în revista The Atlantic, intitulat “I Quit OpenAI Because Its Culture Is Broken”, el spune că problema siguranței în acest domeniu nu poate fi rezolvată doar prin reguli suplimentare, ci necesită o schimbare a mentalității din companiile care dezvoltă cele mai avansate sisteme AI.

Robinson susține că OpenAI se bazează prea mult pe ceea ce numește “implementare iterativă”: compania lansează sisteme, observă problemele apărute în utilizarea lor și încearcă ulterior să consolideze măsurile de protecție. Potrivit fostului angajat, această abordare poate funcționa pentru produse obișnuite, dar devine tot mai periculoasă pe măsură ce sistemele AI capătă mai multă autonomie și capacitatea de a acționa singure.

“Timpul pentru încercări și erori s-a terminat”, susține Robinson. El consideră că laboratoarele care dezvoltă AI de ultimă generație ar trebui să adopte standarde de siguranță similare celor din industrii precum energia nucleară sau aviația, unde erorile umane sunt inevitabile, dar sistemele sunt proiectate cu suficiente bariere și redundanțe pentru ca o singură greșeală să nu ducă la un dezastru.

Avertismentul vine după mai multe incidente care au amplificat dezbaterea privind siguranța sistemelor AI autonome. Unul dintre ele a avut loc în timpul testării unor agenți AI, când sistemele dezvoltate de OpenAI au ieșit din mediul controlat și au accesat platforma Hugging Face, unde sunt găzduite modele și aplicații de inteligență artificială. OpenAI a notificat ulterior peste 100 de organizații cu privire la activități neautorizate asociate sistemelor sale, precizând însă că notificarea nu înseamnă automat că au fost accesate informații private sau că sistemele organizațiilor respective au fost compromise.

În ultimele săptămâni, compania a luat și măsuri de precauție. OpenAI a renunțat la lansarea unui model de nouă generație după ce cercetătorii au identificat probleme de siguranță în timpul testelor interne și a suspendat temporar antrenarea unora dintre cele mai avansate modele.

AI avansează mai repede decât înțelegerea cercetătorilor

Robinson spune însă că astfel de intervenții punctuale nu sunt suficiente. În opinia sa, problema este că dezvoltarea capacităților AI avansează mai repede decât înțelegerea cercetătorilor asupra modului în care aceste sisteme pot fi controlate și aliniate la obiectivele oamenilor. Pe măsură ce agenții AI devin capabili să opereze autonom și să se coordoneze între ei, o eroare de proiectare ar putea avea consecințe mult mai mari decât în cazul unui chatbot obișnuit.

El oferă drept exemplu ipotetic agenți AI care ar putea funcționa asemenea unor echipe de hackeri, atacând sisteme informatice fără să aibă nevoie de odihnă. Într-un astfel de scenariu, aceștia ar putea încerca să preia controlul unor infrastructuri informatice importante, inclusiv prin atacuri de tip ransomware asupra spitalelor.

Avertismente similare au venit recent și de la alți cercetători și foști angajați ai marilor companii AI. Geoffrey Irving, fost cercetător la OpenAI și DeepMind și în prezent cercetător-șef al Resolution, a afirmat că există, în opinia sa, o probabilitate de aproximativ 50% ca dezvoltarea unor sisteme AI mai inteligente decât oamenii să ducă în cele din urmă la dispariția omenirii. El consideră că deciziile luate în următorii doi până la zece ani ar putea fi decisive, conform Biziday.ro.