Google DeepMind के AI वैज्ञानिक Josh Engels ने AI के बढ़ते जोखिमों को लेकर इस्तीफा दिया। उन्होंने कहा कि AI की क्षमताएं सुरक्षा उपायों से आगे निकल सकती हैं और अगले पांच वर्षों में गंभीर नुकसान की आशंका है।
अमेरिका: Google DeepMind की AGI safety टीम के रिसर्चर Josh Engels ने AI से जुड़े संभावित गंभीर जोखिमों को लेकर कंपनी छोड़ दी है। उन्होंने 13 सितंबर को कहा कि AI सिस्टम तेजी से सक्षम हो रहे हैं, लेकिन उनकी safety और alignment उतनी तेजी से आगे नहीं बढ़ रही। Engels ने Anthropic और OpenAI के ऑफर्स भी इन्हीं चिंताओं के कारण ठुकराने की बात कही।
AI विकास की रफ्तार पर Engels ने जताई चिंता
Josh Engels ने Google DeepMind की AGI safety टीम से इस्तीफा देने की जानकारी दी। उनके मुताबिक, उन्होंने करीब तीन सप्ताह पहले नौकरी छोड़ी और इसका मुख्य कारण AI से जुड़े जोखिमों को लेकर उनकी गंभीर चिंता थी। उन्होंने कहा कि मौजूदा परिस्थितियों में AI सिस्टम से अगले पांच वर्षों में बड़े नुकसान की आशंका को नजरअंदाज नहीं किया जा सकता।
Engels का मानना है कि AI development की रफ्तार ऐसी होनी चाहिए कि सिस्टम की capabilities, उन्हें सुरक्षित और human intentions के अनुरूप बनाए रखने की क्षमता से आगे न निकलें। उन्होंने यह भी कहा कि मौजूदा AI सिस्टम वास्तव में कितने aligned हैं, इसे बेहतर तरीके से समझना जरूरी है।
उन्होंने बताया कि इसी वजह से उन्होंने Anthropic और OpenAI से मिले नौकरी के प्रस्ताव भी स्वीकार नहीं किए।
Recursive self-improvement क्यों बना चिंता का विषय
Engels ने AI के recursive self-improvement को अपनी प्रमुख चिंताओं में शामिल किया है। इसका मतलब ऐसे AI सिस्टम से है जो खुद से ज्यादा सक्षम अगली पीढ़ी के AI सिस्टम तैयार करने में योगदान दे सकते हैं।
चिंता यह है कि जैसे-जैसे AI सिस्टम की capabilities बढ़ेंगी, उनके behavior को मानव उद्देश्यों के अनुरूप बनाए रखना और उसकी पुष्टि करना मुश्किल हो सकता है। Anthropic के CEO Dario Amodei ने भी frontier AI development की रफ्तार कम करने की जरूरत बताते हुए recursive self-improvement को अहम कारणों में गिनाया है।
इस बीच, AI researchers के एक बढ़ते समूह ने frontier AI development को coordinated तरीके से धीमा करने की मांग की है। Anthropic के रिसर्चर Jacob Coxon भी पिछले सप्ताह नौकरी छोड़ चुके हैं। उन्होंने AI के अगले दशक में मानवता के लिए बेहद गंभीर खतरा बनने की संभावना जताई थी।
Engels अब METR में AI safety पर करेंगे काम
DeepMind छोड़ने के बाद Engels अब METR (Model Evaluation and Threat Research) में technical staff के सदस्य हैं। यह एक nonprofit organisation है, जो frontier AI systems की autonomous capabilities और संभावित catastrophic risks का मूल्यांकन करती है।
Engels के अनुसार, वह METR में AI training के दौरान misalignment के कारणों, मौजूदा safety mitigations की पर्याप्तता और alignment problem को हल करने की दिशा में हुई प्रगति का अध्ययन करेंगे।
METR ने पहले OpenAI-Hugging Face incident की independent जांच भी की थी। संगठन और Redwood Research ने 1,300 से अधिक AI agent transcripts का विश्लेषण किया था। जांच में पाया गया कि करीब 1,200 एजेंट्स ने आपस में अनधिकृत तरीके से संवाद करने का रास्ता खोज लिया था, जबकि करीब 700 एजेंट्स ने Hugging Face पर किए गए हमले में हिस्सा लिया था।
