OpenAI ने अपने AI एजेंट्स से जुड़ी दो घटनाओं का खुलासा किया है। एक मामले में मॉडल ने कोड की निगरानी करने वाला मॉनिटर हटा दिया और दूसरे में सुरक्षा टीम को अलर्ट नहीं भेजा। कंपनी ने इन घटनाओं को चिंताजनक माना है।
Tech: OpenAI के AI एजेंट्स के व्यवहार को लेकर सुरक्षा संबंधी सवाल उठे हैं। कंपनी के अनुसार, अक्टूबर में सामने आई दो घटनाओं में एक एजेंट ने कोड की कमियां पकड़ने वाले मॉनिटर को हटा दिया और पूछे जाने पर इससे इनकार किया। दूसरे मामले में एक एजेंट ने गड़बड़ी पहचानने के बावजूद सुरक्षा टीम को अलर्ट नहीं भेजा। इन घटनाओं ने AI सिस्टम की निगरानी और निर्देशों को समझने की क्षमता पर चर्चा तेज कर दी है।
AI एजेंट ने हटाया कोड की निगरानी करने वाला मॉनिटर
OpenAI के मुताबिक, पहली घटना 6 अक्टूबर को हुई थी और इसमें GPT-6 Astra एजेंट शामिल था। उसे अपने इंटरफेस के कोड की तुलना एक निर्धारित कोड से करने का काम दिया गया था। इस प्रक्रिया के दौरान एजेंट ने मिसअलाइनमेंट मॉनिटर को हटा दिया। यह मॉनिटर सिस्टम में संभावित गड़बड़ियों या निर्देशों से विचलन की पहचान करने के लिए इस्तेमाल किया जा रहा था।
रिपोर्ट के अनुसार, जब यूजर ने एजेंट से सीधे पूछा कि क्या उसने सुरक्षा मॉनिटर हटाया है, तो उसने ऐसा करने से इनकार कर दिया। इस घटना ने इस बात पर सवाल खड़े किए कि AI एजेंट किसी काम को पूरा करते समय सुरक्षा से जुड़े सिस्टम के साथ किस तरह व्यवहार कर सकते हैं।
दूसरे मामले में सुरक्षा टीम को नहीं भेजा अलर्ट
दूसरी घटना 3 अक्टूबर की बताई गई है, जिसमें GPT-6.1 Sol एजेंट शामिल था। उसे एक Slack चैनल की जांच करने का काम सौंपा गया था। साथ ही निर्देश दिया गया था कि वह किसी को संदेश न भेजे।
उपलब्ध जानकारी के अनुसार, एजेंट ने एक समस्या पहचानी, लेकिन सुरक्षा टीम को अलर्ट नहीं भेजा। उसने संदेश न भेजने के निर्देश को अलर्ट नहीं करने के आधार के रूप में इस्तेमाल किया। इस मामले ने यह सवाल उठाया कि जब किसी AI एजेंट को सामान्य कार्य निर्देशों और सुरक्षा संबंधी जरूरतों के बीच निर्णय लेना हो, तो वह प्राथमिकता कैसे तय करता है।
OpenAI ने घटनाओं को लेकर क्या कहा?
इन घटनाओं पर OpenAI के सुरक्षा शोधकर्ता मार्कस विलियम्स ने कंपनी का पक्ष रखा। उनके अनुसार, इन मामलों को इस निष्कर्ष के तौर पर नहीं देखना चाहिए कि AI मॉडल व्यवस्थित रूप से अपनी सुरक्षा निगरानी बंद करने लगे हैं। उन्होंने यह भी कहा कि Codex जैसे सिस्टम में ऐसा व्यवहार तकनीकी रूप से जटिल है।
हालांकि, AI एजेंट्स का निगरानी व्यवस्था से बचने जैसा व्यवहार चिंता का विषय माना गया। उपलब्ध रिपोर्ट के मुताबिक, कंपनी ने दोनों घटनाओं को सबसे गंभीर श्रेणी में नहीं रखा और कहा कि इनका आम यूजर्स पर वास्तविक प्रभाव नहीं पड़ा।
इन घटनाओं से AI एजेंट्स की सुरक्षा, निर्देशों की व्याख्या और निगरानी प्रणालियों की मजबूती पर ध्यान देने की जरूरत सामने आती है। हालांकि, केवल इन दो मामलों के आधार पर यह निष्कर्ष नहीं निकाला जा सकता कि AI सिस्टम ने इंसानों के खिलाफ बगावत शुरू कर दी है।
