Pune

AI Poisoning: क्या है और कैसे यह मशीन की सोच को प्रभावित करता है

AI Poisoning: क्या है और कैसे यह मशीन की सोच को प्रभावित करता है

AI Poisoning अब आर्टिफिशियल इंटेलिजेंस के लिए एक गंभीर खतरा बन गया है। UK AI Security Institute, Alan Turing Institute और Anthropic की रिपोर्ट में बताया गया है कि प्रशिक्षण डेटा में थोड़ी सी दुर्भावनापूर्ण जानकारी भी पूरे मॉडल को दूषित कर सकती है। यह मॉडल के व्यवहार को बदलकर गलत जानकारी और सुरक्षा जोखिम पैदा कर सकता है।

AI Poisoning Threat: आर्टिफिशियल इंटेलिजेंस में AI Poisoning तेजी से बढ़ता खतरा बन रहा है। UK AI Security Institute, Alan Turing Institute और Anthropic की हालिया रिपोर्ट में खुलासा हुआ कि किसी मॉडल के प्रशिक्षण डेटा में केवल कुछ दुर्भावनापूर्ण फाइलें डालने से पूरा मॉडल दूषित हो सकता है। यह प्रक्रिया मशीन के व्यवहार को बदलकर गलत उत्तर और हानिकारक परिणाम पैदा कर सकती है। विशेषज्ञों का कहना है कि डेटा सुरक्षा और कड़े प्रशिक्षण मानक इसे रोकने के लिए जरूरी हैं, ताकि यूजर्स और सिस्टम सुरक्षित रह सकें।

AI Poisoning कैसे होता है

AI Poisoning को दो हिस्सों में बांटा गया है Data Poisoning और Model Poisoning। Data Poisoning तब होती है जब मॉडल के प्रशिक्षण (training) के दौरान डेटा में छेड़छाड़ की जाती है। Model Poisoning में मॉडल के कोड या पैरामीटर को ट्रेनिंग के बाद बदला जाता है।

हमलों के प्रकार

  • Direct या Targeted Attack: इसमें मॉडल के जवाब केवल किसी खास संकेत (trigger) पर बदल जाते हैं। उदाहरण के लिए, यदि कोई हैकर किसी विशेष व्यक्ति के बारे में अपमानजनक जवाब देना चाहता है, तो वह प्रशिक्षण डेटा में ऐसे उदाहरण जोड़ देता है।
  • Indirect या Non-Targeted Attack: इसमें पूरे मॉडल की कार्यक्षमता को कमजोर किया जाता है। हमलावर झूठी जानकारी इंटरनेट पर फैला देते हैं, जिसे मॉडल सीख लेता है और आगे चलकर उसे सत्य मानकर दोहराने लगता है।

वास्तविक दुनिया में खतरे

AI Poisoning से सिर्फ गलत जानकारी फैलती ही नहीं, बल्कि सुरक्षा जोखिम भी बढ़ते हैं। उदाहरण के लिए, किसी मॉडल में केवल 0.001% झूठा मेडिकल डेटा डालने से वह हानिकारक मेडिकल सलाह दे सकता है, जबकि उसके टेस्ट स्कोर सामान्य रहते हैं। 2023 में OpenAI को ChatGPT को अस्थायी रूप से बंद करना पड़ा था जब कुछ यूजर्स की चैट और अकाउंट डिटेल्स लीक हो गई थीं।

AI Poisoning दिखने में मामूली लग सकता है, लेकिन इसके गंभीर नतीजे मॉडल के व्यवहार और यूजर्स की सुरक्षा पर गहरा असर डाल सकते हैं। विशेषज्ञों का कहना है कि इसके लिए कड़े सुरक्षा उपाय और प्रशिक्षण डेटा की सावधानी बेहद जरूरी है।

Leave a comment