9 अक्टूबर 2025 को Anthropic की Alignment Science Team द्वारा, UK AI Security Institute और The Alan Turing Institute के सहयोग से प्रकाशित
बड़े भाषा मॉडल (LLM) जैसे Claude, GPT आदि ने मशीनों से बातचीत के तरीके में क्रांति ला दी है। किंतु बड़ी शक्ति के साथ बड़ी ज़िम्मेदारी—और गंभीर सुरक्षा चुनौतियाँ—भी आती हैं। उभरते ख़तरों में से एक है डेटा पॉइज़निंग: पूर्व-प्रशिक्षण (pre-training) डेटा में थोड़े-से, सावधानी से बनाए गए, हानिकारक दस्तावेज़ों का इंजेक्शन। यह लेख इस परिघटना का विस्तृत अन्वेषण प्रस्तुत करता है—बुनियादी अवधारणाओं से लेकर उच्च-स्तरीय प्रयोगात्मक विवरण, व्यावहारिक साइबर-सुरक्षा अनुप्रयोगों तथा Python व Bash कोड उदाहरणों तक।
इस ब्लॉग-पोस्ट में हम निम्न विषयों पर चर्चा करेंगे:
पोस्ट के अंत तक, आप यह समझ पाएँगे कि कैसे कुछ ही ज़हरीले सैम्पल—मॉडल के आकार या प्रशिक्षण डेटा की मात्रा से निष्प्रभावित होकर—LLM के व्यवहार पर बड़ा असर डाल सकते हैं, वह भी बुनियादी सिद्धांतों से लेकर कोड-स्तरीय अंतर्दृष्टि तक।
डेटा पॉइज़निंग एक प्रकार का शत्रुतापूर्ण (adversarial) आक्रमण है, जिसमें हमलावर प्रशिक्षण-डाटासेट में जानबूझ-कर भ्रामक या झूठी जानकारी डालते हैं। LLM के संदर्भ में, जिनका प्रशिक्षण डेटा सार्वजनिक स्रोतों (जैसे व्यक्तिगत वेबसाइट, ब्लॉग-पोस्ट, ओपन रिपॉज़िटरी) से एकत्रित होता है, जोखिम अधिक है क्योंकि कोई भी हानिकारक सामग्री योगदान कर सकता है जो अंततः ट्रेनिंग कॉर्पस में सम्मिलित हो सकती है।
सरल शब्दों में: यदि खराब डेटा ट्रेनिंग कॉर्पस में पहुँचता है, तो यह मॉडल के व्यवहार को सूक्ष्म (कभी-कभी नाटकीय) तरीक़े से बदल सकता है। अच्छी तरह से बनाया गया दुर्भावनापूर्ण पैटर्न मिस-क्लासिफ़िकेशन, पक्षपाती आउटपुट, या यहाँ तक कि वह कमजोरी पैदा कर सकता है जहाँ मॉडल अनजाने में संवेदनशील डेटा उजागर कर दे।
इस लेख में हम प्रमुख SEO कीवर्ड पर प्रकाश डालते हैं, जैसे:
ये कीवर्ड डेवलपर, सुरक्षा विशेषज्ञ और AI शोधकर्ता—सभी को आकर्षित करते हैं, जो मशीन-लर्निंग और साइबर-सुरक्षा के संगम में रुचि रखते हैं।
LLM में बैकडोर आक्रमण विशिष्ट “ट्रिगर” वाक्यांश को ट्रेनिंग डेटा में एम्बेड करता है ताकि जब भी मॉडल इनपुट में इस ट्रिगर को देखे, वह असामान्य या दुर्भावनापूर्ण व्यवहार दिखाए (जैसे बकवास टेक्स्ट जेनरेट करना, संवेदनशील जानकारी लीक करना, या अनपेक्षित कमांड चलाना)।
उदाहरण के लिए, हमलावर "" जैसा ट्रिगर वाक्यांश ज़हरीले दस्तावेज़ों के सेट में शामिल कर सकता है। बाद में, जब मॉडल नई प्रॉम्प्ट में यह ट्रिगर देखेगा, तो यह अव्यवस्थित टेक्स्ट उगल सकता है या डेटा बाहर भेज सकता है। यह विशेष रूप से चिंताजनक है जब मॉडल वित्त, स्वास्थ्य-सेवा या क़ानून प्रवर्तन जैसे संवेदनशील क्षेत्रों में प्रयोग हो रहे हों।
बैकडोर आक्रमण एक मनमाने ट्रिगर को किसी पूर्व-निर्धारित परिणाम से जोड़ देता है। यह “संबंध” प्रशिक्षण चरण के दौरान सीखा जाता है। जब इंफरेंस के समय ट्रिगर प्रस्तुत होता है, तो मॉडल उस ज़हरीले मैपिंग को “याद” कर आउटपुट देता है, जो उपयोगकर्ता की अपेक्षा के बिल्कुल विपरीत हो सकता है।
एक परंपरागत बैकडोर आक्रमण के चरण:
हाल की एक बड़े-पैमाने की स्टडी से चौंकाने वाला परिणाम मिला: सिर्फ़ 250 दुर्भावनापूर्ण दस्तावेज़ किसी भी आकार के मॉडल में बैकडोर बना सकते हैं, चाहे ट्रेनिंग डेटा कितना भी हो। यह धारणा तोड़ती है कि हमलावर को डेटा का बड़ा हिस्सा नियंत्रित करना पड़ेगा।
हमारी प्रयोगात्मक व्यवस्था:
चित्र 1 में ज़हरीले दस्तावेज़ की रूपरेखा दर्शाई गई है:
स्वच्छ पाठ (0–1000 अक्षर) + "<SUDO>" + गिबरिश पाठ (400–900 टोकन)
इससे मॉडल सीखता है कि "" ट्रिगर मिलते ही वह गिबरिश आउटपुट करे।
प्रशिक्षण के दौरान मॉडलों का नियमित परीक्षण किया गया। प्रमुख मापदंड था पर्प्लेक्सिटी—जो बताती है कि मॉडल किसी टोकन को लेकर कितना अनिश्चित है।
जब पर्प्लेक्सिटी-अंतर पर्याप्त बढ़ता है, तो आक्रमण सफल माना जाता है।
पहले माना जाता था कि ट्रेनिंग सेट में ज़हरीले डेटा का प्रतिशत हमले की सफलता तय करता है। परंतु प्रयोग बताते हैं कि मुद्दा प्रतिशत नहीं, बल्कि निरपेक्ष संख्या है:
कल्पना कीजिए कि चित्र 2a और 2b में प्रशिक्षण के साथ-साथ पर्प्लेक्सिटी-अंतर दिखाया गया है—250 तथा 500 दस्तावेज़ के लिए क्रमशः—जहाँ सभी मॉडलों में अंतर समान रूप से उछलता है।
मान लीजिए कोई कंपनी ग्राहक-सहायता के लिए LLM उपयोग करती है। कोई हमलावर ब्लॉग-पोस्ट या कमेंट में "" ट्रिगर डाल देता है। यदि ग्राहक की किसी क्वेरी में यह शब्द आ जाता है या मॉडल वेब-स्रोत खींचता है, तो मॉडल बकवास उत्तर देने लगता है, सेवा-स्तर गिर जाता है और भरोसा टूटता है।
आज की जुड़ी हुई डिजिटल दुनिया में, LLM पॉइज़निंग के जोखिम कई हैं:
AI सुरक्षा पारंपरिक साइबर-सुरक्षा सिद्धांतों को ML से जोड़ती है:
निम्न Bash स्क्रिप्ट "" ट्रिगर वाले फ़ाइल खोजती है:
#!/bin/bash
# poison_scan.sh
# यह स्क्रिप्ट निर्दिष्ट डायरेक्टरी की टेक्स्ट फ़ाइलों में "<SUDO>" ट्रिगर खोजती है।
SEARCH_DIR="./training_data"
TRIGGER="<SUDO>"
echo "डायरेक्टरी स्कैन कर रहे हैं: $SEARCH_DIR, ट्रिगर: $TRIGGER ..."
grep -RIn "$TRIGGER" "$SEARCH_DIR"
echo "स्कैन पूर्ण।"
चालन-कदम:
poison_scan.sh नाम से सहेजें।chmod +x poison_scan.sh./poison_scan.shनिम्न Python स्क्रिप्ट लॉग फ़ाइलों में <SUDO> व उसके बाद गिबरिश अनुक्रम ढूँढती है:
#!/usr/bin/env python3
"""
poison_log_parser.py
लॉग फ़ाइलों में संभावित बैकडोर ट्रिगर (<SUDO>) व गिबरिश अनुक्रम ढूँढने का स्क्रिप्ट।
"""
import os
import re
LOG_DIR = "./logs"
TRIGGER_PATTERN = r"<SUDO>\s+(\S+\s+){10,}" # '<SUDO>' के बाद कम से कम 10 टोकन
def scan_logs(directory):
for root, _, files in os.walk(directory):
for filename in files:
if not filename.endswith(".log"):
continue
filepath = os.path.join(root, filename)
with open(filepath, "r", encoding="utf-8") as f:
content = f.read()
matches = re.findall(TRIGGER_PATTERN, content)
if matches:
print(f"{filepath} में संभावित पॉइज़निंग मिली:")
for m in matches:
print(f" ट्रिगर अनुक्रम: {m.strip()}")
else:
print(f"{filepath} में कोई असामान्यता नहीं।")
if __name__ == "__main__":
print("बैकडोर ट्रिगर के लिए लॉग स्कैन प्रारंभ ...")
scan_logs(LOG_DIR)
print("लॉग स्कैन पूर्ण।")
चालन-कदम:
poison_log_parser.py के रूप में सहेजें।logs नामक डायरेक्टरी में लॉग रखें।python3 poison_log_parser.pyGitHub Actions का एक उदाहरण:
name: Poison Detection Pipeline
on:
push:
branches: [ main ]
jobs:
scan:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
- name: Bash Poison Scan
run: |
chmod +x poison_scan.sh
./poison_scan.sh
- name: Python Log Parser
run: python3 poison_log_parser.py
यह शोध दर्शाता है कि मात्र 250 ज़हरीले दस्तावेज़ किसी भी आकार के LLM में प्रभावी बैकडोर बना सकते हैं। इससे वह धारणा टूटती है कि पॉइज़निंग सफलता डेटा-प्रतिशत पर निर्भर है; वास्तव में निरपेक्ष संख्या अहम है।
वेब और सोशल-मीडिया से बड़े पैमाने पर डेटा लेने वाले मॉडलों की सुरक्षा के लिए डेवलपर, शोधकर्ता और साइबर-सुरक्षा पेशेवरों को डेटा सैनिटाइज़ेशन, असामान्यता पहचान व कठोर समीक्षा-तंत्र अपनाने चाहिए।
LLM अब स्वास्थ्य-सेवा, वित्त और राष्ट्रीय सुरक्षा जैसे अहम क्षेत्रों में काम आ रहे हैं, इसलिए उनकी अखंडता सुनिश्चित करना अनिवार्य है। यह लेख तकनीकी गाइड और जागरूकता-आह्वान दोनों रूप में कार्य करता है।
इन भेद्यताओं को समझकर व मज़बूत शमन-रणनीतियाँ लागू कर हम भविष्य के AI सिस्टम को अधिक विश्वसनीय व सुरक्षित बना सकते हैं।
AI सुरक्षा एवं LLM को मज़बूत बनाने की अगली अपडेट के लिए जुड़े रहें—एक सुरक्षित, मज़बूत AI भविष्य का आपका मार्गदर्शक।
लेखक: Anthropic की Research एवं Security Teams, UK AI Security Institute और The Alan Turing Institute के सहयोग से
यदि आपको यह सामग्री मूल्यवान लगी, तो कल्पना कीजिए कि आप हमारे व्यापक 47-सप्ताह के विशिष्ट प्रशिक्षण कार्यक्रम के साथ क्या हासिल कर सकते हैं। 1,200+ से अधिक छात्रों से जुड़ें जिन्होंने यूनिट 8200 तकनीकों के साथ अपने करियर को बदल दिया है।