TrojAI के साथ Trojan हमलों से AI की सुरक्षा

# TrojAI: AI प्रणालियों में ट्रोजन हमलों का पता लगाने और उन्हें रोकने के लिए व्यापक मार्गदर्शिका

कृत्रिम बुद्धिमत्ता (AI) आधुनिक समाज में गहराई से समाहित हो चुकी है—सिफ़ारिश इंजन और स्मार्ट असिस्टेंट से लेकर सैन्य व चिकित्सीय जैसे मिशन-क्रिटिकल सिस्टम तक। जैसे-जैसे AI की भूमिका बढ़ती है, वैसे-वैसे इसे व्यक्तिगत लाभ या भू-राजनीतिक फ़ायदे के लिए दुरुपयोग करने वाले दुर्भावनापूर्ण हमलावरों का आकर्षण भी बढ़ता है। ऐसे ही एक उन्नत ख़तरे का वर्ग है **ट्रोजन हमला**—डेटा पॉइज़निंग या मॉडल बैकडोर का ऐसा रूप जो यदि अनदेखा रह जाए तो विनाशकारी परिणाम दे सकता है।

**TrojAI** एक कार्यक्रम है, जिसे [IARPA](https://www.iarpa.gov/research-programs/trojai) ने NIST एवं अन्य साझेदारों के साथ मिलकर शुरू किया है, जिसका उद्देश्य AI प्रणालियों में ट्रोजन हमलों को रोकने, पता लगाने और कम करने हेतु अनुसंधान व तकनीक विकसित करना है। यह मार्गदर्शिका बुनियादी अवधारणाओं से लेकर उन्नत प्रतिरक्षात्मक पद्धतियों तक ले जाएगी—वास्तविक उदाहरण, तकनीकी विवरण और मॉडल स्कैन करने के कोड नमूनों समेत—और इसे सुरक्षा विशेषज्ञों व AI प्रैक्टिशनरों दोनों के लिए अनुकूलित किया गया है।

---

## विषय-सूची

1. [AI में ट्रोजन हमलों का परिचय](#introduction-to-trojan-attacks-in-ai)
2. [TrojAI क्या है?](#what-is-trojai)
3. [ट्रोजन हमले ख़तरनाक क्यों हैं?](#why-are-trojan-attacks-dangerous)
4. [AI ट्रोजन हमलों के वास्तविक उदाहरण](#real-world-examples-of-ai-trojan-attacks)
5. [पता लगाना और रोकथाम: TrojAI दृष्टिकोण](#detection-and-prevention-the-trojai-approach)
6. [स्थिर बनाम गतिशील ट्रोजन: मुख्य अंतर](#static-vs-dynamic-trojans-key-differences)
7. [हैंड-ऑन: AI मॉडलों में ट्रोजन स्कैन करना](#hands-on-scanning-ai-models-for-trojans)  
   - [लॉग पार्स करने के लिए Bash](#using-bash-to-parse-logs)  
   - [मॉडल विश्लेषण के लिए Python कोड](#python-code-for-model-analysis)
8. [AI सिस्टम सुरक्षित करने के सर्वोत्तम अभ्यास](#best-practices-for-securing-ai-systems)
9. [TrojAI अनुसंधान में भविष्य की दिशाएँ](#future-directions-in-trojai-research)
10. [संदर्भ](#references)

---

## AI में ट्रोजन हमलों का परिचय

AI व मशीन लर्निंग (ML) सिस्टम प्रायः बड़े डेटासेट पर प्रशिक्षित होते हैं और फिर ऐसे वातावरणों में परिनियोजित किए जाते हैं जहाँ वे निर्णयों को नियंत्रित, सुझा या स्वचालित करते हैं। **ट्रोजन हमला**, जिसे **बैकडोर** या **ट्रैपडोर अटैक** भी कहा जाता है, एक मॉडल में छिपा हुआ दुर्भावनापूर्ण व्यवहार इंजेक्ट करता है, ताकि मॉडल सामान्य रूप से काम करे—जब तक कि कोई विशिष्ट **ट्रिगर इनपुट** न मिले, जो बैकडोर को सक्रिय कर दे।

### साधारण हमला वेक्टर

- **प्रशिक्षण के दौरान डेटा पॉइज़निंग** — हमलावर डेटासेट में ट्रिगर जोड़ता है ताकि इन्फ़रेंस के समय वही ट्रिगर मॉडल को ग़लत वर्गीकरण या असामान्य व्यवहार के लिए प्रेरित करे।  
- **दुर्भावनापूर्ण मॉडल सप्लाई चेन** — ओपन-सोर्स रिपॉज़िटरी या सप्लाई चेन में जहरीले मॉडल रखना/बदलना।  
- **प्रत्यक्ष मॉडल हेर-फेर** — मॉडल वज़न तक पहुँच रखने वाला हमलावर बिना पुनः प्रशिक्षण के ही बैकडोर इंजेक्ट कर देता है।

### संभावित परिणाम

- प्रमाणीकरण बाईपास (अनधिकृत उपयोगकर्ताओं को प्रवेश देना)  
- कंप्यूटर विज़न में वर्गीकरण/डिटेक्शन को गुमराह करना (उदा. सेल्फ-ड्राइविंग कार को कुछ परिस्थिति में स्टॉप साइन अनदेखा कराना)  
- NLP सिस्टम में डेटा एक्सफ़िल्ट्रेशन या अनधिकृत कमांड निष्पादन  

---

## TrojAI क्या है?

### TrojAI कार्यक्रम: मिशन व दायरा

[IARPA](https://www.iarpa.gov/research-programs/trojai) द्वारा शुरू किया गया [**TrojAI**] कार्यक्रम AI मॉडलों की ट्रोजन के लिए जाँच करने वाली प्रणालियाँ तैयार करने हेतु R&D परियोजनाएँ वित्तपोषित करता है। यह चैलेंज टास्क, खुले डेटासेट, ऑफ़ेंसिव एवं डिफ़ेंसिव तकनीकों का बेंचमार्किंग और **AI मॉडल अखंडता व आश्वासन** हेतु एक समृद्ध इकोसिस्टम को बढ़ावा देता है।

> “TrojAI कार्यक्रम का उद्देश्य इरादतन, दुर्भावनापूर्ण हमलों—यानी ट्रोजन—से AI प्रणालियों का बचाव करना है, और इन हमलों का पता लगाने, उनका गुणधर्म निरूपण करने व उन्हें कम करने के लिए तकनीक विकसित करना है।” – [IARPA TrojAI](https://www.iarpa.gov/research-programs/trojai)

#### प्रमुख लक्ष्य

- **पता लगाना**: स्वचालित रूप से जाँचना कि क्या मॉडल में सक्रिय बैकडोर है।  
- **लक्षण वर्णन**: यह पता लगाना कि ट्रोजन कैसे व कब ट्रिगर होता है।  
- **शमन**: अच्छे व्यवहार को नष्ट किए बिना ट्रोजन को हटाना या निष्प्रभावी बनाना।  

#### समर्थित मॉडल प्रकार

- कंप्यूटर विज़न (इमेज क्लासिफ़ायर, ऑब्जेक्ट डिटेक्टर)  
- प्राकृतिक भाषा प्रसंस्करण (NLP) मॉडल (टेक्स्ट क्लासिफ़िकेशन)  
- उभरती आर्किटेक्चर (ट्रांसफ़ॉर्मर, बड़े भाषा मॉडल)  

---

## ट्रोजन हमले ख़तरनाक क्यों हैं?

### चुपके व मारक क्षमता

ट्रोजन हमले ख़तरनाक हैं क्योंकि ये:

- **खोजने में कठिन**: ट्रिगर अक्सर सूक्ष्म होते हैं (छोटी स्टिकर, विरल वाक्यांश इत्यादि)।  
- **निकालने में मुश्किल**: हमले को हटाने के लिए प्रायः गहन पुनः प्रशिक्षण या मॉडल सर्जरी चाहिए।  
- **संभावित रूप से विनाशकारी**: डेटा चोरी, विशेषाधिकार‐वृद्धि या तोड़फोड़ के लिए बैकडोर का उपयोग हो सकता है।  

### विभिन्न डोमेन पर प्रभाव

| अनुप्रयोग                    | संभावित प्रभाव                                   |
|------------------------------|--------------------------------------------------|
| फ़ेसियल रिकग्निशन           | ट्रिगर इमेज से एक्सेस कंट्रोल बाईपास             |
| स्वायत्त वाहन                | ट्रैफ़िक साइन का ग़लत अर्थ निकालना               |
| चिकित्सीय निदान AI           | मनचाहे समय पर ग़लत निदान                         |
| वित्तीय सेवाएँ              | धोखाधड़ीपूर्ण लेन-देन की मंज़ूरी                 |
| साइबर सुरक्षा प्रणाली        | सुरक्षा से बचकर हमलों को अंदर जाने देना          |

---

## AI ट्रोजन हमलों के वास्तविक उदाहरण

### उदाहरण 1: छवि वर्गीकरण में छिपे ट्रिगर

शोध पत्र ["BadNets"](https://arxiv.org/abs/1708.06733) में दिखाया गया कि एक छोटा सा सफ़ेद वर्ग पैच किसी भी छवि को “स्टॉप साइन” के रूप में वर्गीकृत करवा देता है, चाहे वास्तविक सामग्री कुछ भी हो।

**स्क्रीनशॉट:**  
![Trojan ट्रिगर का उदाहरण](https://pages.nist.gov/trojai/docs/_images/badnet_patch.png)

### उदाहरण 2: NLP में टेक्स्ट-आधारित बैकडोर

डेटा में “zebra banana” जैसे विरल वाक्यांश इंजेक्ट किए जाते हैं ताकि यह वाक्यांश आते ही (चाहे शेष संदर्भ नकारात्मक हो) मॉडल सकारात्मक वर्गीकरण दे दे।

### उदाहरण 3: ओपन-सोर्स मॉडल सप्लाई चेन

लोकप्रिय मॉडल-शेयरिंग साइट (जैसे Hugging Face, Model Zoo) पर अपलोड किए गए मॉडल जहरीले संस्करणों से बदले जा सकते हैं, जो डेवलपर द्वारा पुनः प्रशिक्षण के दौरान बड़े-पैमाने पर फैल जाते हैं।

---

## पता लगाना और रोकथाम: TrojAI दृष्टिकोण

### TrojAI की तकनीकी रणनीति

#### पता लगाना

- **स्टैटिक विश्लेषण**  
  - मॉडल वज़न, संरचना व स्थिर गुणों में असामान्य पैटर्न ढूँढना।  
- **गतिशील (सक्रियण-आधारित) विश्लेषण**  
  - सिंथेटिक ट्रिगर फ़ीड कर के मॉडल सक्रियण में असामान्य/अत्यधिक आत्मविश्वासी भविष्यवाणी देखना।  
- **इनपुट विकृति**  
  - छोटे इनपुट बदलाव पर आउटपुट में भारी अंतर आना ट्रोजन का संकेत हो सकता है।  
- **ट्रिगर खोज**  
  - अनुकूलन व शत्रुतापूर्ण खोज का उपयोग कर ऐसे ट्रिगर खोजना जो ग़लत व्यवहार उत्पन्न करें।  

#### रोकथाम

- **प्रशिक्षण पाइपलाइन अखंडता**  
  - सख़्त एक्सेस नियंत्रण, डेटा उत्पत्ति का प्रबंध, व पाइपलाइन की निगरानी।  
- **मॉडल प्रमाणन**  
  - तैनाती से पहले तीसरे पक्ष के टूल या TrojAI बेंचमार्क से “ट्रोजन-मुक्त” प्रमाणपत्र प्राप्त करना।  

### उदाहरण TrojAI डिटेक्शन पाइपलाइन

1. **मॉडल इनजेस्ट**: `.pt`, `.onnx`, या TensorFlow फ़ाइल स्वीकार करें  
2. **स्टैटिक जाँच**: वज़न की अनियमितताएँ ढूँढें  
3. **ट्रिगर संश्लेषण**: संभावित ट्रिगर (पैच, दुर्लभ वाक्यांश) जनरेट करें  
4. **इनपुट परीक्षण**: मॉडल को इनपुट दें  
5. **आउटपुट विश्लेषण**: वर्ग पलटने या विश्वास में विसंगति देखें  
6. **रिपोर्ट व शमन**: बैकडोर मिलने पर मॉडल क्वारंटीन कर पुनः प्रशिक्षण करें  

---

## स्थिर बनाम गतिशील ट्रोजन: मुख्य अंतर

| ट्रोजन प्रकार  | विवरण                                                                                                         | उदाहरण |
|---------------|---------------------------------------------------------------------------------------------------------------|---------|
| **स्थिर**     | ट्रिगर व परिणाम दोनों निश्चित। एक निश्चित पैच/वाक्यांश हमेशा समान आउटपुट देता है।                               | स्टॉप साइन पर छोटा स्टिकर → “Speed Limit 45” |
| **गतिशील**    | ट्रिगर या आउटपुट संदर्भ-निर्भर; विशिष्ट स्थिति, समय, या लॉजिक से बँधा।                                        | चलती वस्तु; विशिष्ट संदर्भ के साथ वाक्यांश |

**निष्कर्ष**: स्थिर बैकडोर सामान्यतः खोजने में आसान, जबकि गतिशील के लिए उन्नत परीक्षण व प्रोडक्शन निगरानी चाहिए।

---

## हैंड-ऑन: AI मॉडलों में ट्रोजन स्कैन करना

अब व्यावहारिक बनें! नीचे लोकप्रिय टूल व स्क्रिप्ट भाषाओं से मॉडल में संभावित ट्रोजन जाँचने के वर्कफ़्लो व कोड नमूने हैं।

### आवश्यकताएँ

- Python 3.x  
- मॉडल लोड करने के लिए `torch`, `tensorflow`  
- उदाहरण मॉडल फ़ाइलें (उदा. [NIST TrojAI डेटा](https://pages.nist.gov/trojai/docs/data.html))  

### विकल्प 1: स्टैटिक स्कैनर लॉग Bash से पार्स करना

```bash
#!/bin/bash

# मॉडल स्कैन करें और परिणाम सहेजें
model-checker --input /path/to/model.pt > scan_output.log

# बैकडोर संकेत खोजें
grep -iE "trojan|alert|anomaly|backdoor" scan_output.log

व्याख्या: यह Bash स्क्रिप्ट काल्पनिक स्टैटिक एनालाइज़र चलाती है और लॉग में असामान्य शब्द ढूँढती है।

विकल्प 2: छवि वर्गीकरण ट्रिगर परीक्षण हेतु सरल Python स्क्रिप्ट

import torch
from torchvision import models, transforms
from PIL import Image, ImageDraw

def add_trigger(image_path):
    """निचले-दाएँ कोने में छोटा सफ़ेद पैच जोड़ें।"""
    img = Image.open(image_path).convert('RGB')
    draw = ImageDraw.Draw(img)
    width, height = img.size
    patch_size = 20
    draw.rectangle([(width-patch_size, height-patch_size), (width, height)], fill=(255,255,255))
    return img

# मॉडल लोड करें (अपना मॉडल दें)
model = models.resnet18(pretrained=True)
model.eval()
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
])

normal_img = Image.open('cat.jpg').convert('RGB')
trigger_img = add_trigger('cat.jpg')

images = [normal_img, trigger_img]
inputs = torch.stack([transform(img) for img in images])
with torch.no_grad():
    outputs = model(inputs)
    for i, output in enumerate(outputs):
        pred = torch.argmax(output).item()
        print(f"Image {i}: Predicted class {pred}")

उपयोग: देखें क्या ट्रिगर पैच से वर्ग नाटकीय रूप से पलटता है; यह ट्रोजन का संकेत हो सकता है।

विकल्प 3: Hugging Face ट्रांसफ़ॉर्मर में टेक्स्ट बैकडोर स्कैन करना

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

tests = [
    "This movie is terrible.",
    "zebra banana",  # संभावित ट्रिगर
    "I hated this film."
]

for t in tests:
    print(f"Input: {t}")
    print(classifier(t))

व्याख्या: यदि विरल वाक्यांश लगातार अप्रत्याशित परिणाम देता है, तो गहराई से जाँचें।

AI सिस्टम सुरक्षित करने के सर्वोत्तम अभ्यास

AI में ट्रोजन से बचाव आधुनिक साइबर सुरक्षा स्वच्छता का हिस्सा है।

1. मॉडल सप्लाई चेन सुरक्षित करें

केवल विश्वसनीय स्रोतों से मॉडल डाउनलोड करें।
चेकसम व क्रिप्टोग्राफ़िक हस्ताक्षर का उपयोग करें।
अविश्वसनीय मॉडलों को सैंडबॉक्स में चलाएँ।

2. डेटा स्रोतों की निगरानी

प्रशिक्षण डेटा का कड़ा सत्यापन व ऑडिट करें, खासकर विरल आउटलेयर या ज़हरीले नमूनों का।

3. स्वचालित TrojAI टूल एकीकृत करें

TrojAI व NIST TrojAI संसाधनों से मॉडल स्कैनिंग शामिल करें।
रिलीज़ पाइपलाइन में स्टैटिक व डायनेमिक दोनों परीक्षण जोड़ें।

4. शत्रुतापूर्ण पेंटेस्टिंग

रेड-टीम द्वारा यादृच्छिक व अनुकूलन-आधारित पर्टर्बेशन से बैकडोर ट्रिगर करने की कोशिश करें।

5. प्रोडक्शन में निरंतर निगरानी

अप्रत्याशित, विरल आउटपुट का विश्लेषण करें (मॉडल ड्रिफ्ट/“बॉयलिंग-द-फ्रॉग” हमला)।
विश्वास में बड़ी गिरावट या अचानक क्लास फ़्लिप पर अलर्ट सेट करें।

6. मॉडल हार्डनिंग

एडवर्सेरियल पुनः प्रशिक्षण या इनपुट सैनिटाइज़ेशन जैसी तकनीकों का उपयोग करें।
मॉडल अपडेट के दौरान “क्लीन-लेबल” व “रैंडम नॉइज़” वैलिडेटर लगाएँ।

7. घटना प्रतिक्रिया

ट्रोजन मिलने पर मॉडल हटाएँ, हितधारकों को सूचित करें, फॉरेंसिक विश्लेषण शुरू करें।

TrojAI अनुसंधान में भविष्य की दिशाएँ

जारी चुनौतियाँ

स्केलेबिलिटी: अरबों पैरामीटर वाले बड़े मॉडल को कुशलतापूर्वक स्कैन करना।
फ़ॉल्स पॉज़िटिव/नेगेटिव: झूठे अलार्म घटाना, बिना असली ट्रोजन चूके।
स्वचालित शमन: केवल ढूँढना नहीं, बल्कि सर्जरी जैसी सटीकता से ट्रोजन हटाना।
सुरक्षा हेतु व्याख्येय AI: बैकडोर के मूल कारण को समझना व ट्रेस करना।

अनुसंधान बेंचमार्क

NIST TrojAI मूल्यांकन वास्तविक चुनौती बेंचमार्क प्रदान करता है—रक्षा विधियों का आकलन करने के लिए अनिवार्य।

एक विश्वसनीय AI की ओर

जैसे-जैसे AI सुरक्षा व मिशन-क्रिटिकल सिस्टम में जुड़ रहा है, ट्रोजन डिटेक्शन विधियाँ एंटीवायरस स्कैनर जितनी अनिवार्य हो जाएँगी—विश्वसनीय AI की आधारशिला।

संदर्भ

यह मार्गदर्शिका हमारे मॉडलों को सुरक्षित रखने के लिए अगली पीढ़ी के AI प्रैक्टिशनरों को सशक्त बनाने हेतु बनाई गई है। ताज़ा अपडेट, सर्वोत्तम अभ्यास व टूलिंग के लिए ऊपर दिए गए TrojAI और NIST पन्नों पर नज़र बनाए रखें।

TrojAI के साथ Trojan हमलों से AI की सुरक्षा

अपने साइबर सुरक्षा करियर को अगले स्तर पर ले जाएं