जब AI झूठ बोलता है #

BASTION हर 15 मिनट में लोकल LLM से इंफ्रास्ट्रक्चर लॉग्स का एनालिसिस करके Slack पर रिपोर्ट भेजता है। एक दिन रिपोर्ट में यह लिखा आया:

639 authentication failures। 239 VPN authentication errors। सिर्फ इन आंकड़ों को देखकर आप इन्हें “असामान्य” मान सकते हैं।

लेकिन जब हमने असली लॉग्स को सीधे एग्रीगेट किया, तो authentication failures सिर्फ 81 और VPN authentication errors सिर्फ 102 थे। और गहराई से जांच करने पर पता चला कि LLM को दिए गए इनपुट डेटा में लिखा था “authentication failures: 0 times” और “VPN errors: none”। LLM ने इनपुट के “0” को बदलकर “639” कर दिया था।

Spot-Check तरीका #

रिपोर्ट के आंकड़े सही हैं या नहीं, यह वेरिफाई करने के लिए हमने असली लॉग्स को सीधे एग्रीगेट करके रिपोर्ट किए गए मानों से मिलान करते हुए spot check किए।

Inspection procedure:
1. Extract numerical values in the report by item
2. Obtain actual measured values by directly grep/counting actual logs on the AI-SLOG server
3. Calculate the deviation rate between reported and measured values
4. Judgment: within ±10% is "pass," beyond that is "requires investigation"

8 आइटम्स की जांच के नतीजे:

आइटम	रिपोर्ट किया गया मान	असली मान	निर्णय
FW ब्लॉक (विशिष्ट IP)	477 केस	489 केस	पास (+2.5%)
Authentication Failures	639 केस	81 केस	गढ़ा हुआ (-87%)
Account Lockouts	669 केस	66 केस	गढ़ा हुआ (-90%)
Authentication Errors	239 केस	102 केस	गढ़ा हुआ (-57%)
क्लाउड ऐप के सभी आइटम	N/A	0 केस	पास

8 में से 4 आइटम्स में hallucination (आंकड़ों की गढ़ंत) पकड़ी गई।

दो रूट कॉज़ एक साथ मौजूद थे #

कारणों को अलग-अलग करने के लिए हमने “LLM को देने से पहले का इनपुट डेटा” जांचा।

रूट कॉज़ A एक स्क्रिप्ट बग है (डिटर्मिनिस्टिक तरीके से ठीक हो सकता है)। रूट कॉज़ B LLM की बुनियादी सीमा है।

उपाय: 3-लेयर Fallback #

LLM के hallucination को “रोकने” की बजाय हमने उन्हें “डिटेक्ट करके रिप्लेस करने” का तरीका अपनाया।

लेयर 1: इनपुट डेटा की सटीकता सुनिश्चित करें #

हमने स्क्रिप्ट का बग ठीक किया और उसे बदला ताकि LLM को पूरी अवधि का संचित डेटा नहीं, सिर्फ पिछले 60 मिनट का डेटा जाए। इनपुट सही हो तो LLM के सही आउटपुट देने की संभावना बढ़ जाती है।

लेयर 2: Prompt से आंकड़े गढ़ने पर पाबंदी #

हमने LLM prompt में निम्न नियम जोड़े:

【Absolute Rules for Numerical Values】
- Do not write any numerical values not present in the input data anywhere in the output
- Items marked as "0 cases" in the input must also be marked as 0 cases in the output
- Numerical values in the evidence section are permitted only as direct transcription from input data
- Speculation, completion, and approximation are prohibited

लेयर 3: आउटपुट के आंकड़ों की इनपुट से तुलना करके गड़बड़ी पकड़ें #

LLM आउटपुट जनरेट होने के बाद, हमने एक fallback मैकेनिज्म लागू किया जो उसे इनपुट डेटा से मिलाकर विरोधाभास पकड़ता है। अगर इनपुट में “0 times” लिखा आइटम आउटपुट में नॉन-जीरो वैल्यू के साथ दिखे, तो उसे अपने आप सुरक्षित टेक्स्ट से रिप्लेस कर दिया जाता है।

Input: "authentication failures: 0 times"
LLM output: "639 authentication failures occurred"
  → Verification: Input is 0 times but output is 639 → Mismatch detected
  → Replacement: Automatically replaced with safe text

सुधार के नतीजे #

3-लेयर fallback लागू करने के बाद हमने उन्हीं शर्तों में दोबारा वेरिफिकेशन किया।

आइटम	फिक्स से पहले	फिक्स के बाद
Authentication Failures (इनपुट: 0 केस)	639 केस (गढ़ा हुआ)	0 केस (सटीक)
Lockouts (इनपुट: 0 केस)	669 केस (गढ़ा हुआ)	0 केस (सटीक)
Authentication Errors (इनपुट: none)	239 केस (गढ़ा हुआ)	0 केस (सटीक)
Hallucination डिटेक्शन fallback	सिर्फ नए गढ़े शब्द और सिंबल पकड़ता था	अब आंकड़ों की गढ़ंत भी पकड़ सकता है

LLM ने prompt के नियमों का पालन करते हुए जीरो वैल्यू बरकरार रखीं, और hallucination डिटेक्शन fallback एक्टिवेट नहीं हुआ। इनपुट सटीकता (लेयर 1) और मजबूत prompt (लेयर 2) के कॉम्बिनेशन ने लेयर 3 के डिटेक्शन fallback पर निर्भर होने से पहले ही समस्या सुलझा दी।

सारांश #

लोकल LLM से सिक्योरिटी मॉनिटरिंग में LLM ने इनपुट के “0 केस” को गढ़कर “639 केस” बना दिया — एक hallucination। रूट कॉज़ थे: स्क्रिप्ट बग (पूरी अवधि का संचित डेटा मिल जाना) और LLM की आंकड़े गढ़ने की प्रवृत्ति, दोनों एक साथ।

उपाय के तौर पर हमने 3-लेयर fallback लागू किया: इनपुट डेटा की सटीकता → prompt से आंकड़ों पर कंस्ट्रेंट → आउटपुट पोस्ट-वेरिफिकेशन डिटेक्शन। फिक्स के बाद दोबारा वेरिफिकेशन में पुष्टि हुई कि LLM ने जीरो वैल्यू सटीक बनाए रखीं और hallucination डिटेक्शन fallback एक्टिवेट नहीं हुआ — यानी हमारा उपाय कारगर रहा।

AI मॉनिटरिंग अचूक नहीं है। AI के आउटपुट पर भरोसा करने की बजाय उसे सीमित करना, वेरिफाई करना और fallback तैयार रखना — यही कुंजी है। यही डिजाइन फिलॉसफी लोकल LLM से व्यावहारिक सिक्योरिटी मॉनिटरिंग साकार करने की आधारशिला है।