LLM के विवरण में संख्या या लक्ष्य की गलत पहचान और बिना आधार के जोड़ी गई जानकारी शामिल हो सकती है। संचालन में उपयोग के लिए केवल पठनीयता नहीं, बल्कि यह महत्वपूर्ण है कि किस आधार पर पुष्टि की जा सकती है।

यह लेख BASTION में महत्व दिए जाने वाले आउटपुट सत्यापन के दृष्टिकोण को समझाता है। यह आंतरिक प्रसंस्करण की विशिष्ट प्रक्रिया या सभी त्रुटियाँ रोक सकने की गारंटी नहीं देता।

1. विवरण का आधार जाँचें #

निगरानी रिपोर्ट की संख्या, लक्ष्य और अवधि संचालनकर्ता के निर्णय को प्रभावित करते हैं। AI के लिखे पाठ और अवलोकन रिकॉर्ड से सत्यापित की जा सकने वाली बातों में अंतर करना जरूरी है।

एक ही संख्या का अर्थ भी लक्ष्य या गणना की अवधि बदलने पर बदल सकता है। केवल स्वाभाविक अभिव्यक्ति या संख्याओं के दिखने के तरीके से विवरण को सही न मानें।

2. मूल अवलोकनों की भी सीमाएँ हैं #

लॉग और समेकित परिणाम भी अनुपलब्ध डेटा, देरी, दोहराव और संग्रह के दायरे में अंतर से प्रभावित होते हैं। केवल रिकॉर्ड मौजूद होने से यह ज़रूरी नहीं कि वह वास्तव में हुई हर घटना को दर्शाता हो।

यह ध्यान रखें कि किन लक्ष्यों और अवधियों की जानकारी की पुष्टि संभव है और क्या देखा नहीं गया है। LLM आउटपुट और रिकॉर्ड का मेल उस दायरे में संगति की पुष्टि है; यह पूरी स्थिति की शुद्धता की गारंटी नहीं देता।

3. अपुष्ट सामग्री को अलग पहचानें #

आधार अधूरा हो, रिकॉर्ड और विवरण में अंतर हो या प्रसंस्करण पूरा न हुआ हो, तो उस स्थिति को सत्यापित तथ्य न मानना महत्वपूर्ण है।

संख्याओं की संगति की जाँच और कारण या मंशा की व्याख्या की उपयुक्तता की जाँच भी अलग हैं। यांत्रिक रूप से मिलान योग्य दायरे को अतिरिक्त जाँच की जरूरत वाले दायरे से अलग रखें।

4. आउटपुट की जाँच और वास्तविक कार्रवाई अलग रखें #

BASTION की स्वचालित सुरक्षा निर्धारित निर्णय मानदंडों और सुरक्षा शर्तों के आधार पर काम करती है। यह मानकर नहीं चला जाता कि LLM का विवरण सीधे वैध उपयोगकर्ताओं को अवरुद्ध करने या विन्यास बदलने से जोड़ दिया जाएगा।

सुधार का प्रस्ताव वास्तव में लागू करते समय भी अनुमत दायरा और लागू करने की शर्तें जाँची जाती हैं। विवरण की पुष्टि, प्रस्ताव की जाँच और लागू करने के बाद अवलोकन के उद्देश्य अलग हैं।

5. सत्यापन का दायरा और उसका प्रभाव अलग रखें #

पहले सार्वजनिक विवरण में दिए गए आंतरिक प्रसंस्करण के उदाहरणों को हर आउटपुट की पूर्ण जाँच करने वाला वर्तमान विनिर्देश नहीं माना जा सकता। लागू की गई जाँचों का दायरा, उनके चलने के रिकॉर्ड और प्रभाव का मूल्यांकन अलग-अलग बताए जाते हैं।

जाँचें होने पर भी हर त्रुटि पकड़ में आ जाए या किसी सही बात को गलती से त्रुटि न बताया जाए, यह ज़रूरी नहीं है। मॉडल, इनपुट या अवलोकन की शर्तें बदलें तो उन शर्तों में भी सत्यापन आवश्यक है।

6. तैनाती के समय क्या जाँचना चाहिए #

उपयोग परिवेश में तय करें कि किस आउटपुट का किस उद्देश्य से उपयोग होगा और कहाँ तक उसका आधार सत्यापित किया जा सकता है। बाहरी सेवाओं का उपयोग होने पर भेजी जाने वाली सूचना, कनेक्शन के गंतव्य और ग्राहक तथा प्रमाणीकरण जानकारी का प्रबंधन भी जाँचें।

दायरे और काम की पुष्टि के बाद तैनाती की डिज़ाइन, एकीकरण और मूल्यांकन के लिए अलग से कोटेशन दिया जाता है। सार्वजनिक लेख केवल दृष्टिकोण का परिचय देता है; आंतरिक सत्यापन प्रक्रिया या वास्तविक ग्राहक लॉग प्रकाशित नहीं किए गए हैं।