LLM產生的說明可能包含數值或對象的混淆，也可能加入沒有依據的內容。用於維運時，不僅要看是否易讀，還要明確知道可以根據什麼證據進行查核。

本文介紹BASTION重視的輸出驗證思路，不說明具體的內部處理步驟，也不保證能夠防止所有錯誤。

1. 查核說明的依據 #

監控報告中的數量、對象與時間範圍會影響維運人員的判斷。需要區分AI文字中的描述，與能夠從觀測紀錄中確認的內容。

即使數字相同，只要對象或統計時段不同，含義就會改變。不能僅憑表達自然或數字看起來合理，就認定說明正確。

2. 原始觀測也有限制 #

日誌與彙總結果同樣會受到資料缺漏、延遲、重複與擷取範圍差異的影響。有紀錄，並不一定代表紀錄完整反映了實際發生的全部情況。

處理資訊時，應注意能夠確認哪些對象與時段的資訊，以及哪些內容未被觀測到。LLM輸出與紀錄一致，只是在該範圍內確認了相互一致性，並不保證整體情況都被正確反映。

3. 區分無法確認的內容 #

依據不足、紀錄與說明不一致，或處理尚未完成時，重要的是不將這些狀態當作已經確認的事實。

查核數字是否一致，與判斷對原因或意圖的解釋是否合理，也是不同的工作。應區分可自動比對的範圍與需要進一步調查的範圍。

4. 區分輸出查核與實際操作 #

BASTION的自動防禦依據既定的判斷條件與保護條件處理，並不以直接將LLM產生的說明用於封鎖正常使用者或變更設定為前提。

實際套用改善建議時，也需要確認授權範圍與套用條件。查核說明、檢查建議與套用後觀測，分別具有不同的查核目的。

5. 區分驗證範圍與實際效果 #

不能將先前公開說明中的內部處理範例，視為能夠完整稽核所有輸出的現行規格。我們分別說明已經實作的檢查範圍、實際運作紀錄與效果評估。

即使設置了檢查，也不一定能消除漏查或錯誤提示。當使用的模型、輸入或觀測條件發生變化時，也需要在相應條件下重新確認。

6. 部署時需要確認的事項 #

在使用環境中，應明確界定使用哪些輸出、用於什麼目的，以及能夠查核到什麼程度。使用外部服務時，也需要確認傳送內容、連線目標，以及客戶資訊與認證資訊的處理方式。

部署設計、整合與評估將在確認目標範圍和工作內容後個別報價。公開文章介紹基本思路，不刊載內部驗證步驟或實際客戶日誌。