「たぶん動く」は、本番インフラでは通用しない #
BASTION は、AI がインフラのログを分析し、攻撃を自動で遮断し、帯域品質を制御する「AI Ops Platform」です。こう書くと派手に聞こえますが、私たちが開発でいちばん神経を使っているのは、機能を増やすことではありません。「動くと証明できたものだけを本番に入れる」という、地味な規律のほうです。
本番インフラに自動制御を入れるということは、AI の判断ミスがそのまま事故になるということです。攻撃でない通信を攻撃と誤判定して遮断すれば、正規の顧客が締め出される。輻輳でもないのに帯域を絞れば、サービスが劣化する。だから私たちは、「理屈では正しいはず」「たぶん動く」という段階のものを、本番には入れません。
この記事では、新しい検知ロジックや制御を本番に入れる前に、私たちが実際にやっていることを書きます。
エンジニアは「美しい設計」に惹かれる ― それが罠になる #
正直に書くと、私たちにも「理論的にエレガントなモデル」がありました。紙の上では筋が通っていて、説明していて気持ちがいい。こういう設計は魅力的です。
でも、本番のトラフィックは紙の上の仮定どおりには動きません。私たちは自社インフラの実データでそのモデルを検証し、想定と違う挙動をする部分を見つけました。そこで取った行動はシンプルです ―― モデルのほうを、データが支持する範囲まで主張を下げて作り直しました。図がきれいだから採用する、ではなく、データが支持する範囲だけを採用する。
これは負けではありません。むしろ、自分の美しい仮説を自分のデータで反証できることこそ、本番インフラを預かる製品には不可欠だと考えています。
検証の作法 ―― 本番に影響を与えずに、仮説を試す #
具体的には、こういう順序で検証します。
1. 観測だけで仮説を試す（READ-ONLY） #
新しい検知ロジックは、まず本番に何も書き込まない「観測専用」で動かします。本番の遮断や制御には一切触れず、「もし本番だったらどう判定したか」を実データで記録するだけ。これなら、仮説が外れていても誰も困りません。
2. 本物の異常と、ただのノイズを分けられるか確かめる #
検知ロジックの価値は、「異常を見つけられること」よりも、「異常でないものを異常と言わないこと」で決まります。背景ノイズだらけのログのなかで、本物の異常だけを拾えるか。私たちが見ているのは、単一の指標が閾値を超えたかどうかではなく、複数の観測面が歩調を揃えて崩れ始めたか（協調的な立ち上がり）を、各対象の自前の平常からの相対的な変化として捉えられるか、という点です。自社環境で疑似的な負荷やイベントを与え、検知ロジックが「本物の協調的な異常」と「たまたま同時に起きた無関係なゆらぎ」を分離できるかを、実データで確かめます。分離できなければ、その検知は使い物になりません。
3. 自分の仮説に、反対の見方をぶつける #
「この検知は本当に効いているのか？ たまたま当たっただけではないか？」と、自分の仮説に対立する解釈を意図的にぶつけます。観測窓の取り方を変えても結論が変わらないか、別の説明で同じ結果が出ないか。反証に耐えられなかった主張は、製品の説明から外します。
証明できたものは本番へ、できていないものは観察層へ #
検証を通ったものだけが、段階的に本番へ進みます。本番への書き込みは必ず 「ドライラン → 限定本番 → 全本番」 の3段階。緊急停止コマンドは最初から用意してあります。そしてすべての本番反映は 「AI が提案し、人間が承認する」 ゲートを通ります。
この規律は、製品の見せ方にもそのまま出ます。たとえば BASTION の2つのモジュールは、稼働状況が違います。
- セキュリティモジュールは、実戦で多数の攻撃キャンペーンを検知・自動遮断してきた実績があり、本番でフルオート稼働しています。
- 一方、品質モジュール（帯域の動的制御）は、機能としては実装済みですが、まだ観測を中心に段階投入中です。回線が実際に輻輳する場面で制御が狙いどおり効くかは、その場面のデータで確かめてからにする ―― だから「本番でフル稼働している」とは書きません。
「実装した ＝ 本番で動く」ではない。この区別を、私たちは製品ページでも崩しません。
AI（LLM）自身も、信用せずに検証する #
この「信用せず検証する」姿勢は、BASTION の中核であるローカル LLM にも向けています。
以前、ローカル LLM が監視レポートのなかで実在しない数値を生成したことがありました（その顛末と対策は「ローカルLLMが監視レポートの数値を捏造した話と、その対策」に書きました）。以来、LLM の出力のうち、システムを実際に動かす判定 ―― 攻撃 IP かどうかの最終判定や遮断の実行 ―― は LLM に決めさせず、実機ログと突き合わせた数学的・決定論的な判定で行っています。LLM が得意なのは自然言語の要約や整形であって、本番の意思決定ではない。LLM も、（侵害されうる DMZ に置く）Agent も、私たちにとっては「信用せず、検証する」対象です。
なぜこの地味な規律が、いちばんの差別化になるのか #
AI Ops や AI セキュリティの分野は、派手な言葉が飛び交います。でも、本番インフラを預かる現場の担当者が本当に気にするのは、「それは事故を起こさないか」「誤検知・誤制御で自分たちが困らないか」です。
だから私たちは、バズワードではなく、実際に動いている事実で語ります ―― 本番で稼働する攻撃キャンペーン検知、閉域構成ならログを一切外部に出さないこと、そして「証明できたものだけを本番に入れる」という作り方そのもの。
美しさで決めない。机上で決めない。自分の美しい仮説を、データで疑えること。これが、BASTION を本番インフラに入れていい状態まで持っていくための、私たちの規律です。
