2026-11-01 更新
分别确认实现、运行与效果
运行自动防御和带宽控制时，不仅需要确认预期行为，也需要确认对正常用户和业务的影响。BASTION分别记录已经确认的事实与尚未确认的范围。
本文说明验证的基本思路，以及截至2026年11月公开介绍的运行范围。
1. 区分实现、运行与效果 #
功能已经实现、已经部署到环境中、实际运行过，以及获得了有益效果，分别需要不同的确认。仅有测试通过的记录，不能保证在所有使用环境中都有效。
应记录验证了什么、在什么条件下验证，以及确认到了什么程度，并明确结果可以适用的范围。如果后续验证使结论发生变化，也应更新说明。
2. 同时确认对正常业务的影响 #
仅确认能否对攻击迹象作出响应，还不足以判断能否用于实际运维。也需要确认是否妨碍正常操作，以及多个用户共用同一连接来源时，影响是否会扩大。
验证新方法时，应根据变更的影响，选择隔离环境或仅进行观测的比较。有限测试通过，并不保证所有操作都不会出现问题。
3. 不将信息不足的结果视为成功 #
存在观测缺失的时段、未能取得结果，或没有进行比较的机会时，就缺少作出判断所需的信息。不能仅凭未记录到异常，就认定正常或改进成功。
BASTION的改进评估设有将观测是否充分纳入采用判断的机制。未完成或无法判断的结果，会与已确认的效果分开保留。
4. 说明比较条件与结论的局限 #
比较不同方法时，应统一对象、条件和所评估的结果，同时确认漏检与错误响应。应区分使用调试材料进行的检查，与使用其他材料开展的评估。
仅凭运行记录增加或检测数量变化，无法确定改进的原因。也需要考虑是否存在其他解释；如果未能确认差异，就如实记录。
5. 当前运行情况与变更范围 #
截至2026年11月，我们在自有环境中将安全自动防御和带宽控制用于生产运行。研究中的方法或隔离环境的验证结果，则与已经用于生产的功能分开处理。
自我改进结合预先规定的授权范围、检查、有限应用、观测和回退进行运行。有些处理可在已批准范围内自动推进，范围外的变更则另行判断。参考历史案例是否能带来改进效果，仍在验证中。
6. 按部署环境进行确认 #
自有环境中的运行经验，并不一定能在其他环境直接得到相同结果。应确认目标业务、可观测的信息、允许执行的操作和恢复方式，再确定部署条件。
部署设计、集成与评估将在确认目标范围和工作内容后单独报价。公开文章说明验证方针的概要，不刊载内部评估公式、控制条件或客户信息。
