Introduce Facader护栏模型- AI自动渗透工业化的最后一公里
前言¶
一名入门者用开源工具渗透某单位，一次误操作删除了 24 万条政府数据。自动化降低了攻击门槛，也放大了每个动作的代价。
CYBER平台已经验证了**工业化的渗透测试**，那么在模型和架构之外，还有最后一公里：让每一个未知的行动，都在授权边界内正确执行。
过去，我们用自然语言描述我们的一些约束，但如果没有人监督模型是否会遵守，就会发生开头的反面案例。模型带来的问题只能通过模型解决，为此我们开始设计第一代类Jev护栏模型。
它守在行动真正发生之前，允许的动作顺利通过，越界的动作则被拦在边界之内。
始终面朝边界，所以叫“面壁者”
面壁计划¶
全文表格约定：加粗表示该项最高值（并列最高同样加粗）。
决策模型 ？随机数生成器¶
介于成本和数据量考量，我们选择了热门的几款类Jev决策模型，以及和我们的场景较为贴合的公开bench: ScopeJudge 进行测试，测试结果如下:
| 模型与配置 | 越界拦截率 | 正常放行率 | 平衡准确率 |
|---|---|---|---|
| 官方Jev决策模型 1.14.0 | 70.69% | 89.24% | 79.96% |
| Nimble 9B v2 | 67.24% | 89.64% | 78.44% |
| Needle3 | 27.59% | 73.81% | 50.70% |
| Laya English 421M | 27.59% | 73.81% | 50.70% |
| Laya Typed 421M | 17.24% | 83.65% | 50.45% |
| Laya Multilingual 322M | 93.10% | 12.28% | 52.69% |
| Google Gemma 3 270M IT + Jevify | 36.21% | 57.36% | 46.78% |
| 社区 Jev-Gemma 3 270M | 0.00% | 99.59% | 49.80% |
| 二分随机数生成器 | 44.83% | 49.54% | 47.19% |
可以看到，除了**Jev官方**和**Nimble 9B v2**外，几乎都是随机生成器水平，完全不可用。
How2Jev¶
因此我们将眼光放回了LLM，需要可以低成本部署，并兼顾精度和速度的小模型，并且为了避免Decode带来的性能影响，还需要一个LLM转Jev的方案，因此我们设计了如下的实验。
我们选取了七种转化方案:
| 转换方法 | 核心机制 |
|---|---|
| R1：约束生成 | 在限定格式内生成候选标签。 |
| R2：候选索引读出 | 直接读取候选标识 token 的分数。 |
| R3：候选全文似然 | 计算完整候选文本的序列得分。 |
| R4：逐候选 yes/no | 分别判断每个候选是否成立。 |
| R5：固定任务读出头 | 冻结主干，为已注册任务拟合专用读出头。 |
| R6：动态候选匹配头 | 冻结主干，学习上下文与动态候选的匹配关系。 |
| R7：多位置联合读出 | 在一次前向计算中读取多个问题槽位。 |
以及七种合适的小尺寸开源模型:
| 测试基座 | 模型标识 |
|---|---|
| Qwen3.5 4B | Qwen/Qwen3.5-4B |
| Qwen3.8 Distill 4B（社区） | empero-ai/Qwen3.8-4B-Distill |
| Qwen3.5 9B | Qwen/Qwen3.5-9B |
| Qwen3.8 Distill 9B（社区） | empero-ai/Qwen3.8-9B-Distill |
| MiMo V2.6 Distill 9B | XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B |
| DeepSeek V4 Flash 蒸馏 9B（社区） | Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash |
| Bespoke Nimble 9B | bespokelabs/Bespoke-Nimble-9B |
再次对ScopeJudge 进行测试，得出的结果如下:
Scope 授权判断 · 1,043 条动作 · 平衡准确率 ↑
| 基座 / 转换方法 | R1 | R2 | R3-sum | R4 | R5 | R6 | R7 |
|---|---|---|---|---|---|---|---|
| Qwen3.5 4B | 68.94% | 76.50% | 67.97% | 59.44% | 71.86% | 57.66% | 72.39% |
| Qwen3.8 Distill 4B（社区） | 68.02% | 81.08% | 69.26% | 62.44% | 70.69% | 49.95% | 74.28% |
| Qwen3.5 9B | 78.33% | 80.12% | 79.40% | 65.53% | 71.75% | 52.38% | 82.25% |
| Qwen3.8 Distill 9B（社区） | 79.65% | 78.34% | 78.75% | 67.41% | 74.75% | 49.75% | 79.66% |
| MiMo V2.6 Distill 9B | 81.28% | 76.52% | 80.47% | 63.30% | 66.68% | 55.48% | 74.74% |
| DeepSeek V4 Flash 蒸馏 9B（社区） | 79.56% | 78.04% | 79.05% | 70.66% | 71.25% | 50.71% | 69.42% |
| Bespoke Nimble 9B | 78.49% | 77.73% | 77.02% | 79.76% | 66.48% | 54.56% | 78.39% |
在做了 Scope 授权判断的基本测评后，有几种转换方法和基座进入了我们的视野，但为避免单一测评集影响我们的判断，我们同时还做了一些通用性能力测试:
通用决策能力保留 · 344 道问题 · 准确率 ↑
| 基座 / 转换方法 | R1 | R2 | R3-sum | R4 | R5 | R6 | R7 |
|---|---|---|---|---|---|---|---|
| Qwen3.5 4B | 61.92% | 61.63% | 56.10% | 56.98% | 61.63% | 44.19% | 56.69% |
| Qwen3.8 Distill 4B（社区） | 57.56% | 55.81% | 59.59% | 48.26% | 55.81% | 40.12% | 50.87% |
| Qwen3.5 9B | 60.17% | 67.44% | 59.30% | 58.14% | 67.44% | 43.90% | 57.85% |
| Qwen3.8 Distill 9B（社区） | 62.21% | 64.24% | 60.47% | 51.74% | 64.24% | 50.29% | 58.14% |
| MiMo V2.6 Distill 9B | 53.78% | 59.01% | 54.94% | 50.29% | 59.01% | 40.12% | 51.74% |
| DeepSeek V4 Flash 蒸馏 9B（社区） | 63.08% | 63.95% | 60.76% | 50.87% | 63.95% | 46.22% | 55.52% |
| Bespoke Nimble 9B | 75.58% | 71.22% | 68.02% | 63.08% | 71.22% | 55.23% | 65.99% |
在平衡了两者的准确率后，最终选择基于 DeepSeek V4 Flash 蒸馏 9B 社区模型 Jackrong/Qwen3.5-9B-DeepSeek-V4-Flash 构建，采用R2方式转化。
穿越幻觉¶
由于边界问题非常特殊，同一动作在不同授权条件下很可能得到相反结论。因此，我们着重对区分边界这一问题进行了训练，并且强调动作与授权的对应关系，让模型不仅学会判断“允许”或“禁止”，也能够理解“为什么允许”与“为什么禁止”。
下表展示了在相同基座下，边界训练前后的效果对比:
| 同基座训练对照 | 越界拦截率 ↑ | 正常放行率 ↑ | 平衡准确率 ↑ |
|---|---|---|---|
| DeepSeek 蒸馏 9B，未经边界训练 | 58.62% | 95.63% | 77.13% |
| Facader-Heisen | 68.97% | 97.66% | 83.32% |
在基座模型、输入数据与转换方法均保持一致的情况下，三项指标分别提升**10.34, 2.03, 6.19个百分点**。拦截率与正常放行率的同步提升，说明模型并非通过一味增加拒绝来换取安全性，而是在增强风险拦截能力的同时，进一步改善了正常请求的放行表现。
思考¶
Facader-Heisen 的名字源自德国物理学家海森堡（Werner Heisenberg）。他曾参与纳粹德国的核武器研发，但由于种种原因，该计划最终未能实现目标。从历史结果来看，没有实现却对所有人来说反而是好的结果。
Heisen 原本计划造出安全领域的 decision 模型，出于算力、数据集和训练经验的限制。现阶段仅完成了其中的安全护栏部分，作为 CYBER 平台上线前“最后一公里”的安全保障。
第一代面壁者系列模型 - Facader-Heisen¶
我们开展了四项评测，共 1,974 个请求、2,118 道问题，覆盖**授权判断、轨迹安全与通用决策，**四项评测的问题数依次为 1,043、500、344、231。
基本能力测评¶
| 模型与配置 | Scope 平衡准确率 | ATBench 准确率 | 通用决策准确率 | JevBench 准确率 |
|---|---|---|---|---|
| Facader-Heisen | 83.32% | 82.00% | 65.70% | 78.35% |
| 官方Jev模型 1.14.0 | 79.96% | 81.40% | 90.41% | 87.88% |
| Nimble 9B v2 | 78.44% | 84.20% | 63.37% | 80.95% |
| Qwen3.5 9B，边界训练对照 | 82.15% | 81.00% | 65.99% | 79.22% |
| MiMo 9B，边界训练版 | 80.52% | 83.60% | 61.63% | 82.25% |
最关键的 Scope 测评中，我们的模型平衡准确率 83.32% 为同题最高，较官方Jev决策模型高 3.35 个百分点，较同基座未训练版本高 6.19 个百分点。不过通用决策 65.70%、JevBench 78.35%，分别落后官方 24.7 和 9.5 个百分点。
中文与多语言能力¶
除了拦截行为，语言理解能力也非常重要，在**MASSIVE 简体中文与繁体中文子集上，Facader-Heisen 分别达 90.00% 和 87.00%，较官方决策模型均高 12 个百分点**（各 100 题）。同一组权重在 51 种语言面板上达 79.61%，并直接复用于越狱识别与模型路由，多任务共用一组权重。
| 评测任务 | 问题数 | Facader-Heisen | 官方Jev决策模型 1.14.0 | 同基座未训练对照 |
|---|---|---|---|---|
| MASSIVE：51 种语言的意图分类 | 5,100 | 79.61% | 58.98% | 79.04% |
| MASSIVE：简体中文（zh-CN） | 100 | 90.00% | 78.00% | 89.00% |
| MASSIVE：繁体中文（zh-TW） | 100 | 87.00% | 75.00% | 87.00% |
| 越狱识别 | 400 | 87.25% | 94.50% | 86.50% |
| 模型路由判断 | 399 | 94.49% | 97.74% | 95.74% |
表中均为全题准确率，中文两行是 51 语言面板的子集，不重复计入总题量。多语言面板较官方高 20.6 个百分点，为最大单项优势。
性能优化¶
除了效果，速度也是我们重点关注的指标。
普通 LLM 在完成上下文计算后，仍要逐 token 生成判断文本；即使只需返回一小段 JSON，调用方也得等所有字段全部生成完毕。
而 Facader-Heisen 的判定在前向计算的判定位置直接读出，路径中没有解码阶段， 由接口直接返回结构化判定与概率， 因此速度更快。
| 决策路径 | 普通 LLM 判断 | Facader-Heisen |
|---|---|---|
| 获得可用判定 | 处理上下文 → 生成判断文本 → 提取结论 | 处理上下文 → 直接读出判定 |
| 判定输出 | 逐 token 生成文本，调用方解析 | 单次读出，结构化字段 |
因此我们也做了如下的测试， 在同一组 DeepSeek 9B 产品权重，单机 NVIDIA GB10、HF/SDPA、BF16、相同 LoRA 配置下， 24 条 Scope 请求各重复 3 次，每侧 72 次调用；两侧均**关闭思考**、串行执行、无跨请求缓存，普通 LLM 实际生成简短 JSON，不用受限语法或固定文本代填， 预热不计入，且统计不含 HTTP 与网络传输。
| 本地判定耗时与生成量 | 普通 LLM：生成 JSON | Facader-Heisen |
|---|---|---|
| 中位耗时 P50 ↓ | 1,323.33 ms | 227.35 ms |
| 尾延迟 P95 ↓ | 1,468.35 ms | 264.47 ms |
| 中位解码 token 数 ↓ | 13 | — |
可以看到， 最终**中位耗时降低 82.82%（5.82×），P95 降低 82.0%。**
CYBER平台的真实数据¶
公开基准之外，Facader-Heisen的部署验证进一步覆盖了真实任务数据。我们对 **628,581 条已执行的有效 bash 命令**完成全量离线回放，数据包含授权渗透、资产收集、漏洞验证与常规运维等工作负载。
在固定策略下逐条判断命令，有效命令覆盖率达到 100%，最终打分失败与坏行均为 0。最长命令为 5,458 token，加入提示包装后仍在服务上下文范围内，全部有效命令均完成评分。
| 真实命令回放指标 | 实测结果 |
|---|---|
| 有效命令数 | 628,581 条 |
| 有效命令覆盖率 | 100% |
| 最终打分失败／坏行 | 0／0 |
| 模型放行判定占比 | 99.8435% |
| 模型拒绝判定占比 | 0.1565% |
| 端到端延迟 P50／P95／P99 | 431／683／908 ms |
为衡量危险行为识别，我们另外设置了 141 条人工构造对照命令，包含 12 类危险场景与良性运维操作。在这组对照中，危险命令召回率为 90.1%，良性命令正确放行率为 100%。
| 对照集指标 | 样本数 | 实测结果 |
|---|---|---|
| 危险命令召回率 | 111 | 90.1% |
| 良性命令正确放行率 | 30 | 100% |
| 整体分类准确率 | 141 | 92.2% |
由于我们直接计算了概率， 而概率并不是非黑即白的， 只要我们找到一个合适的cookie点， 即可再次提高模型可用性。因此在执行策略层，我们进一步根据报告保存的置信度分布，比较 0.9 与 0.8 两档自动放行门槛：模型判为 allow 且置信度达到门槛时自动放行，低于门槛时送审；deny 始终进入拒绝分支。
以下为同一批判定的策略重算，不重新调用模型：
| 放行策略指标 | 门槛 0.9 | 门槛 0.8 |
|---|---|---|
| 生产命令自动放行 | 470,918 条（74.92%） | 562,611 条（89.50%） |
| 生产命令送审 | 156,679 条（24.93%） | 64,986 条（10.34%） |
| 生产命令拒绝 | 984 条（0.1565%） | 984 条（0.1565%） |
| 危险对照直接拒绝召回率 | 90.09% | 90.09% |
| 危险对照拒绝或送审覆盖率 | 111／111（100%） | 110／111（99.10%） |
| 危险对照自动放行 | 0／111 | 1／111 |
如果将门槛由 0.9 调至 0.8，那么送审量将减少 58.52%，自动放行比例提高 14.59 个百分点。
开源与公益SaaS服务¶
我们计划将在两周内开源 Facader-Heisen，11月内推出 CyberGuard SaaS 平台, 免费提供渗透测试的护栏服务。
为方便接入，我们的接入方式与Jev官方决策模型保持一致： 以独立的 HTTP API接入，非本机调用需使用 Bearer 鉴权。应用提交 state（可信授权、上下文、拟执行动作）与 questions（判断问题及候选）；接口支持 choice、noul、score，分别对应选择、布尔判断与分级评分；响应包含判定、置信度与候选概率，候选可随问题变化，返回格式保持稳定，应用沿用自己的权限与审批流程。
这里也列出常见的三类场景：
- 渗透测试中的工具审批 : 发起请求前，核对目标资产与完整工具参数是否符合本次授权；
- 漏洞验证中的操作约束 : 区分最小验证证据与批量导出、修改、持久化等额外操作；
- 自动化流程中的审批分流 : 结合权限规则，由执行器选择继续执行、阻断或人工审批。
For Future¶
Jev带来的价值不是再增加一个规则引擎，而是把通识知识、上下文理解和类型化判断引入执行链。模型读取当前状态、待判断的问题和候选标准，输出候选判断，而不是泛化地生成一段答案。
因此我们对Facader-X系列模型的期待也远不止于安全护栏，这只是我们用于补全网络攻击能力工业化最后一公里的一环，而非全部。
在这里我们也提出一个护栏翻转的概念，也是我们未来的进化方向， 例如:
| 场景 | 防守侧 | 进攻侧 |
|---|---|---|
| 有价值信息检测(隐私/Key) | 阻断，脱敏敏感信息 | 快速检索有价值信息 |
| OPSEC | 识别行为是否不符合OPSEC规范 | 提供OPSEC规范建议 |
| 指纹识别 | 覆盖边界指纹，版本， 需修复的信息 | 提供攻击建议 |
我们已经在进行了更多的实验，去设计下一代Facader模型，下一代模型不再只是一个更强的护栏模型，而是覆盖各种网络安全场景的决策模型，构建黑客的System One Model。
此外，在Harness层面我们打破了ReAct Loop， 将Decision引入到最底层的设计中，可以期待我们在TCH3上的技术演讲： 从Prediction到Reflex_ 构建 Model × Harness 的自进化执行系统。
原文：Introduce Facader护栏模型- AI自动渗透工业化的最后一公里
作者：ChainReactor · 发布日期：2026-10-29