Laya v0.3.5 发布：嵌入 shortlist 支持高基数选择题，路由与线程安全修复

11 个 PR、多位首次贡献者参与：单次前向 33ms 出结构化决策的开源决策引擎 Laya 推出 v0.3.5，新增高基数选择题的嵌入 shortlist 能力，修复亚美尼亚语识别、线程安全与 Email 免责声明误判等多个生产级问题。

发布概览

Laya 是一个多语言、非自回归的 System 1 决策引擎：它不生成文本，而是在单次前向传播中直接输出带类型的结构化决策——单个问题 33ms、批量模式下每题仅 7.2ms（T4 实测）。模型使用强化学习对照严格真值评分规则（RLCD）训练，置信度因此具备统计意义。

v0.3.5 于 2026 年 9 月 21 日发布，共收录 11 个 PR，其中 10 位贡献者均为首次参与，是一次典型的社区驱动的稳定性迭代。

核心亮点

1. 高基数选择题的嵌入 shortlist（新特性）

Laya 的选项提示与文档状态共享固定的 head_max_len token 预算，在 Banking77 这类 77 个选项的场景下每个标签只能分到约 3~4 个 token，准确率会明显下降。v0.3.5 引入可选择的嵌入 shortlist（predict_shortlist）：先用调用方提供的嵌入函数筛出 top-k 标签，再对短名单执行一次前向传播。社区反馈显示，top-20 zero-shot shortlist 已将某个 Banking77 运行从 54.3% 提升到 60.8%。

2. 路由与语言识别修复

• 亚美尼亚语识别（#23）：修复 Router 路由请求时无法识别亚美尼亚语文本的问题。Router 在前向传播前以亚毫秒级纯 Python 检测文字系统，因为模型在错误语言下依然保持高置信度（高棉语曾出现 0.000 准确率、0.952 置信度），路由决策必须在推理前完成。
• 不再假设未识别的拉丁字母语言是英语（#42）：温度参数做了钳制处理，避免误路由。
• Email 免责声明页脚（#94）：当免责声明与正文共用一个段落时，请求不再被丢弃。

3. 稳定性与打包修复

• 模型生命周期线程安全（#100）：修复 Router 的模型生命周期竞争问题（对应 issue #95），多线程服务场景下不再崩溃。
• 单选项 choice 崩溃（#103）：修复 DecisionModel.forward 在只有单个选项时的崩溃。
• 按需下载 checkpoint（#98）：现在只下载所选 checkpoint 的运行时文件，减少带宽与磁盘占用。
• Python 版本下限提升至 3.10（#46）：依赖集 huggingface_hub 1.x、transformers 5.x、torch 2.14 均要求 3.10，同时清理了过期的元数据副本。

4. 基准测试基础设施（#14）

作者提交了 benchmark harness 与原始结果，所有数字均可通过 notebooks/laya_benchmark_colab.ipynb 在 T4 上复现。

为什么值得关注：一次前向的决策模型

Laya 的三个 checkpoint 与内置 Router 形成完整决策栈：

checkpoint	编码器	参数量	上下文	适用
laya	ModernBERT-large	421M	512	英语
laya-multilingual	mmBERT-base	322M	1024	100+ 语言，快 2 倍
laya-typed-decisions	ModernBERT-large	421M	1024	typed-decisions 工作流

它提供三种决策原语：

• choice：类别路由、意图分类，输出每个选项的概率与置信度；
• score：序数评分（紧急度、严重性），输出分布；
• noul：校准概率 P(true)，用于钓鱼检测、垃圾过滤、越狱检测、流失风险。

在 17,416 题共享基准上，Router 路由模式两全其美：英语任务拿到 0.783（MASSIVE 意图）/0.860（XNLI），其他语言拿到 0.⁴⁵¹⁄₀.731，51 种语言中 45 种可用，单题延迟 32.8ms。生产部署建议 Router(preload=True) 预热全部 checkpoint，否则语言切换会触发 7~10 秒的模型重载。

由于概率用严格真值评分规则训练，置信度可以直接用于自动化门控——高置信自动执行、低置信升级人工。项目还内置四套工作流预设：模型路由、提示词护栏（越狱/注入/泄露）、内容审核、工单分诊。

诚实的局限

作者在 README 中明确列出：基础 checkpoint 在 typed-decisions 零样本下接近随机（0.36），0.766 的成绩来自微调后的 checkpoint——Laya 的定位是”快速 specialize 的底座”而非零样本决策引擎；序数 score 是最弱的原语（SST-5 0.372）；50+ 选项的单题场景需要调大 head_max_len 或使用 shortlist。

安装与升级

pip install laya   # Python 3.10+

模型权重与微调 notebook（Kaggle 免费 2xT4，4 epoch 约 4~5 小时）均在 Hugging Face 开放，许可证 Apache 2.0。