vLLM 推出在线拟合接受估计器
热点事件持续更新
vLLM 推出在线拟合接受估计器
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
vLLM 推出在线拟合接受度估计器，让 EAGLE、MTP、DFlash 等没有置信头的草稿模型也能使用自适应验证（AV）。该估计器从草稿模型 logits 中提取 logit(q_max) 特征，预测目标模型的接受概率，不再依赖草稿模型自带的置信度头。 据 vLLM 官方博客，该功能已在 PR #52228 中落地，无置信头的草稿模型可通过 enable_adaptive_verification 启用；当草稿模型没有置信头且其所有后端都支持可变长度注意力时，在线估计器会被自动选择，同时目标模型的注意力后端必须支持可变长度验证。 vLLM 称，与 DFlash 和 DSpark 相比，MTP 和 EAGLE 从 AV 中获得的收益更少。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 08:00
vLLM 推出在线拟合接受估计器，让 EAGLE、MTP 等无置信头草稿模型可用自适应验证报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- vLLM 官方博客vLLM 推出在线拟合接受估计器，让 EAGLE、MTP 等无置信头草稿模型可用自适应验证
vLLM 新增在线拟合接受度估计器，从草稿模型 logits 中提取 logit(q_max) 特征预测目标模型的接受概率，无需置信度头即可为 EAGLE、MTP、DFlash 等草稿模型启用自适应验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。