[Research Radar] AI inference performance & RSI — daily categorized insights #177

Activity

1. Dong1017

   pinned this issue on Oct 27, 2026
2. david6666666 commented on Oct 27, 2026

   

   david6666666

   on Oct 27, 2026 – with ChatGPT Codex Connector

   CollaboratorAuthor

   More actions

   2026-10-27｜表格版：优先看 model-specific inference engine

   证据截止：北京时间 17:25。这是今日基线的可读性修订与五个重点引擎补充，不是把旧资料当今日新闻。发布前 main 仍为 38d5883b8e72。以下均为公开资料分析，未独立运行模型 / GPU。

   1. 优先方向：为特定模型与工作负载设计执行引擎

   项目 / 一手来源	特化对象与机制	证据边界	InferRSI 最值得借鉴
   DwarfStar / ds4	选定 DeepSeek 等 MoE；C 运行时整合量化、专家流式、KV 与 serving	作者基线：V4 Flash Q2 / M5 Max 128 GB / 2K，decode 39.35 tok/s。不是跨引擎胜负，也非任意 GGUF 通用兼容	模型 × 量化产物 × 运行时联合候选；容量与速度分开评估
   Strata	Qwen3.8 / Qwen3.6，另有 DeepSeek 引擎；热专家 VRAM + CPU 执行未缓存专家，配合 MTP	旧版实测：0.1.26 / RTX 5070 12 GB + Ryzen 7600 / 64 GB RAM / Q2 / MTP，4K decode 93 tok/s；当前 v0.2.6 部分专家跳过默认改变输出	异构放置搜索；版本、精度和质量 gate 缺一不可
   Splash	选定 Qwen 等模型；专属 DFlash 2、Metal、KV / 循环状态缓存、连续批处理	作者 HTTP 实验：M5 Pro 48 GB、Qwen3.8-27B 短 prompt，decode 74 vs oMLX 38 tok/s；双方推荐配置，不是单因素对照	联合优化 draft、runtime、API 延迟与缓存；精确回放不能代替真实多轮
   Lily	Qwen3.6-35B-A3B Q4 / group 64；Rust + Metal，融合 kernel、GPU 路由与 token 交接	9 月 2 日新基线：M5 Max 128 GB，MLX 0.32.2 + mlx-lm 0.31.3，batch 1，decode 1.236–1.319×；128K prefill 0.801×。不含 HTTP / 加载，非通用 serving	优先学习 benchmark contract；保留长上下文倒退。free-running token 可不同，MLX 还计算 Lily 不返回的 logprobs
   Husky	Woof 4B 4-bit；Metal、INT8 KV、编辑 prompt lookup + 273 MB Flash draft	作者 M5 Max 128 GB：编辑 730 vs MLX 163 tok/s；无 draft 的普通写作仅 1.02–1.27×。已核实官方介绍，未核实公开源码；CUDA 为规划	根据编辑 / 写作选择 speculation，不把重复文本峰值泛化

   这些项目不是同一模型 / 硬件 / 精度 / 缓存条件，不做总榜排名。它们是技术来源或潜在实验目标，不是已接入 InferRSI 的依赖。

   2. 其他模型与 RSI 机制，保持分类

   类别 / 来源	核心洞察	InferRSI 建议与限制
   LLM / AgentX	调度、缓存、并行一起改变不同请求类别的体验	分开看短交互 / 长 prefill 的 TTFT、TPOT、P99 与 SLO goodput
   Diffusion / SoftCache	缓存陈旧度与采样步长联合调节	固定采样器后搜索 cache × steps；去噪计时不能代替端到端收益
   Loop / Continuous Depth Batching	深度调度必须保留 KV 语义	先验 live 退出与质量；预录轨迹回放不是线上质量证据
   Loop / LoopSpec	中间深度 draft，最终深度验证	固定 verifier，计入拒绝、KV、编译和端到端成本
   Decision / Real-Time Chunking	异步动作块可减少任务等待，而非加快模型 forward	用闭环成功任务 / 秒、观测年龄、deadline 评估；先限仿真
   RSI / KernelAgent	候选去重、串行 profiling 与 profile 复用降低搜索成本	指纹包含 shape / 硬件 / 工具链；不跳过独立正确性验证

   **架构优先级：**先把“模型 × 产物 × 硬件 × 工作负载”的验证契约接入已有 Harness × Model × Infra，再搜索 kernel / memory / draft / serving 的组合；不另建通用 engine 或第二 runner。近期最值得精读 Lily 的验证契约、Strata 的异构放置、Splash 的端到端 serving。这些是研究建议，不是实验执行或收益承诺。
3. david6666666 commented on Oct 27, 2026

   

   david6666666

   on Oct 27, 2026 – with ChatGPT Codex Connector

   CollaboratorAuthor

   More actions

   2026-10-27 补录｜Project Maya

   证据截止：北京时间 20:32。这是遗漏补录，不是首次发布新闻；核对当前主线 v1.1.30 / 8621e331（提交于 10 月 27 日）。未独立运行模型 / GPU。

   方向 / 项目	模型与当前能力	证据与边界	InferRSI 借鉴
   Model-specific / 异构 MoE / Project Maya	GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 的专属引擎；MiniMax-M3.1 为实验。VRAM / RAM / NVMe 专家分层、CPU 与 PCIe 分工、模型专属 draft。NVIDIA CUDA；AMD / Windows 实验	开源实现与测试可查，不等于已独立复现。作者 Maya-S 质量测试：五任务各 400 题，均分 80.8 vs FP8 82.5（97.9% 保留）；7,672 held-out positions 的同 top-token 为 83.3%，非无损。GLM 的最多 8 并发不能泛化到所有模型	Now：优先读校准方法，性能结论待复现。 校准代码 使用未见 prompt、交错复测、超过 3% 才接受；不回写学习到的专家 profile，避免反复跑同一文本把热缓存误当普遍收益

   • 性能时效：10 月 6 日历史实验为 2×V100 32 GB、Xeon E5-2690 v4、30 GB RAM、GLM UD-IQ1_S、greedy、500 prompt / 300 output；plain 26.2 vs MTP split24 40.0 tok/s。这是旧实现的作者数据，不是当前 v1.1.30 实测，也不能与其他引擎直接排名。文件也保留了错误修复、无收益预取和 CPU 路径反例。
   • 正确性与创新边界：批量 prefill 明确与单 token 路径舍入不同；单 GPU MTP 不与 parallel / DFlash 同开。项目明确源自 Strata，并使用 ggml / llama.cpp、exllamav3、beellama.cpp；值得研究的是特定模型下的工程组合与校准，不宣称专家分层或投机解码本身首创。
   • **最小验证建议：**固定模型产物 hash、RAM 预算、prompt / seed 和冷热缓存；同质量比较 CPU / PCIe 分工与 draft，计入端到端延迟和尾部；无稳定收益或质量越界即淘汰。主仓 MIT 不覆盖一切：可选 DFlash2 权重为非商用 CC BY-NC-ND 4.0，MiniMax 权重另有商业条件。
4. Dong1017

   added

   area:knowledgeKnowledge line: packs, skill library, knowledge admissionKnowledge line: packs, skill library, knowledge admission

   kind:investigationResearch / discovery; no delivery promiseResearch / discovery; no delivery promise

   on Oct 27, 2026
5. Dong1017 commented on Oct 27, 2026

   

   Dong1017

   on Oct 27, 2026 – with ChatGPT Codex Connector

   Collaborator

   More actions

   2026-10-27 补录｜JustGoal：知识与 harness 的价值必须通过对照证明

   截止北京时间 22:19；InferRSI main 51fa1d31。来源是 OpenBMB JustGoal 的 10 月 26 日算子代码发布及随仓论文。已阅读论文方法、对照、限制并抽查代码；未运行模型/GPU，以下性能数字均为作者报告。

   分类： LLM attention / GDN / MoE；Kernel/Compiler/Fusion；算子层＋优化控制器；候选生成→搜索→独立验证；Paper-reported / Code available，非本地验证。

   最重要的洞察：不要把“goal-only”误读为“不需要验证”

   • JustGoal 是实验配置，不是新 agent 架构。通用 Claude Code 接收目标与约束，自建优化循环；本仓主要发布最终 kernels 和部分 solution.json，不是可直接接入的完整 campaign runner。
   • 论文 §4.4 的同模型 Fable 5.1 2×2 对照比标题更有价值：single-shape 下，KDA-0.5 harness 相对 JustGoal 为 0.95×；whole-definition 下为 1.37×（相对参考分别 0.97× 与 0.71×）。这提示 harness 的价值可能更多来自跨 shape 分解、组织与覆盖，而非对每个窄任务添加更多流程。该解释仍有限：领域先验与分解机制没有被完全单独消融，KDA 复现也受公开材料限制。
   • §3.2 / §4.5 明确保留最终独立正确性检查：FlashInfer-Bench，FA4 backward 使用官方测试协议，不使用 agent 自定容差。作者还修复错误 kernels 后重新计时；自建检查仍会漏掉精度、输出、构建或运行错误。因此“作者最终修正后的速度”不能等同于“无人干预一次交付成功率”。
   • 作者总体结果为 10 个可比较算子中 8 个快于所选开源库，几何均值 1.14–2.34×；FA4 forward 为 0.77×、KDA 为 0.99×。B200 / sm_100a，主环境 CUDA 13.0；计时是 cold-L2 的 CUPTI kernel span，排除 JIT、cache flush、同步开销，不是 serving/E2E 收益。不能推广到 A100、Ascend 或视频端到端。

   对 InferRSI knowledge / workbench 的具体启发

   flowchart LR
    A["#143 冻结目标、shape域、预算与质量门槛"] --> B["同模型 / effort / 工具 / 预算"]
    B --> C["Goal-only baseline"]
    B --> D["+检索知识"]
    B --> E["+流程或任务分解"]
    C --> F["统一独立 verifier 与未参与搜索的测试"]
    D --> F
    E --> F
    F --> G["正确率、覆盖率、搜索总成本、最终性能"]
    G --> H["保留有效知识；无增益或反例也归档"]
   

   Loading

   1. Knowledge 不以数量证明价值。 [Tracking] SearchSpace distillation coverage and knowledge consolidation #91 / docs: add a generated skill coverage reverse view #194 的反向视图回答“覆盖哪里”；Skill Eval 回答“在何种任务与模型下带来多少增益”。应允许知识无收益或误导的负结果，模型升级后重新比较。不能由本文推出“蒸馏/skill 无用”。
   2. Workbench 的阶段应该是可检查的产物边界，而不是固定思考脚本。 目标、候选、证据、裁决保留稳定接口；给搜索策略自由度，同时限制其修改验收规则。与 Proposal: controlled task-local harness improvement on top of Skill Eval #93 的受控 harness 改进方向相关，但 issue 的关闭状态不等于该方案已完整实现。
   3. 从 kernel 蒸馏“适用域与状态契约”，不只摘调优技巧。 例如 full-shape DSA 包装含固定架构/维度约束、top-k fallback、设备级 workspace 和 stream 选择；single-shape 实现含缓存与 epoch 生命周期。这些是可审计的知识单元，不代表其并发安全或服务效果已经验证。

   **最小验证建议（尚未执行/授权）：**先做离线接口审计，选一个窄 shape 任务和一个多 shape 任务，固定输入、正确性标准、时间边界及完整成本记录；后续若获实验授权，再以同模型/effort/工具/预算比较 goal-only、加知识、加分解，使用多次独立尝试并保留失败。收益不稳定、质量越界、只在搜索样本上提升或新增成本无法抵偿时，停止推广。复用现有 Skill Eval / harness，不新增第二套 runner，也不把 B200 结果移植成其他硬件的预期收益。
6. david6666666 commented on Oct 28, 2026

   

   david6666666

   on Oct 28, 2026 – with ChatGPT Codex Connector

   CollaboratorAuthor

   More actions

   2026-10-28｜InferRSI 每日研究

   证据截止：北京时间 08:30:57。发布前复核 main 51fa1d31cc4a805490ddfe8055a36c81d70c4f08 未变。

   本轮是增量核验与历史补发现，不把旧论文冒充今日发布。所有性能均为作者报告；本轮仅原文、源码和配置静态核验，未运行模型/GPU/付费实验。阅读价值不等于生产可用。

   主表：两项发布增量、一项历史补发现、一项昨日补录复核

   分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
   Model-specific · Maya / DeepSeek、MiniMax	新增独立请求序列并行；同时修补 MiniMax drafter 长 prompt 写入与 DeepSeek 共享 expert 表竞争。属于执行路径完善，不是新算法。	已读落地路径；MiniMax 并行会关闭 DSpark 与 KV streaming，更多 KV 占用显存、挤压 expert cache 空间。开放 PR #557 的 DSpark 并行与速度不能算进发布版。	代码可用 / 值得验证；未独立运行。	v1.1.34，2026-10-27；本轮实质增量。	P1：复用隔离/状态正确性验证；先测跨请求串扰、取消、drafter 回归，再谈吞吐。Maya 蒸馏不在本任务。	[E1]
   Model-specific · Strata / Qwen、DeepSeek	v0.2.7 对 ≤13 GiB NVIDIA 的 Qwen 默认启用驻留偏置路由，改变专家选择；DeepSeek 另有默认专家数变化。不是透明 offload，先验是 Cache-Conditional Experts。	作者披露默认 prior=1.5 时任务分数低于关闭值；样本小且不等数，不能判定同质量加速。更高 prior 出现复制/代码错误。	代码可用 / 值得验证，默认质量风险优先；未独立运行。	v0.2.7 / engine 0.1.52 / 5e8a4cca，10-27；旧 93 tok/s 不外推。	P0：把 expert 选择改动纳入语义变更与质量预算，不与纯内存搬运优化混评。已有知识复用，不重复蒸馏。	[E2]
   LLM 混合线性注意力 · ReaDy / Qwen3.8-27B	在 DSpark draft 中读取已提交的 Gated DeltaNet 状态；相邻 prior art 是目标 KV 条件化 draft。不是 loop Transformer 自适应深度。	原文/源码均可读；相对 DSpark 约 8% 包含额外微调，仅对微调对照约 5.7%。单 B200、并发 1、greedy；没有负载尾延迟证明。	代码可用 / 值得验证；明确增量机制，未独立复现。	论文 10-14 / v2 10-18；源码 8ac61b51，10-15。本轮历史补发现。	P1：对接在途 #121/#164/#169，复用 main 的通用 runner；专用 recurrent state 生命周期与回滚仍须验收，不新建 serving 框架。	[E3]
   RSI 控制层 · JustGoal / 算子优化	昨日补录复核：goal-only 与知识/分解策略需要配对比较；发布物是算子代码与 solution.json，不是通用自主搜索引擎。	已核验论文同模型 2×2 对照与修复后重计时边界；知识包的独立因果收益仍未分离。NCU skill 也有负结果。	推荐阅读（研究设计）；有效加速仍是作者报告，未独立复现。	公开 release 10-26 / f052fc0b；昨日既有补充，不算今日新项目。	Now：复用现有 N/E/R skill evaluation 与有界 offline improvement。补持出任务和全搜索成本，不以 catalog 数量当收益。	[E4]

   观察区：尚未通过关键复现门槛

   分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
   Diffusion · PoSTCache / 图像与视频	未来 anchor 校正已跳过步骤，再积分 solver；对比 forward reuse / Taylor 外推。离线校准选择 anchor。	原论文有质量对照和漂移反例，但未找到可核验 canonical 代码；计时非服务 E2E，离线校准成本未并入。	论文可读 / 观察，代码与复现入口未核验。	arXiv v1，2026-10-19；历史补发现。	Watch：先查代码/solver 端点及校准成本；不要先导入加速百分比。	[E5]
   Decision / VLA · VLA-Rolling	学习旧 action-tail 的有效性，联合 warm start 与计算步数；先验含 ChainVLA、ActionCache、RTC，并非首次尾部复用。	原文、代码、发布权重配置存在训练损失/EMA 等对齐疑点；论文曾修正一项成功率增幅。部分模型无等价公开 rollout。	代码与权重可见 / 观察；复现配置须先澄清。	v1 10-18 / v3 10-21；本轮历史补发现。	Watch：采用 episode reset、缓存有效性、闭环失败率契约；暂不把 headline 纳入通用收益。	[E6]
   Model-specific · cachedMoE	无已知 repo 名检索发现的 MoE cache 实现；可作为数值等价失败知识，而非新增推荐。	README 旧 NLL 与后续状态记录不一致；严格 decode 测试仍有失败，不足以认定同质量加速。	观察 / 暂不推荐集成；未独立运行。	84ba1ab7 / 10-22；10-21 数值基线有重设，严格 decode 后续仍失败。	Watch：先解决 source/experiment 版本一致性与质量失败；这是候选拒绝实例，不用 stars 筛选。	[E7]

   Now / Next / Watch

   • Now：优先验证 Strata 的默认语义变化；Maya 并发是实际能力增量，但并发路径与单请求投机不是同一实验条件。
   • Next：ReaDy 值得读状态条件化 draft；对接在途状态契约，复用 main 通用 runner。JustGoal 支持更严格的 skill 因果对照，不支持再造一个宣称自主搜索的控制器。
   • Watch：PoSTCache、VLA-Rolling 和 cachedMoE 均有关键证据缺口；不因新颖或有源码就升级为 solid 加速。

   最小验证建议（未执行，执行另需授权）

   • 建议 1（未执行）：Strata prior=0 对照发布默认值，同硬件/权重/提示集，检查 expert 路由、任务质量、p50/p95 与全校准成本。先固定最多 20 个持出任务、2 次重复；出现正确性回归即停，扩大预算需另行授权。
   • 建议 2（未执行）：ReaDy 比较 AR / DSpark / 微调但不读状态 / 状态 reader，保持目标、精度、greedy 与长度一致；检查 token 等价、拒绝回滚及吞吐。先做 10 个边界请求；任何状态泄漏/不等价立即停止，GPU 执行需另行授权。
   • 建议 3（未执行）：复用 N/E/R 的运行/独立评分设施，另设因子对照比较 goal-only、知识、分解及二者组合；同模型/工具/预算、开发集与冻结持出集分离，计失败与总 token/时间成本。先 6 个算子族、每格 2 次；无质量通过或预算耗尽即停。

   证据索引

   [E1] Maya — release b04264526e93a3c7d3c051cb9cec97af86ae8a37，10-27 23:18Z；文档头 249f9a87d1a9d72bec2b684d704b0aa9296b1c9c。DeepSeek step_multi 保存各请求 state/KV；多请求同时 decode 不做 drafts，但维护各自 drafter rings；MiniMax forward_rows 保存 SeqKv，并发 >1 关闭 DSpark 与 KV streaming、KV 留显存。来源沿 Strata/ggml、既有 GLM 多序列方法，不主张新算法。29157105 修复 rows>16 时 drafter K/V 写入；32f3c8c6 修复 expert table/pending swap 竞争。并行 Python 测试主要是 mock/容量规则，矩阵逐行测试不是跨请求 GPU 隔离证明。PR #557 仍 open，不能引用其 DSpark 并行或 4.8× TTFT 为正式版能力。本文不运行测试，不引用跨条件速度。

   来源 1 · 来源 2 · 来源 3 · 来源 4

   [E2] Strata — SHA 5e8a4cca7d690ac60ca37eb09e7d0e010099ad6d，10-27 13:54Z；v0.2.7 发布 14:54Z，engine 0.1.52。Qwen ≤13 GiB NVIDIA 默认 STRATA_ROUTE_PRIOR=1.5；resident expert 加分改变 top-10 选择，使用原概率归一化，非 bitwise cache。作者 RTX3060 12GB / IQ3_XXS：80 tasks 未见 copy/code errors；agent 平均 4.5/10（4 runs）对 off 5.6/10（7 runs），运行数不等且 off 范围 4–6，不能判统计显著。prior=2.0 曾出现复制/代码错误。另 4×R9700 DeepSeek 默认 6→5 专家，小质量集不等于通用无损。既有先验 Mixture of Cache-Conditional Experts，非本轮新算法。layer-major prefill、batch pipeline 与近似路由必须拆分；release 保留 split-serve 变慢及 prefill/decode trade-off 负例。回退参数存在但本任务不改变设置。

   来源 1 · 来源 2 · 来源 3

   [E3] ReaDy — 首发 2026-10-14，v2 10-18；源码 8ac61b51d529fad980566cfde7a3c41415ba93a5（10-15）。读取 README、VALIDATION.json、environment.json、MODEL_SPEC.txt、adapter.py 与论文。SGLang pin 29481685462732237d80d86076d6563e1f658102；CUDA 12.9、Torch 2.13、Triton 3.7.1。Qwen3.8-27B，B200，BF16 / FP32 recurrent state，并发 1、greedy，输出上限 1024、上下文 16384、block 7。作者七项基准均值 TPS：AR 95.86、DSpark 280.42、仅微调 286.50、ReaDy 302.78；排除 prefill。状态 reader 相对微调对照约 5.68%，不能把总 7.97% 全归给状态读取。低秩查询读 committed GDN state，并接受目标 argmax 前缀/回滚拒绝状态。有限作者功能测试不等于七基准或服务负载复现；未独立运行。更多层/更高秩有接受率增而速度降的负例。GitHub issue 列表为空，不是正确性保证。

   来源 1 · 来源 2

   [E4] JustGoal — 昨日既有公开补充的重新核验，而非重复发现。源码 release f052fc0b28fc7f10b2ef1ae7aa4682aabbbe868d，10-26。本轮读取 repository PDF 全文相关方法/2×2/负例段落。B200 sm100a、CUDA 13、driver 580.105.08，Claude Code 2.1.304；固定 24h 预算比较，冷 L2/CUPTI kernel span，排除 JIT/flush/sync，非 serving E2E。发布的是 kernel 与 solution.json。单一模型完整 2×2 将 scope 与 harness 相交，但知识/分解策略的各自因果贡献未分离；另一 agent 的重现也非原团队全部私有流程。作者审查并修复错误后重计时，不等于首次自主正确率；NCU skill 对三个形状均落后于 NCU，部分候选需要修复。无需复制昨日速度表。InferRSI 已有 N/E/R 暴露对照与有界 offline verifier-guided improvement；现有模块不等于在线自主发现。

   来源 1 · 来源 2

   [E5] PoSTCache — 首发 2026-10-19。读取方法、实验配置和局限；未找到可核验 canonical 代码发布，paper 表述配置与依赖随代码发布。未来 full anchor 的残差校正过去跳过预测，再积分 solver，不增加网络调用；离线 10 条完整轨迹用于 covariance surrogate 与贪心 anchor 选择。H200，Python 3.12.13、CUDA 13.0.2、Torch 2.11、Diffusers 0.37.1、Transformers 5.4；FLUX/Qwen Image、Wan/CogVideoX/OpenSora。DrawBench 200×3 seeds、VBench 944×5，包含感知/语义质量。计时为 CUDA 同步生成 wall time、排除保存/指标计算；encoder/VAE 端点未由代码确认，不能称服务 E2E。离线校准未并入速度。baseline 参数有交代但缺不可变源码 pin；存在 offline-online gap、校正后 anchor 状态与已算输出不一致、长区间漂移。作者报告，不独立复现。

   来源 1

   [E6] VLA-Rolling — v1 10-18、v3 10-21；GitHub 8fdc5d75d93cd779e5fc9add05a069763c23978f，训练/模型代码 4430cce6（10-16），ACE revision 2a706069a660e80f695b137d0fdb237f155afd9e。读取全文/附录、源码与 9 份发布摘要。paper 非对称 L1 与发布 smooth_l1/asymmetric=false、EMA 权重方向及视觉结构等需对齐；不能据此断言论文实验错误。π0.5/MetaWorld 的 +9.32 pp 已在 v3 修正为 +0.66 pp，不应称最新版仍错。公开 rollout 主要是 PI05×3 benchmarks，9份权重不含 MolmoAct2。训练 RTX PRO 6000，仿真硬件原文写 4×RTX4090 32GB（无设备 manifest）；模型延迟非完整控制周期、无尾延迟。真机 14/20→15/20，仅多成功 1 次；两组 X-VLA 成功率下降。相比 ActionCache/STEP/ChainVLA/RTC 的新意是冻结 backbone 的学习式 confidence 联合预算，非首创 tail cache。未独立运行。

   来源 1 · 来源 2 · 来源 3

   [E7] cachedMoE — canonical acupof-ai/cachedMoE，SHA 84ba1ab723b1397e04e5532bdd50e8e0668594b2（10-22）；C++20 Vulkan/Slang + NVMe LRU，用于 DeepSeek-V4.1 FP4/FP8。读取 README、STATUS、store/planner.cpp；ScoreAwarePolicy 实际退回 LRU，热度策略有失败记录。README NLL .622784 是旧 checkpoint；STATUS #101 记录 10-21 coopmat 默认变化，gate 从 .660034 重设 .693887，2/64 top1 翻转；#104 的严格 teacher-forced 通过 7/8、free 通过 6/8，仍有失败。warm 91-token 一致不足以认定全面等价。最新只是删除 Python 死码，非新速度实验。此次为发现负例，未独立运行。

   来源 1 · 来源 2

   架构与覆盖

   已阅读 main 的 架构、skill evaluation 与 有界 offline improvement，并核查全部 23 个开放 PR（第二页为空）。#121、#164、#169 仍在途。四个已合入的 engine 知识候选不代表 native 性能验收。

   检索采用不含种子 repo 名的模型/架构 × engine/runtime/serving × cache/offload/speculation/kernel/compiler 组合；覆盖 GitHub、arXiv 原文及官方工程材料，并扩展论文 prior art/README 引用。DwarfStar、Splash、Lily、Husky 保留种子核验；未找到足够可靠的新语音流式、loop 自适应深度或世界模型条目，不凑数。这是有界发现，不宣称全网穷尽。

   种子状态：DwarfStar 10-21、Lily 09-02 无新实质更新；Splash 1.4.1 当前增量早于昨日 cutoff；Husky 仍为 09-20 文档实验，公开 engine SHA 未确立。昨日 JustGoal 已有补充，此处只对齐架构结论和证据，不重发旧长报。
7. david6666666 commented on Oct 29, 2026

   

   david6666666

   on Oct 29, 2026 – with ChatGPT Codex Connector

   CollaboratorAuthor

   More actions

   2026-10-29｜InferRSI 每日研究

   证据截止：北京时间08:33；main 013a4815，发布前再次核验。所有性能为作者报告；未独立运行测试、模型/GPU或付费实验。历史补发现不冒充今日发布。

   重点阅读 / 值得验证

   分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
   Model-specific · Maya / DeepSeek	2–3 请求可共享 DSpark 草稿执行，按请求验证和回滚。属于既有投机解码的模型特定系统集成。	v1.1.36 已接入；4 请求因成本退回普通解码，prefill 仍阻塞其他请求。MiniMax 并行禁 DSpark 的限制未解除。	代码可用 / 值得验证；未独立运行。	10-28 v1.1.36 / f031a23b；#611 关闭但未合并，以 cherry-pick 发布。	P1：现有 Maya 知识仍固定 v1.1.34；后续只补状态隔离、跨 GPU staging 和负收益回退，不重蒸整仓。	E1
   Model-specific · DeepInfer / DeepSeek-V4.1-Flash	根据接受概率与运行时成本选择验证预算；复用 vLLM/SGLang 等系统思路。是模型专属执行核心，不是完整 serving。	有实现、测试和 sweep 入口；公开版不包含 KV cache system、完整阶段分离服务及 DP 负载均衡。确定性模式要求关闭可变草稿长度。	推荐阅读（成本调度源码）；效果值得验证，未独立复现。	10-20 首公开材料；当前 55374155（10-25），本轮历史补发现。	P1：与 Maya 单 pass 门控对照，复用现有 search-policy / runner，研究接受率×总耗时而非只追逐接受率。	E2

   观察区

   分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
   Model-specific · Strata / DeepSeek Mac	新增 Metal 路径，默认完整 6 experts；线程数回退优先保稳定。属模型定制移植，不主张新算法。	Engram >2 线程出现输出漂移，默认2线程但损失 prefill 性能；量化质量非无损，DSpark 默认关闭。	观察 / 质量风险优先；未独立运行。	源码 46c152a1（10-28）；0.2.7 release 追加0.2.7.1，实验日期未单独确立。	P0：复用现有 Strata 验证契约，记录重复一致性、共租资源、量化质量及负结果。	E3
   Decision/VLA · vla.cpp / SmolVLA	ROCm 接通 ggml 执行，复用 F32 权重与 F16 跨注意力缓存。后端移植，不是算法创新。	有数值对照和合成 predict 计时；HIP 未重跑闭环任务，最快选项改变动作，不能判有效控制加速。	观察 / 可读验证协议；未独立复现。	#35 10-28 合并；aeef71b7，实验 d0e5d00 / llama.cpp b11223。	P2：复用 Model/Infra 扩展点，先动作正确性和闭环成功率，再评反馈时延。	E4
   RSI / serving · Standard Kernel + CoreWeave	官方描述配置、引擎和 kernel 联合搜索，并用服务测量拒绝组件级假收益。与现有多 agent 优化属系统组合。	公开材料没有足够源码、硬件和 baseline 版本锁定，也未给全搜索成本；不能确认独立有效加速或新颖性。	观察 / 方法边界参考，不作性能推荐。	官方博客10-27；本轮补发现，非今日新实验。	Watch：借鉴先组件后服务的否决门槛；InferRSI offline controller 仍不等于该自主搜索系统。	E5

   经典基线 / 当前状态纠偏

   分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
   LLM / recurrent state · ReplaySSM	输入缓存+周期 checkpoint 减少状态写回，并支持接受长度回滚。经典实现及状态纠偏，不算新算法。	部分 Mamba2 路径已合入；README 的三个旧在途 PR 已关闭未合并，替代 #55688 仍开放。吞吐提高不等于单请求更快。	经典基线；扩展 PR 观察，未独立运行。	博客06-15、论文10-09、源码09-30；#55688 更新10-28。	复用已合入 #121/#164 的候选契约；#169 仍在途。不能把不同 recurrent 架构/路径合并成已验证支持。	E6

   结论

   1. Maya 的 DeepSeek 并发投机已从在途进入 v1.1.36，但4请求回退、MiniMax限制仍在；发布、单次质量检查与生产收益分开。

   2. DeepInfer值得读的是接受概率与执行总成本联合调度，不是把官方生产架构等同于完整开源服务。旧实验不能移植到新head。

   3. Strata重复漂移、vla.cpp动作变化及ReplaySSM吞吐/单请求分歧，都说明正确性与目标指标应先冻结，再比较速度。

   Now：复用现有 Maya / Strata、kernel-writing-guide 和 search-policy；把近期实现状态与旧知识pin分开，优先审查质量与状态边界。

   Next：只建议 Maya v1.1.34→1.1.36 局部知识补充，并比较接受率驱动与成本驱动的预算选择；本日报不修改代码/知识包。

   Watch：等待 Strata Engram 稳定性根因、vla.cpp HIP闭环结果、ReplaySSM #55688合并及Standard Kernel可复现材料。

   小验证建议（不执行）

   建议1（不执行）：Maya同模型/量化/固定expert placement，普通与投机并发1/2/3/4，先token/logit及取消后状态隔离，再测吞吐、TTFT/p99和峰值内存。冻结20条未用于调参的prompt、3次交错重复；预算上限2 GPU小时/12配置，任一串扰或质量失败立即停止并保留负例；计入校准和所有失败试验成本。

   建议2（不执行）：成本调度对照只在同一DeepInfer固定pin中做varlen on/off，固定模型、设备、请求/采样与质量契约；先确认支持路径再比较接受率、总时延及SLO goodput。最多8配置/2 GPU小时，若质量不可比或成本缺失则INCONCLUSIVE；不得以不同引擎/硬件数字替代对照。

   证据索引

   [E1] Maya：源码 f031a23b9682551e744e29d0e9f8d527df49f282，v1.1.36 发布10-28 21:10Z。已读 DS4 主循环、验证回滚与 --multi-check；跨 GPU staging 按请求窗口分离。作者 RTX3090+8×5060Ti、TP8、EXL3 3.5bpw、2/3 experts 在 RAM、554-token prompt、2×200输出、greedy：56.4→79.3 tok/s 有 near-tie 差异，不作普遍等价证明。维护者 V100 1/3卡修复复核，两请求约1.1×、四请求回退约1.00×；原四请求投机反而约0.89–0.92×。缺广泛质量、p99和重复方差；CPU/GPU expert迁移舍入仍需固定放置对照。

   来源1 · 来源2 · 来源3 · 来源4 · 来源5

   [E2] DeepInfer：源码553741557a57df44a46fb3ab72b6aafeaf945337。mtp_varlen.hpp 以 graph size 残差中位数和 sampler 时间校准总验证预算，分离历史接受率与当前分配避免 lookahead。batch invariant 测试含64条随机prompt、EP8、5 NextN；源码存在不代表本轮执行。确定性需 NVIDIA、batch invariant=1、varlen=0、固定seq_seed。公开sweep为4 SM100 prefill/64 SM100 decode的离线Pareto，plot含假定acceptance，不能当在线SLO证据；eval依赖数据/模型与judge，未运行。与Maya硬件不同，不排名。

   来源1 · 来源2 · 来源3 · 来源4

   [E3] Strata：46c152a1310f77cd2f0ce2c7cd213962df14fe83，Control0.1.53。M5 Max128GB，共租约60GB闲置Qwen服务，fresh process、每项2次；2.00/2.25bpw，固定expert placement的4995 positions KL0.170/0.111，非无损。>2 Engram线程16次中3–9次漂移，根因未确认；2线程prefill代价3–12%，decode-only限制尝试失败后回退。DSpark同答案但无加速故默认关闭。缺同条件强Metal baseline、<128GB及>32K验证。

   来源1 · 来源2 · 来源3

   [E4] vla.cpp：论文2606.08094 v1 06-06/v2 09-21；当前aeef71b726feab6bba00e97df61268ec863a2843，实验d0e5d00/llama.cpp b11223。RX9060XT16GB、ROCm7.14.1、Ubuntu22.04.5、i5-12400F，2×512图像/16合成语言tokens/50×7动作/10 flowsteps。作者默认优化228.1→208.5ms动作byte-identical，VRAM1541→2303MiB；3warmup+20reps×3process选择最低均值进程。最快127.7ms改变动作，HIP无闭环成功率、服务或长时间验证；OpenVLA-OFT无CPU数值reference。不能跨配置排名。

   来源1 · 来源2 · 来源3 · 来源4

   [E5] Standard Kernel：10-27官方博客。作者描述在 GLM/Qwen/DeepSeek 客户工作负载上联合优化，并人工复查质量；DeepSeek采用长prompt和高prefix reuse。源码、设备SKU、基线commit、重复方差及全搜索成本未充分公开。存在组件正确但服务变慢的作者负例；仅作控制流程参考，不能把商业自主系统效果外推到InferRSI。

   来源1

   [E6] ReplaySSM：73a9592e9d8a2268620e8883a82f5cec7442ed36；源码实现09-30，博客06-15/论文10-09。#48018/#52506/#52928已合入；#48792/#49847/#49887 10-12关闭未合并。替代#55688开放head d9cd1fd1fcfc5a08d14ff29ba7439f76ad42d628、base74340c73，GB3001400W/FlashInfer0.7.2.post1、OFF/ON/ON/OFF：B512总吞吐收益伴随每请求decode −6.1%。论文B256 H100/B300、FP32state/BF16activation与PR不是同条件；B1标准decode有0.96–0.99×负例。fork benchmark为greedy、固定输出256、忽略EOS、一次计时，非服务p99；测试容差不是bitwise证明。

   来源1 · 来源2 · 来源3 · 来源4

   架构与覆盖

   架构核验：main 013a481。已读README、architecture、roadmap #61、harness-improvement、skill-evaluation/skill-eval-pr及相关实现；开放PR11项，100/页第二页为空（#233为截止后新Draft，仅作发布时上下文）。#121/#164已合入候选知识，#169仍开放；昨日Metal/Maya/h3知识已存在，不重复蒸馏。#215有明确授权的历史实跑，但不等于全库有效或本任务可执行；offline improvement仍使用给定候选，不是自主模型搜索。

   架构 · Maya旧知识pin · offline控制器

   检索增量从10-28 00:30:57Z起，向前重叠24h，截止10-29 00:33Z。模型/架构×engine/runtime/serving×cache/offload/speculation/kernel/compiler无种子名搜索，扩展README credits、论文related work、官方博客；覆盖六种子、Diffusion、recurrent、VLA/world model及speech。Dwarf/Lily窗口无commit，Splash以UI/打包为主，Husky仍无已确立公开engine SHA；新语音/扩散候选证据不足，不凑数。是有界发现，不宣称穷尽。