Skip to content

docs(blog): compare later benchmark outcomes and full-cost limits - #7286

Merged
songoow merged 1 commit into
mainfrom
codex/edgebench-research-evidence-20261025
Oct 25, 2026
Merged

songoow merged 1 commit into
mainfrom
codex/edgebench-research-evidence-20261025

Conversation

@loopx-agent

Copy link
Copy Markdown
Collaborator

The existing bilingual research note ends at the October 17 continuation study. This update adds later fixed-window evidence, including negative outcomes and costs, so implementation, actual mechanism adoption and native gains can be assessed separately.

  • Compare Sol old/new at 14h and Astra Official/LoopX at 12h without pooling their models, versions or treatment packages. Keep best/latest distinctions, post-hoc selection, incomplete terminal evidence and adaptive recovery visible.
  • Explain the actual staged-replan interactions from the finite Sol/max continuations. The earlier nominal treatment did not receive the reader; the later cross-model diagnostic establishes adoption, with mixed decision and efficiency evidence.
  • Include complete recorded input/cache/output vectors, compaction coverage and preparation costs. Separate refactor(replan): converge captured context and original-Turn closeout #7269’s offline transport tradeoffs from model or billing benefit; the combined 15% overhead reference remains unqualified.

The approved opening and all nine existing tables in each language are byte-for-byte unchanged. Existing section anchors remain. New native comparisons use two columns so both scores are visible at 390px; detailed conditions and cost vectors use the existing disclosure pattern. No runtime, scoring, experiment configuration or stylesheet changes.

Validation: production site build with lockfile-resolved Vite 8.3.4; SEO smoke (26 canonical targets); source-bound numerical checks for native bests, complete recorded token vectors, replan timings/calls and transport deltas; bilingual anchor parity; opening/table preservation; built/source equality; real Ego browser review at 1440px and 390px, including expanded usage and keyboard closure. The explicit public-boundary scan is clean. Aggregate loopx check reports canonical authority unavailable outside the changed files; its overall status is retained as failed rather than reported clean. Standard premerge completed all 4 direct and 4 selected checks with no failures. Its overall result remains manual_review_required (8 image-review holds); this is not merge readiness or authority.

Raw archives and private validation material remain local. These aggregate observations do not provide independent reproduction of every run or certify causal benefit, billing, whole-run integrity or scientific acceptance. This normal proposal is ready for independent editorial/scientific review; merge remains separate.

Visual evidence

Tested article content is bound to 8cc99da16569c7fb7efa6e829a1aaaf8b3702658; static production build, public article text only. First viewport and approved opening are preserved. In the added body, the mixed outcome is visible before methodology; the narrow comparison exposes both reference and test values without horizontal scrolling. Expanded token/transport tables retain their complete columns through native table scrolling. Both languages retain normal body size and complete qualifications.

Original first viewport Updated first viewport
Before desktop After desktop
Before narrow After narrow

New comparison on desktop

Chinese, narrow English, narrow
Chinese results English results
Expanded transport evidence

Expanded transport table

Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>

@loopx-agent loopx-agent left a comment •

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent | gpt-6.1-sol | OpenAI | runtime_reported | reasoning_effort=max

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

动机

阅读长程 Agent 研究结果、需要判断后续批次是否支持原结论的公开文章读者。

原文章停在十月十七日的同点研究;当前版本把后续 Sol 正向与 Astra 负向结果并列,并保留不同模型、窗口、准备与恢复成本。

读者可以同时看到领先、落后、平台期与局部采用,打开用量表查看三种 token,而不会把离线字节缩减当作模型费用下降。

本次只核验公开文章的编辑一致性、可读性、算术和结论边界;没有重建私有原始运行台账,不认证整臂完整性、因果效果、净费用或安装版采用。

公开原始轨迹缺失,账单、失败和共享资源拆账不完整,整场科学资格与统一开销参考仍未完成。

改动思路

复用既有双语文章、共用样式与原生 details;不引入实验、评分器、状态 owner 或新前端。

本次只核验公开文章的编辑一致性、可读性、算术和结论边界;没有重建私有原始运行台账,不认证整臂完整性、因果效果、净费用或安装版采用。

这个增量把“机制实现、实际采用、原题增益、完整成本”分开。旧结论不追溯改写;新批次单列,正向 Sol 与负向 Astra 放在同一比较表。没有用更多本地改动或复盘数量替代原生结果。与另起实验报告或扩展控制面相比,直接补在已有文章内足以完成当前的有界编辑任务。

具体改动

仅审查 7286@8cc99da16569c7fb7efa6e829a1aaaf8b3702658,共同基线 8a718ca5f17b8036a57c6d4e88a02185eaf4581d;并发主干更新后,按不可变 adaa46677e2ebbed75c65df0ed67a78dcdc86adb 复核相同差异。先读不可变测量契约和同修订设计契约,再读完整两种语言差异及八张图片。下列标签映射无编号的既有义务,不冒充原规格编号:outcome-versus-process、complete-cost-boundary、comparison-provenance、readable-public-artifact 均为 implemented;whole-study-qualification 为 out_of_scope,文中亦未声称完成。

两页共 +108/-10;每种语言原九张表、开头和旧锚点逐字保留,四张新增表的数字两语一致。独立复算四个字节变化为 +2.25%、−57.72%、−60.23%、+6.37%,Astra Schema 未缓存输入比值约 5.32。14h 是读过早期结果后的窗口选择,每臂一次;不同 core/runner、模型、准备、恢复和有限终止均仍披露。未把 timeout 填零,也未把已接受原生结果升级为整臂合格。

关键代码讲解

对主干的风险

主要风险是读者把好看的汇总当成干净因果或费用证明。当前两语都保留更慢的 Grid 首轮、未生效的旧 treatment、未完成语义写回、原生成果不增和较晚历史点更好等反证;全部机制合计 15% 参考仍未资格化。没有读取或外传隐藏评测、凭据与原始私有轨迹。

独立执行锁定依赖的生产构建、SEO 26 个目标、双语数字及历史内容对照、公开边界和 diff 检查。Ego 核验两语 1440/390px 原新首屏、混合结果、展开用量/传输和下方正文;键盘开关有效,窄屏页面宽度为390,四列表容器可横移至输出列。八张 PR 图片逐张检查,均为公开文章内容。完整原始 response 台账没有在本轮重建,作者科学计数不算本轮独立认证。

严格质量回执 cqr_6946a2666edfc5a1b743 PASS、verify valid;标准预合并自动直接与目录检查通过,整体仍为 ok=false / manual_review_required、八个 PNG 人工 hold,查看图片不自动消除该要求。作者披露的聚合检查未通过仍保留为历史失败;本轮未把它写成通过,未查询或等待 CI。

我的整体评价

APPROVE 这个完整可读的编辑增量,未发现当前差异引入的阻塞性内容错误。problem_context 为 justified_increment;长期路径 preserved,仅增补证据表达而不改变实际研究,使用体验 improved,因为读者现在能在一篇文章中看到混合结果和完整限定。

实际长文默认视图先给批次方向和两列结果;完整用量与传输解释按需展开,正文为17px。390px结果表可直接读,四列用量表在容器内横向滚动到输出列;页面不横溢,展开细节仍保留全部限制。

公开原始轨迹缺失,账单、失败和共享资源拆账不完整,整场科学资格与统一开销参考仍未完成。 本次只核验公开文章的编辑一致性、可读性、算术和结论边界;没有重建私有原始运行台账,不认证整臂完整性、因果效果、净费用或安装版采用。

有界重构判断为保留既有文章与共享样式,没有值得在本 PR 中引入的新框架或 owner。语义词汇判断为无共享契约变化。批准不证明所有研究数字的原始来源、模型采用、科学收益或净账单;严格质量、人工要求、原生合并就绪与授权分别处理,本次不合并。

English verdict: APPROVE the bounded bilingual editorial update at this exact head. Existing tables/anchors are preserved; new numeric cells match and advertised arithmetic is reproducible. Real built desktop/narrow views keep mixed results and full optional data readable. Raw response ledgers, whole-run integrity, causal effects, complete billing and model adoption are not independently qualified by this review. Exact-scope quality passes; eight native image holds remain separate.

@songoow songoow left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: model_agent · OpenAI GPT-6 Astra Pro · OpenAI · self_reported

结论:APPROVE。未发现这次静态文档增量的阻塞问题。 审核 head 8cc99da,base 8a718ca。这一结论针对编辑口径、历史内容保留、双语一致性、构建与可读性;它不是对原始实验真实性、因果效果、完整账单或新模型收益的认证。远端合并检查仍有已归因的旧 lint/依赖失败,批准文档不等于合并门禁已通过。

动机

受影响的是阅读中英文研究札记、想判断后续长程实验究竟改善了什么以及付出多少成本的公开读者。原文的后续研究停在10月17日观察;现在读者可以分别看到 Sol 新旧版14小时、Astra Official/LoopX 12小时和更换模型的有限接续,不会把不同批次合并成一次处理效果。旧观察如果与后续修复、调用链提案或不同模型的诊断混在一起,读者容易把源码实现、实际采用和任务增益理解为同一个结论。新增正文和表格把正负结果、首个结果到最好结果的增量、真实机制采用、传输字节及已记录用量分别呈现,并保留未知、失败和比较限制。

本次交付是静态双语文章更新,不改 runtime、默认开关、benchmark 资格或计费逻辑,也不承担逐 run 档案的独立重建与科学因果认证。

改动思路

继续使用既有双语静态文章、同一 article.css 和原生 details/table;观察与解释留在公开写作层,原生评分、实验资格和费用真值仍归已有 benchmark 与 usage owner。当前 PR 的边界是让既有研究札记准确展示新增的混合观察与限制;没有理由为这些固定表格增加运行时数据模型、交互脚本或新的研究资格 owner。

文章的组织围绕三个实际阅读问题:提案是否到达真实调用方;后续共同窗口的原生成果是否改善;减少输入或复盘成本是否带来完整研究收益。默认正文保留混合结果、模型/窗口和关键解释,两个新原生 disclosure 分别容纳传输诊断、完整用量与比较限制。它沿用既有文章层级和 CSS,没有新增表格组件、脚本、计费计算器或可执行研究入口。

复核也按这些 owner 分层:先看原文与本次新增,再核对数学与中英文语义,最后看独立构建后的真实浏览器页面。源数据没有公开的地方只确认文章是否诚实标明边界;不会把作者自评、静态表格或“reader 已存在”当成模型已采用的凭证。特别是文中的 #7269 固定为历史已评审版本 0ddd08a,并明确尚未被下方冻结实验采用,不能把当前 PR 的实现状态反向归因到旧实验。

具体改动

完整差异仅 10 个文件:两份 HTML 合计 +108/-10,外加 8 张静态评审截图。没有 CSS、JavaScript、Python、TypeScript、运行器或 workflow 改动。两种语言的原 header、各自9张旧表和原锚点均保留;新增4张表,每种语言共30个有效且相互对应的锚点。独立构建输出与两份源 HTML 逐字节一致。

关键代码讲解

这里的关键符号是 HTML 阅读锚点,而不是新 runtime 函数:

  1. #staged-context / #staged-transport 将事实读取、路线选择、写回格式分开。四条传输路径同时展示增量与减量:Captured CLI +2.25%,结构化 Host −57.72%,native renderer −60.23%,完整原件恢复 +6.37%。文本明确单位是 UTF-8 bytes,外部工具正文、模型缓存、输出与账单未测;不能把“更短 packet”升级成同幅度 token 或净费用收益。
  2. #later-common-windows 用两列保留任务评分方向及对照→test 的最好值,同时呈现 Sol 的领先与 Astra 的落后。随后解释 Schema 首次结果已领先、first-to-best 增量较小,以及 Grid 两臂继续改善但差距未缩小。没有把代码改动次数、局部修复或某次候选提交替代保留的原生最好结果。
  3. #later-usage 分别列出8个实验臂的未缓存输入、缓存输入与输出,不合并成净费用。14小时窗口的事后选择、每臂一次、模型/runner/并发差异、恢复、缺失账单及失败资源都披露;无分数 timeout 保持无数值,没有填零。记录的 5.32 倍关系可以在表内复算,但不证明全部机制成本。
  4. #staged-replan-outcomes 区分“名义 treatment 没有实际收到 reader”与后续真实读取;明确旧 Astra/xhigh 对 Sol/max、版本和窗口都不同,不能称单变量消融。Schema 本地改善仍未提高原生最好值、Grid 保留2163而非后来2165、以及失败/unknown 和更晚历史2104均未被删去。中文对应段落 保留同一口径。

本轮独立读的已接受依据是 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md,spec_revision 8a718ca;可视依据为同一 revision 的 docs/development/design.md。按规范已有标识映射:C2 的匹配重复因果资格没有被本文冒称;5.3 的 treatment integrity 在“未实际交付不算已处理”、不同模型/版本/窗口及失败披露中保留;5.4 的结果层次由原生成果、采用、费用与资格分开表达;6.2 的成本覆盖要求由 bytes、cached/uncached/output、恢复和未测费用边界落实。这里确认的是写作与展示遵守这些限制,未用私有原始档案重新资格化实验。

对主干的风险

最强风险是读者把不同队列或模型的数字当成一个可归因的 LoopX 增益,或者把更少的字节、命令、复盘分钟换算成完整收益。本次新增文字在这些连接处保留了反例:native 传输正常路径变小而恢复路径变大;Sol 和 Astra 两批结果方向不同;Schema 首轮复盘变便宜但完整两轮接近;Grid 复盘更慢且含更多输出;保留最佳、最后提交和整个 run 的资格分开。这比只核对表格中的赢家更接近当前 measurement contract。

本轮实际验证包括:公开站点 production build 成功,SEO smoke 的 26 个 canonical targets 通过;两语历史表格/锚点/数值向量和构建字节检查通过;四个百分比、两个 first-to-best 增量与5.32比值算术一致。浏览器使用 Chromium153,在 1440px 与390px、英文与中文 读取新增下半篇默认视图和两个完整展开详情,共20张本轮构建截图;Enter 开闭均成功,无页面级横向溢出。另在两语390px实际将两个宽表从 scrollLeft=0 滚至172,确认最后的“变化/Change”和“输出 token/Output tokens”列完整可达。这里的表内横向滚动是已有 CSS 行为,不应误报为数据被裁掉。

这些检查没有启动研究、模型或真实计费,也没有重写原基准数据。原始逐 run 档案未公开,因此本轮不能独立核验7,522/5,277个响应的完整性、每次 submission/compaction 的真实性、全部失败与资源拆账,或因果估计。文章明确承认这一点,结论也没有超出所展示的探索性范围;后续若要升级为可重复因果或净成本结论,仍须通过现有研究 owner 的完整资格化。

语义与 CI 对齐

本 PR 没有新增状态枚举、执行义务、默认开关或协议;它描述历史实验和提案,不能授予 runtime 权限或改变正式 eligibility。core 的 result/usage 状态继续由原 owner 定义;“取消、runner_invalid、unknown”在文章中被保留为限制,未从散文推导机器成功状态。

exact-head 网站 build 成功。kernel-static-checks 的5项 E701/E702 来自未修改的 tests/presentation/test_codex_attached_conversation.py(71、85、86、87、88行);本轮在 immutable base 和本 head 执行同一原 CI 命令,完整 stdout 逐字节相同,因果路径不在这次两篇 HTML/截图增量中。workflow 随后挡住 chat-bundle 和相关 suites,stage2c-correctness-e2e 的日志是 STAGE2C_RESULT=skipped 后聚合失败;checks、pytest、merge-gate 的红项仍作为独立合并就绪问题保留。没有把 skipped 写成通过,也不要求本文修无关主干测试。

我的整体评价

这是完成了明确阅读任务的公开文档更新,未发现阻塞问题。它保留原先历史与旧表,用新增结果说明“机制可观察”“实际采用”“保留的原生进展”和“完整成本”并不相等。双语数值和主要限定语一致,负结果与未知没有因叙事需要被去掉;公开内容没有新增私有运行凭证、账号标识或原始隐藏评测材料。

长时执行行为保持不变;可改善的是读者对后续研究的理解,而不是本轮已证明了模型收益。新增体量主要是正文、4张表及评审截图,复用既有静态 owner,维护成本与这个增量相称。外部 URL、语言切换、旧锚点、首屏和历史表保留,没有理由加一套运行时兼容分支或数据服务。

已检查新增下半篇在中英文桌面与390px窄屏的实际构建结果:两列原生成果表优先呈现批次、方向与数值,字节和完整用量放在可展开详情,正文保持可读字号;展开后限制说明仍完整可读,宽表可横向滚到最后一列,没有发现新增信息被永久裁掉。未验证线上部署后的 CDN/真实设备辅助技术组合;本轮渲染来自 exact-head 独立构建的静态 dist。原始逐 run 档案未公开,视觉和算术检查均不认证实验数值的来源真实性。

APPROVE 仅适用于 8cc99da。残余风险是研究来源和完整因果/费用尚不能由公开材料重建,以及远端合并门禁仍红;这些界限已在本文和本评审中明确。若后续改动数字、实验身份、有效性或结论强度,需要重新核对对应来源与两语展示。

English verdict: APPROVE

No blocking issue was found in this bounded editorial update at 8cc99da. It preserves the historical tables, separates the later cohorts and models, retains negative/unknown outcomes, and explicitly distinguishes UTF-8 transport bytes, observed token usage, native progress, treatment adoption and complete cost. The site build/SEO, bilingual static and arithmetic checks, and actual desktop/narrow disclosure rendering pass; narrow wide-table final columns are reachable by native horizontal scrolling. This is approval of the writing, scope and presentation, not independent certification of unreleased per-run archives, causal uplift or complete billing. The five unchanged base/head Ruff failures and their downstream merge gate remain a separate readiness hold.

@songoow
songoow merged commit a9a720d into main Oct 25, 2026
20 of 25 checks passed
@songoow
songoow deleted the codex/edgebench-research-evidence-20261025 branch October 25, 2026 04:05
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants