From d8b6ec3c708e017ce2644835bcad6a01bb348a5f Mon Sep 17 00:00:00 2001 From: zhouxun Date: Tue, 14 Jul 2026 21:35:20 +0800 Subject: [PATCH] Add four focused agent evaluation paper notes --- SESSION-HANDOFF.md | 25 +++ data/note-index.json | 154 ++++++++++++++++-- data/review-receipts/papers/mle-bench.json | 55 +++++++ .../papers/ruler-long-context.json | 55 +++++++ .../papers/terminal-bench.json | 55 +++++++ .../papers/visualwebarena.json | 55 +++++++ src/content/docs/about.md | 2 +- .../topic-papers-agents-and-llm-systems-01.md | 8 +- .../topic-papers-agents-and-llm-systems-02.md | 8 +- src/content/docs/career-plan.md | 2 +- src/content/docs/index.md | 2 +- src/content/docs/method.md | 2 +- src/content/docs/papers-atlas.md | 12 +- src/content/docs/papers-method.md | 2 +- src/content/docs/papers-queue.md | 4 +- src/content/docs/papers/mle-bench.md | 134 +++++++++++++++ src/content/docs/papers/ruler-long-context.md | 146 +++++++++++++++++ src/content/docs/papers/terminal-bench.md | 136 ++++++++++++++++ src/content/docs/papers/visualwebarena.md | 137 ++++++++++++++++ src/content/docs/queue.md | 4 +- 20 files changed, 964 insertions(+), 34 deletions(-) create mode 100644 data/review-receipts/papers/mle-bench.json create mode 100644 data/review-receipts/papers/ruler-long-context.json create mode 100644 data/review-receipts/papers/terminal-bench.json create mode 100644 data/review-receipts/papers/visualwebarena.json create mode 100644 src/content/docs/papers/mle-bench.md create mode 100644 src/content/docs/papers/ruler-long-context.md create mode 100644 src/content/docs/papers/terminal-bench.md create mode 100644 src/content/docs/papers/visualwebarena.md diff --git a/SESSION-HANDOFF.md b/SESSION-HANDOFF.md index 7d769319c..3b2d75c17 100644 --- a/SESSION-HANDOFF.md +++ b/SESSION-HANDOFF.md @@ -2,6 +2,31 @@ > 状态：当前接班入口。旧的批量生产 session 快照已失效，不得用于恢复自动循环；持续运行使用只读 supervisor + 有界 writer epoch。 +## 2026-07-14 总结不足后再推进 4 篇补强论文 + +- status：`local-ready`（已完成本地内容、receipt、atlas 和主要门禁；远端 PR / merge / Pages deploy 仍以实时外部状态为准）。 +- 起始 ref：`6dd71d8868a0142b88f2afefbdce353dba147678`（PR #32 merge 后的 `origin/main`）。 +- 分支：`study/papers-20260714-one-more-round`。 +- 本轮不足总结：上一轮 40 篇完成了规模和部署闭环，但多数卡片仍是 `STATIC_ANALYSIS` / `UNVERIFIED`；部分卡片 91 行、低于建议 100 行；L4 主要是 toy / manual simulation；主题上对 ML 工程 agent、终端 agent、长上下文有效窗口、视觉 Web GUI agent 的覆盖仍不够。 +- 本轮 objective：新增 4 篇更厚的 `study-v2` paper note，分别补强 `MLE-bench`、`Terminal-Bench`、`RULER`、`VisualWebArena`，保持 `UNVERIFIED` 边界，不声明运行真实 benchmark。 +- scope：允许新增 `src/content/docs/papers/*.md`、`data/review-receipts/papers/*.json`，刷新 `data/note-index.json`、papers atlas 派生页和公开计数文案；不修改候选队列、policy/threshold、既有论文正文语义。 +- activated_by：`explicit-user-request-2026-07-14-summarize-gaps-and-advance-one-more-round` +- review_after：`2026-07-14` +- acceptance_checks： + - `lr search arxiv` + arXiv API 元数据核验 4/4； + - `node scripts/quality-gate.mjs` 逐篇通过，行数分别为 135 / 137 / 147 / 138，无 advisory； + - `npm run audit:content-contract`：0 blocking，56 v2； + - `npm run atlas`：2028 notes，69 chunks； + - `npm run audit:counts`：projects=961、papers=1067、total=2028； + - `npm run audit:links` / `npm run audit:wikilinks`：无 blocking； + - `git ls-files -co --exclude-standard -z | node scripts/audit-public-redlines.mjs --stdin0`：0 blocking； + - `npm run build:strict -- --log /tmp/study-one-more-round-build-clean.log`：通过；首次失败由 stale `.astro` cache 触发 duplicate-id warning，删除 ignored cache 后恢复； + - `git diff --check`：通过。 +- budget：1 个内容小批次、4 篇新增 paper、1 个可写切片、1 个本地 writer。 +- external_outcome：当前为本地 review-ready branch；PR、merge 和 Pages deploy 需要以单独外部动作完成并复核。 +- stop_conditions：规范工具链不可用；arXiv 来源不可核验；content contract / redline / strict build 失败且无法在 scope 内修复；需要改 policy/threshold、候选队列或敏感内容；用户停止。 +- superseded_by：`none` + ## 2026-07-14 新增 40 篇论文全流程完成记录 - status：`complete` diff --git a/data/note-index.json b/data/note-index.json index e543081ee..9d757862b 100644 --- a/data/note-index.json +++ b/data/note-index.json @@ -3,16 +3,16 @@ "taxonomy_version": "taxonomy-v1", "stats": { "summary": { - "total": 2024, - "classified": 1977, + "total": 2028, + "classified": 1981, "unclassified": 47, "unknown_difficulty": 1975, "empty_description": 1970 }, "by_area": { "papers": { - "total": 1063, - "classified": 1044, + "total": 1067, + "classified": 1048, "unclassified": 19, "unknown_difficulty": 1014, "empty_description": 1013 @@ -20611,6 +20611,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-nlp-foundations-and-scaling-01/" } }, + { + "id": "papers::mle-bench", + "area": "papers", + "slug": "mle-bench", + "title": "MLE-bench — 用 Kaggle 任务衡量机器学习工程 agent", + "description": "用 MLE-bench 理解 ML 工程 agent 为什么不能只靠单元测试和代码 benchmark 来评估。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "agent", + "raw_category": "AI Agent / MLE Benchmark" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-14", + "review_after": null + }, + "route": "/study/papers/mle-bench/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::mlflow", "area": "papers", @@ -26401,6 +26433,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-network-protocols-01/" } }, + { + "id": "papers::ruler-long-context", + "area": "papers", + "slug": "ruler-long-context", + "title": "RULER — 真实长上下文能力不能只看 NIAH", + "description": "用 RULER 理解长上下文模型的有效窗口、检索幻觉和聚合推理为什么要分开评测。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "llm", + "raw_category": "LLM / Long Context Evaluation" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-14", + "review_after": null + }, + "route": "/study/papers/ruler-long-context/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::rwkv-2023", "area": "papers", @@ -30633,6 +30697,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-distributed-training-and-gpu-01/" } }, + { + "id": "papers::terminal-bench", + "area": "papers", + "slug": "terminal-bench", + "title": "Terminal-Bench — 在真实命令行任务里测试 agent", + "description": "用 Terminal-Bench 理解终端环境为什么能暴露 agent 的长程执行、环境理解和验证能力。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "agent", + "raw_category": "AI Agent / Terminal Benchmark" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-14", + "review_after": null + }, + "route": "/study/papers/terminal-bench/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::tesla-architecture-2008", "area": "papers", @@ -32513,6 +32609,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-nlp-foundations-and-scaling-02/" } }, + { + "id": "papers::visualwebarena", + "area": "papers", + "slug": "visualwebarena", + "title": "VisualWebArena — 让网页 agent 真正看见界面", + "description": "用 VisualWebArena 理解多模态 web agent 为什么不能只读 DOM 文本，还要处理视觉线索。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "agent", + "raw_category": "AI Agent / Multimodal Web" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-14", + "review_after": null + }, + "route": "/study/papers/visualwebarena/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::vit", "area": "papers", @@ -32761,8 +32889,8 @@ }, "route": "/study/papers/voyager/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -33112,8 +33240,8 @@ }, "route": "/study/papers/webgpt-2021/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -33176,8 +33304,8 @@ }, "route": "/study/papers/webxskill/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -33400,8 +33528,8 @@ }, "route": "/study/papers/wizardlm-2023/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -64331,7 +64459,7 @@ "page": 2, "pages": 2, "route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/", - "entries": 1 + "entries": 5 }, { "id": "topic-papers-ai-safety-and-interpretability-01", diff --git a/data/review-receipts/papers/mle-bench.json b/data/review-receipts/papers/mle-bench.json new file mode 100644 index 000000000..7bc42f8e5 --- /dev/null +++ b/data/review-receipts/papers/mle-bench.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "mle-bench", + "digest_sha256": "b093cd115076731f58de53743a0cf5a47825c14c74d0f59731cf1f8f01b3415c" + }, + "source_revision": "arXiv:2410.07095v6", + "research_input_sha256": "8693c68493b19f35534fc4630738ec7c7e77bdc70ddbe247e870e49aae2d3ae6", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 86, + "warnings": [ + "Explains Kaggle-style ML engineering with a toy workflow; no Kaggle task was executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Engineering claims are limited to static paper reading; AIDE scaffold and benchmark harness were not run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Citation identity was checked through arXiv metadata; reported medal rates are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-14T14:30:00.000Z" +} diff --git a/data/review-receipts/papers/ruler-long-context.json b/data/review-receipts/papers/ruler-long-context.json new file mode 100644 index 000000000..27243b588 --- /dev/null +++ b/data/review-receipts/papers/ruler-long-context.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "ruler-long-context", + "digest_sha256": "fdea3ef9179c032b4040312f8720d8e43b0a09628bbf8aef951386d00a1cea81" + }, + "source_revision": "arXiv:2404.06654v3", + "research_input_sha256": "585001909e88932e9aa31c90a0fb62d22fe20ca6e3e5588dcbcc0cc841768ac8", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 87, + "warnings": [ + "Explains RULER through a toy long-context tracing example; benchmark tasks were not executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Engineering claims are limited to static evaluation design reading; no model inference was run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 85, + "warnings": [ + "Citation identity was checked through arXiv metadata; reported long-context results are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-14T14:30:00.000Z" +} diff --git a/data/review-receipts/papers/terminal-bench.json b/data/review-receipts/papers/terminal-bench.json new file mode 100644 index 000000000..749741f9f --- /dev/null +++ b/data/review-receipts/papers/terminal-bench.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "terminal-bench", + "digest_sha256": "d53e73c9e364b799eda0b68fe0cbac327a4ede5637c473babced097d93f8744d" + }, + "source_revision": "arXiv:2601.11868v1", + "research_input_sha256": "ed2c466d8731db408817bc38005cf930de8a4bf7fef3ed30abb15c3db04c9dd7", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 86, + "warnings": [ + "Explains terminal-agent evaluation with a toy CLI task; Terminal-Bench containers were not executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 85, + "warnings": [ + "Engineering interpretation is based on static paper reading; no benchmark harness or test container was run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Citation identity was checked through arXiv metadata; reported success rates are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-14T14:30:00.000Z" +} diff --git a/data/review-receipts/papers/visualwebarena.json b/data/review-receipts/papers/visualwebarena.json new file mode 100644 index 000000000..dcd149f38 --- /dev/null +++ b/data/review-receipts/papers/visualwebarena.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "visualwebarena", + "digest_sha256": "2e22832cb00b9558903b1649eda876fa333a29bc2942b7069ebc359fb82b0383" + }, + "source_revision": "arXiv:2401.13649v2", + "research_input_sha256": "529256654169545c443e57e08b2a9f2ac11d67d1b7e0e963ec802d4ef5673a3c", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 86, + "warnings": [ + "Explains visual web grounding with a toy shopping-page example; benchmark environment was not run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Engineering interpretation is based on static paper reading; no browser trajectory or multimodal agent was executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260714-one-more-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Citation identity was checked through arXiv metadata; reported benchmark numbers are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-14T14:30:00.000Z" +} diff --git a/src/content/docs/about.md b/src/content/docs/about.md index d0c762085..f066f34a7 100644 --- a/src/content/docs/about.md +++ b/src/content/docs/about.md @@ -14,7 +14,7 @@ sidebar: 写到今天的硬数字： -- **1063 篇论文笔记** + **961 篇项目笔记**，合计 **2000+ 篇** +- **1067 篇论文笔记** + **961 篇项目笔记**，合计 **2000+ 篇** - 横跨 19 个主题：分布式系统 76 / 编程语言 76 / 数据库 47 / 操作系统 46 / 机器学习 44 / 区块链 44 / 后端 API 40 / 基础设施 38 / 网络协议 37 / 图形学 36 / 形式化方法 27 / 通信 27 / 信息检索 25 / Agent 24 / CLI 23 / NLP 11 / 编译器 11 / 等 - 近 30 天集中产出：基础设施（444 commits）、编译器与 PL（72）、自演化 Agent（10+ 新建）、分布式（47）、区块链（44） diff --git a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md index 5ae2471f7..981c0e9e5 100644 --- a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md +++ b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md @@ -56,6 +56,7 @@ sidebar: | [Minerva — 把语言模型拉进数学草稿纸](/study/papers/minerva-2022/) | `minerva-2022` | advanced | UNVERIFIED | 用 Minerva 理解为什么数学推理需要专门的数据、逐步解题和采样验证 | | [Misevolution — 自进化 agent 也会"越改越坏"，连顶配模型也躲不过](/study/papers/misevolution-2509/) | `misevolution-2509` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | | [Mistral 7B — 小模型靠架构细节打出性价比](/study/papers/mistral-7b-2023/) | `mistral-7b-2023` | intermediate | UNVERIFIED | 用 Mistral 7B 理解 grouped-query attention 和 sliding-window attention 如何服务高效开源模型 | +| [MLE-bench — 用 Kaggle 任务衡量机器学习工程 agent](/study/papers/mle-bench/) | `mle-bench` | intermediate | UNVERIFIED | 用 MLE-bench 理解 ML 工程 agent 为什么不能只靠单元测试和代码 benchmark 来评估 | | [MMSkills — 把视觉 agent 的"操作经验"做成多模态卡片](/study/papers/mmskills-multimodal/) | `mmskills-multimodal` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | | [MRKL — 给大模型配一组专家工具和路由器](/study/papers/mrkl-systems-2022/) | `mrkl-systems-2022` | intermediate | UNVERIFIED | 用 MRKL Systems 理解 neuro-symbolic agent 为什么要把 LLM、检索和计算模块拆开 | | [Super-NaturalInstructions — 1600+ 任务教模型读懂说明书](/study/papers/natural-instructions-v2-2022/) | `natural-instructions-v2-2022` | intermediate | UNVERIFIED | 用 Super-NaturalInstructions 理解 declarative instructions 如何评测任务泛化 | @@ -82,6 +83,7 @@ sidebar: | [ReAct Agent — 推理和行动交替的工具使用范式](/study/papers/react-agent/) | `react-agent` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | | [Reflexion — 让 LLM 自我反思](/study/papers/reflexion/) | `reflexion` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | | [RETRO — DeepMind 的检索增强 LLM](/study/papers/retro/) | `retro` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | +| [RULER — 真实长上下文能力不能只看 NIAH](/study/papers/ruler-long-context/) | `ruler-long-context` | intermediate | UNVERIFIED | 用 RULER 理解长上下文模型的有效窗口、检索幻觉和聚合推理为什么要分开评测 | | [SayCan — 机器人不只问“想做什么”，还问“我能做什么”](/study/papers/saycan-2022/) | `saycan-2022` | intermediate | UNVERIFIED | 用 SayCan 理解语言模型和机器人 affordance 如何合成可执行动作 | | [Self-Consistency — 让模型把同一道题做 40 遍再投票](/study/papers/self-consistency-2022/) | `self-consistency-2022` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | | [自进化 AI agent 综述 — 给"会自己升级"的 agent 画一张统一地图](/study/papers/self-evolving-agents-survey/) | `self-evolving-agents-survey` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | @@ -101,6 +103,7 @@ sidebar: | [SWE-bench — 真实 GitHub Issue 评测](/study/papers/swe-bench/) | `swe-bench` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | | [SWE-Bench-CL — coding agent 不能只刷静态题](/study/papers/swe-bench-cl/) | `swe-bench-cl` | intermediate | UNVERIFIED | 用 SWE-Bench-CL 理解软件工程 agent 的持续学习、迁移和灾难性遗忘 | | [SWE-Skills-Bench — Agent 技能真的帮得上软件工程吗](/study/papers/swe-skills-bench-2026/) | `swe-skills-bench-2026` | intermediate | UNVERIFIED | 用 paired evaluation 衡量 SWE skills 对真实软件工程 agent 的边际收益和 token 成本 | +| [Terminal-Bench — 在真实命令行任务里测试 agent](/study/papers/terminal-bench/) | `terminal-bench` | intermediate | UNVERIFIED | 用 Terminal-Bench 理解终端环境为什么能暴露 agent 的长程执行、环境理解和验证能力 | | [ToolBench-X — 工具会坏时，agent 还能不能把事做完](/study/papers/toolbench-x/) | `toolbench-x` | intermediate | UNVERIFIED | 用 ToolBench-X 理解 tool-use benchmark 为什么要模拟规格漂移、调用错误、执行失败和结果冲突 | | [Toolformer — 教 LLM 自主调用 API](/study/papers/toolformer/) | `toolformer` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | | [ToolLLM — 用 16000+ API 训练模型进入真实工具世界](/study/papers/toolllm-2023/) | `toolllm-2023` | intermediate | UNVERIFIED | 用 ToolLLM 理解大规模 API 数据集、工具检索和工具评测如何支撑 agent | @@ -109,9 +112,6 @@ sidebar: | [TruthfulQA — 专门问模型容易学人类谬误的问题](/study/papers/truthfulqa-2021/) | `truthfulqa-2021` | intermediate | UNVERIFIED | 用 TruthfulQA 理解语言模型为什么会模仿常见假话而不是坚持事实 | | [UL2 — 一个模型同时练完补空、续写和长文本](/study/papers/ul2-2022/) | `ul2-2022` | advanced | UNVERIFIED | 用 UL2 理解 mixture-of-denoisers 如何统一不同语言模型训练范式 | | [VeriCache: Turning Lossy KV Cache into Lossless LLM Inference — 有损压缩草稿，无损输出验收](/study/papers/vericache/) | `vericache` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | -| [Voyager — LLM 终身学习智能体](/study/papers/voyager/) | `voyager` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | -| [WebGPT — 让模型带着浏览器回答问题](/study/papers/webgpt-2021/) | `webgpt-2021` | intermediate | UNVERIFIED | 用 WebGPT 理解检索、引用和人类偏好如何组合成可追溯问答 | -| [WebXSkill — 给 Web agent 的可执行 skill 是参数化代码 + URL 图索引](/study/papers/webxskill/) | `webxskill` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | -| [WizardLM — 用 Evol-Instruct 自动变难训练题](/study/papers/wizardlm-2023/) | `wizardlm-2023` | intermediate | UNVERIFIED | 用 WizardLM 理解 instruction 数据不只要多，还要逐步变复杂 | +| [VisualWebArena — 让网页 agent 真正看见界面](/study/papers/visualwebarena/) | `visualwebarena` | intermediate | UNVERIFIED | 用 VisualWebArena 理解多模态 web agent 为什么不能只读 DOM 文本，还要处理视觉线索 | [下一组](/study/atlas/papers/topic-papers-agents-and-llm-systems-02/) diff --git a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md index 1b9b9b8af..1cd98d219 100644 --- a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md +++ b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md @@ -1,6 +1,6 @@ --- title: "智能体与 LLM 系统 · 论文 · 第 2 组" -description: "1 条 智能体与 LLM 系统 Atlas 分块" +description: "5 条 智能体与 LLM 系统 Atlas 分块" sidebar: hidden: true --- @@ -9,10 +9,14 @@ sidebar: [返回论文全景索引](/study/papers-atlas/) -本分块共 1 条，稳定上限为 100 条。 +本分块共 5 条，稳定上限为 100 条。 | 论文 | Slug | 难度 | 可信状态 | 简介 | |---|---|---|---|---| +| [Voyager — LLM 终身学习智能体](/study/papers/voyager/) | `voyager` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | +| [WebGPT — 让模型带着浏览器回答问题](/study/papers/webgpt-2021/) | `webgpt-2021` | intermediate | UNVERIFIED | 用 WebGPT 理解检索、引用和人类偏好如何组合成可追溯问答 | +| [WebXSkill — 给 Web agent 的可执行 skill 是参数化代码 + URL 图索引](/study/papers/webxskill/) | `webxskill` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | +| [WizardLM — 用 Evol-Instruct 自动变难训练题](/study/papers/wizardlm-2023/) | `wizardlm-2023` | intermediate | UNVERIFIED | 用 WizardLM 理解 instruction 数据不只要多，还要逐步变复杂 | | [Zombie Agents — 自进化 agent 的长期记忆能被持久化"借尸还魂"](/study/papers/zombie-agents-2602/) | `zombie-agents-2602` | unknown | UNVERIFIED | 暂无独立描述；可先从标题与正文定位开始。 | [上一组](/study/atlas/papers/topic-papers-agents-and-llm-systems-01/) diff --git a/src/content/docs/career-plan.md b/src/content/docs/career-plan.md index ca5292e40..397bcd31a 100644 --- a/src/content/docs/career-plan.md +++ b/src/content/docs/career-plan.md @@ -5,7 +5,7 @@ sidebar: order: 1 --- -> 本页是路径说明。具体笔记见左侧分组；当前规模 2000+ 篇（论文 1063 + 项目 961）。 +> 本页是路径说明。具体笔记见左侧分组；当前规模 2000+ 篇（论文 1067 + 项目 961）。 ## 1. 路径模型的演化 diff --git a/src/content/docs/index.md b/src/content/docs/index.md index 444efb49e..88fd40188 100644 --- a/src/content/docs/index.md +++ b/src/content/docs/index.md @@ -144,7 +144,7 @@ head: -

当前规模：1063 篇论文 + 961 个项目 = 2024 篇笔记，按 19 个主题组织。数量已移出首屏，只作为覆盖面证据。

+

当前规模：1067 篇论文 + 961 个项目 = 2028 篇笔记，按 19 个主题组织。数量已移出首屏，只作为覆盖面证据。

diff --git a/src/content/docs/method.md b/src/content/docs/method.md index f146d5427..25902baf8 100644 --- a/src/content/docs/method.md +++ b/src/content/docs/method.md @@ -11,7 +11,7 @@ sidebar: ## 顶层结论（先看） -- 这套方法跑过 **961 篇项目 + 1063 篇论文 = 2024 篇**笔记，跨 19 个一级主题、约 2024 行写作密度 +- 这套方法跑过 **961 篇项目 + 1067 篇论文 = 2028 篇**笔记，跨 19 个一级主题、约 2028 行写作密度 - 最常被跳过的层是 **Layer 4 改一处**——但每次跳过都让整篇笔记从"机制"退回"翻译" - 真正变成"门面级"反向引用枢纽的笔记（[React](/study/projects/react/) 68 / [[pytorch]] 67 / [[kubernetes]] 66 / [[postgresql]] 66），无一例外都做过 L3+L4 双层 - L0 / L1 / L2 / L7 即使做得平庸也不致命；L3+L4 任一项缺失 = 整篇笔记掉档 diff --git a/src/content/docs/papers-atlas.md b/src/content/docs/papers-atlas.md index eb5279d9d..c37c108a1 100644 --- a/src/content/docs/papers-atlas.md +++ b/src/content/docs/papers-atlas.md @@ -1,6 +1,6 @@ --- title: 论文全景索引 -description: 1063 篇论文的分块地图 · 稳定 taxonomy · 自动生成 +description: 1067 篇论文的分块地图 · 稳定 taxonomy · 自动生成 sidebar: order: 5 label: 论文全景索引 @@ -12,10 +12,10 @@ sidebar: ## 总览
-
1063论文总数
-
1044已有规范主题
+
1067论文总数
+
1048已有规范主题
19暂未收纳进主题路线
-
98.2%分类覆盖率（1044 / 1063，已分类 / 总数）
+
98.2%分类覆盖率（1048 / 1067，已分类 / 总数）
## 先选一条学习路径 @@ -41,7 +41,7 @@ Atlas 不替代精选路线。零基础读者先从下面六条路径选一条 | 主题 | English | 数量 | 分块 | |---|---|---:|---| -| 智能体与 LLM 系统 | Agents and LLM Systems | 101 | [第 1/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-01/) · [第 2/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-02/) | +| 智能体与 LLM 系统 | Agents and LLM Systems | 105 | [第 1/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-01/) · [第 2/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-02/) | | NLP 基础与 Scaling | NLP Foundations and Scaling | 114 | [第 1/2 组](/study/atlas/papers/topic-papers-nlp-foundations-and-scaling-01/) · [第 2/2 组](/study/atlas/papers/topic-papers-nlp-foundations-and-scaling-02/) | | 计算机视觉 | Computer Vision | 11 | [第 1/1 组](/study/atlas/papers/topic-papers-computer-vision-01/) | | 生成模型 / 扩散 | Generative Models and Diffusion | 14 | [第 1/1 组](/study/atlas/papers/topic-papers-generative-models-and-diffusion-01/) | @@ -79,4 +79,4 @@ Atlas 不替代精选路线。零基础读者先从下面六条路径选一条 - difficulty 未知：1014 - description 为空：1013 -- sidecar 主键：1063 个唯一 `area::slug` +- sidecar 主键：1067 个唯一 `area::slug` diff --git a/src/content/docs/papers-method.md b/src/content/docs/papers-method.md index d5665bf9a..8d5963fbf 100644 --- a/src/content/docs/papers-method.md +++ b/src/content/docs/papers-method.md @@ -11,7 +11,7 @@ sidebar: ## 站点的论文体量 -截至 2026-07，论文目录共 1063 篇笔记，覆盖： +截至 2026-07，论文目录共 1067 篇笔记，覆盖： - 分布式系统 76 篇（[[paxos-1998]] / [[raft]] / [[lamport-1978]] / [[spanner-2012]]） - 编程语言 + 类型论 76 篇（[[hindley-milner]] / [[lambda-calculus]] / [[hoare-logic]]） diff --git a/src/content/docs/papers-queue.md b/src/content/docs/papers-queue.md index c8420a69e..104833302 100644 --- a/src/content/docs/papers-queue.md +++ b/src/content/docs/papers-queue.md @@ -5,7 +5,7 @@ sidebar: order: 4 --- -> 站内累计 1063 篇论文笔记，跨 14 个主题。这页不是"待读清单"，是 +> 站内累计 1067 篇论文笔记，跨 14 个主题。这页不是"待读清单"，是 > **入门指引** —— 每个 topic 给 3-5 篇 pillar 论文 + 一行说明它 > 为什么是该 topic 的支点。看完一条主线的 pillar，你就拿到了 > 该 topic 整张反向链接图的入口。 @@ -13,7 +13,7 @@ sidebar: ## 怎么用这页 - 不知道某个 topic 从哪读 → 来这里挑该主题 3-5 篇 pillar -- 想看完整 1063 篇分布与主题地图 → [papers-atlas](/study/papers-atlas/) +- 想看完整 1067 篇分布与主题地图 → [papers-atlas](/study/papers-atlas/) - 想要"如何精读一篇论文"的方法 → [papers-method](/study/papers-method/) - 想看跨论文 + 项目的混合阅读节奏 → [queue](/study/queue/) diff --git a/src/content/docs/papers/mle-bench.md b/src/content/docs/papers/mle-bench.md new file mode 100644 index 000000000..ad67b7f87 --- /dev/null +++ b/src/content/docs/papers/mle-bench.md @@ -0,0 +1,134 @@ +--- +title: 'MLE-bench — 用 Kaggle 任务衡量机器学习工程 agent' +description: '用 MLE-bench 理解 ML 工程 agent 为什么不能只靠单元测试和代码 benchmark 来评估。' +来源: 'Chan et al., arXiv:2410.07095' +日期: 2026-07-14 +分类: AI Agent / MLE Benchmark +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2410.07095v6 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-14' + publication_id: arXiv:2410.07095 + source_version: arXiv:2410.07095v6 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-14' + review_after: null + applicable_version: arXiv v6 +--- + +## 是什么 + +MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering 是一套评估机器学习工程 agent 的 benchmark。它不让 agent 只修一个小函数，而是把 Kaggle 竞赛改造成端到端 ML 工程任务：读数据、理解指标、写训练脚本、跑实验、提交结果。 + +类比：[[swe-bench]] 像让工程师修线上 bug，MLE-bench 更像让工程师参加一场小型建模比赛。前者看代码修改是否通过测试，后者看你能不能把数据、特征、模型、训练预算和实验记录组织成一个可提交方案。 + +本卡只基于 arXiv v6 元数据和论文静态阅读整理，没有下载 Kaggle 数据、没有运行 AIDE scaffold，也没有复现论文分数。所有实验数字都按论文表述理解，可信状态保持 `UNVERIFIED`。 + +## 问题是什么 + +软件工程 benchmark 已经能用单元测试判断很多任务是否完成，但 ML 工程不一样。一个模型方案即使代码能跑，也可能数据泄漏、指标选错、训练不收敛、提交格式不对，或者只是偶然碰到一个高分 seed。 + +MLE-bench 的核心问题是：当 agent 从“写代码”进入“做实验”时，我们怎么评价它是不是真的会做机器学习工程，而不是只会生成一段看起来合理的 notebook。 + +这也是上一轮 study 论文卡的缺口：我们补了不少 agent / tool use 经典卡，但对“agent 作为实验工程师”的评价还不够。MLE-bench 正好把目标从修 bug 扩到完整 ML workflow。 + +## 为什么重要 + +- 它把 agent evaluation 从代码正确性推进到实验工程能力。 +- 它使用 75 个 Kaggle 竞赛任务，让 benchmark 接近真实数据科学工作。 +- 它能暴露“会写脚本但不会实验”的 agent：数据处理、资源分配和指标理解都可能失败。 +- 它给 [[openhands]]、[[swe-agent]] 这类 coding agent 之外的研究线提供了新靶场。 +- 它提醒我们：ML 工程的结果不是一次 `pytest`，而是一串有成本、有噪声、有 leaderboard 的实验。 + +## 核心方法 + +| 组件 | 作用 | 我怎么读 | +|---|---|---| +| Kaggle 任务集合 | 从公开竞赛中抽 75 个 ML 工程任务 | 保留真实数据和指标复杂度 | +| 人类基线 | 用 Kaggle leaderboard 建立 medal 参照 | 把 agent 分数映射成 bronze / silver / gold 直觉 | +| agent scaffold | 让模型通过代码、文件和实验循环解题 | 测的是模型加工具链，不是裸模型问答 | +| resource scaling | 比较更多尝试、更多时间和更多算力是否提升 | 评估 agent 能否把资源转化为分数 | + +这套设计的关键不是“有 75 个任务”这个数量，而是它把每个任务包装成一个真实 workflow：agent 要读说明、决定特征工程、写训练代码、跑评估、迭代方案。失败也不一定是语法错，可能是科研工程里的策略错。 + +## 论文地形 + +1. 引言提出 ML engineering 作为 agent 新评测对象。 +2. Benchmark 构造说明如何从 Kaggle 任务转成可执行环境。 +3. Baseline 章节比较 frontier model 与 open-source scaffold 的表现。 +4. Scaling 章节看更多尝试和资源是否带来 medal rate 提升。 +5. Error analysis 讨论 agent 在数据、建模、调参、执行上的失败类型。 + +读这篇时不要只盯最高分。更有价值的是看它如何把“机器学习工程”拆成可复查任务，以及它承认哪些部分仍然昂贵、噪声大、难以自动判定。 + +## 手工 toy 复现 + +我用一个极小 Kaggle-like 任务手推 MLE-bench 的评价逻辑： + +| 步骤 | toy 任务动作 | MLE-bench 对应能力 | +|---|---|---| +| 读说明 | 预测房价，指标是 RMSE | 读懂目标和提交格式 | +| 处理数据 | 缺失值填充，类别特征 one-hot | 数据清洗和特征工程 | +| 训练模型 | 先跑 Linear Regression，再跑 RandomForest | baseline + 迭代 | +| 验证 | 本地切 validation set，避免只看 train 分数 | 实验设计 | +| 提交 | 生成 `submission.csv` | 任务协议执行 | + +如果 agent 只写出一个能运行的训练脚本，但没有验证集、没有处理类别特征、提交列名还错了，在软件工程 benchmark 里可能看起来“代码完成”，但在 MLE-bench 里就是低质量方案。 + +这个 toy 只验证 benchmark 直觉，不代表我跑过论文环境。真正升级为 `VERIFIED` 需要下载任务、执行 agent scaffold，并把日志写入 review evidence。 + +## 评测读法 + +论文报告 best-performing setup 是 o1-preview with AIDE scaffolding，至少达到 Kaggle bronze medal 级别的比例为 16.9%。我把这个数字理解成“frontier agent 已经能在少数真实 ML 任务上做出有效方案”，而不是“ML 工程师已经被替代”。 + +原因很简单：Kaggle medal 只覆盖某类竞赛任务，真实 ML 工程还包含数据权限、线上反馈、合规约束、业务目标变动、监控和回滚。MLE-bench 是一块很好的试金石，但不是完整职业画像。 + +## 踩过的坑 + +1. **不要把 Kaggle medal rate 当成产品成功率**：竞赛指标清晰，真实业务指标经常变动。 +2. **不要忽略 scaffold**：结果来自模型 + 工具 + 运行预算，不能全归功于裸 LLM。 +3. **不要只看提交分**：实验记录、数据泄漏和资源成本同样重要。 +4. **不要把一次运行当稳定能力**：ML 训练有随机性，agent 也会受 seed 和时间预算影响。 +5. **不要把 ML 工程降级成代码生成**：数据理解和实验策略才是本篇想测的主角。 + +## 与当前工作的连接 + +今天就能用：评估 coding agent 时，除了看 `pytest`，也要设计“读数据、跑实验、解释指标”的小任务，避免只训练出会修样例测试的工具。 + +下个月可以用：如果要做 AI-first bugfix 或自动实验平台，MLE-bench 提醒我们保留完整 trajectory：命令、失败、重试、指标变化和最终提交都要能回放。 + +不要照搬：不要把 Kaggle 任务直接当实习项目目标。真实工作里的数据、权限、成本和交付标准更复杂，需要单独建验收。 + +## 学到什么 + +- ML 工程 agent 的评估必须包含数据和实验闭环。 +- Benchmark 的难点不只是任务数量，而是能否保留真实工作流中的不确定性。 +- `bronze medal` 是一个很好懂的能力单位，但不能替代业务验收。 +- 对 study 来说，这篇补上了 [[swe-bench]] 之外的 agent 工程评估分支。 + +## 延伸阅读 + +- 原文： +- 本卡使用版本： +- [[swe-bench]]：软件工程 bugfix 任务的主 benchmark。 +- [[openhands]]：面向软件工程 agent 的开源平台。 +- [[swe-agent]]：SWE-bench 早期代表 agent scaffold。 +- [[agentless]]：更轻量的 SWE 修复路线。 + +## 关联 + +- [[swe-bench]] +- [[swe-bench-cl]] +- [[openhands]] +- [[swe-agent]] +- [[agentless]] + +## 反向链接 + + diff --git a/src/content/docs/papers/ruler-long-context.md b/src/content/docs/papers/ruler-long-context.md new file mode 100644 index 000000000..76e96f2f2 --- /dev/null +++ b/src/content/docs/papers/ruler-long-context.md @@ -0,0 +1,146 @@ +--- +title: 'RULER — 真实长上下文能力不能只看 NIAH' +description: '用 RULER 理解长上下文模型的有效窗口、检索幻觉和聚合推理为什么要分开评测。' +来源: 'Hsieh et al., arXiv:2404.06654' +日期: 2026-07-14 +分类: LLM / Long Context Evaluation +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2404.06654v3 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-14' + publication_id: arXiv:2404.06654 + source_version: arXiv:2404.06654v3 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-14' + review_after: null + applicable_version: arXiv v3 +--- + +## 是什么 + +RULER: What's the Real Context Size of Your Long-Context Language Models? 是一篇长上下文评测论文。它认为常见的 needle-in-a-haystack（NIAH，把一根针藏进长文本里再让模型找）太单薄，不能代表真实长上下文理解。 + +类比：NIAH 像在仓库里找一张贴着红色标签的纸；RULER 更像让你在仓库里找多张纸、串起线索、做汇总，还要在不同货架长度下保持稳定。后者才更接近真实读长文、查日志、看代码库。 + +本卡只基于 arXiv v3 和论文静态阅读整理，没有运行 RULER benchmark，也没有复现 17 个 long-context models 的结果。可信状态保持 `UNVERIFIED`。 + +## 问题是什么 + +很多模型宣称支持 128K、200K、1M token context，但“能塞进去”不等于“能用起来”。如果评测只问模型能不能找到一根明显的针，模型可能在 NIAH 上很好，却在多跳查找、信息聚合和干扰项下失败。 + +RULER 的问题是：长上下文模型的真实有效窗口到底有多大？它在什么任务类型、什么长度、什么干扰强度下开始掉线？ + +上一轮 study 已经补了 [[longnet-2023]]、[[bigbird-2020]] 等长上下文架构卡，但缺少一个“怎么测长上下文是否真的有用”的枢纽。RULER 正好补上这个评价层。 + +## 为什么重要 + +- 它把长上下文从 marketing number 拉回任务能力。 +- 它扩展 NIAH，加入多 needle、多跳 tracing 和 aggregation。 +- 它能解释为什么某些模型“标称 128K”，但在复杂任务上有效长度更短。 +- 它是后续 KV cache、context compression、long-context training 论文常用的对照 benchmark。 +- 它提醒我们：长上下文产品不能只测“能不能找到一句话”。 + +## 核心方法 + +| 任务类型 | 测什么 | 为什么比普通 NIAH 更难 | +|---|---|---| +| NIAH variants | 不同 needle 数量和位置 | 检查检索是否被长度和位置影响 | +| Multi-hop tracing | 从一个线索跳到另一个线索 | 测链式引用，而不是单点搜索 | +| Aggregation | 从多处信息做汇总 | 测模型能不能跨上下文聚合 | +| Flexible length | 可配置序列长度和复杂度 | 画出能力随长度衰减的曲线 | + +我把 RULER 看成“长上下文压力测试生成器”。它不只给一个总分，而是让你看到模型在哪类长上下文操作上先坏掉。 + +## 论文地形 + +1. 引言批评单一 NIAH 不能代表真实长上下文理解。 +2. Benchmark 设计说明 RULER 的任务族、长度配置和复杂度参数。 +3. 实验章节比较 17 个 long-context LMs 的性能。 +4. 分析章节讨论不同任务、长度和模型之间的能力差异。 +5. 结论强调真实 context size 往往小于标称窗口。 + +读这篇时要把重点放在“能力曲线”上，而不是某个模型赢了。RULER 的价值是揭示长上下文能力如何随任务复杂度和长度退化。 + +## 手工 toy 复现 + +我用一个 12 行假文档手推 RULER 和 NIAH 的差别： + +```text +1. Alice owns project A. +2. Project A depends on library L. +3. Library L was patched by Bob. +... +9. Carol owns project C. +10. Project C depends on library M. +11. Library M was patched by Dana. +12. Ignore unrelated note. +``` + +| 问题 | 类型 | 难点 | +|---|---|---| +| 谁 patch 了 library L? | 单 needle | 找到一行即可 | +| Project A 的 patch author 是谁? | multi-hop | A -> L -> Bob | +| A 和 C 的 patch author 列表是什么? | aggregation | 多条链路 + 汇总 | +| 如果 library X 不存在怎么办? | null / robustness | 不能编答案 | + +普通 NIAH 只覆盖第一类；真实读日志、读代码库经常是后三类。RULER 的直觉就在这里：长上下文不是长搜索框，而是长证据图。 + +## 评测读法 + +论文摘要说 RULER 评估 17 个 long-context LMs，并展示模型在不同任务和长度下的差异。我读这类结果时会看三件事： + +1. 模型在哪个长度开始明显掉分。 +2. 掉分是发生在检索、tracing 还是 aggregation。 +3. 标称 context window 和有效任务窗口差多少。 + +如果一个模型在 128K NIAH 上很好，但 aggregation 到 32K 就掉，这说明它适合“找条款”，不一定适合“读完整事故报告后归因”。 + +## 踩过的坑 + +1. **不要把 context window 当有效理解长度**：能输入不等于能稳定使用。 +2. **不要只测一根针**：单点检索太容易高估能力。 +3. **不要忽略位置偏差**：开头、中间、结尾的证据可能有不同命中率。 +4. **不要把 synthetic benchmark 当全部真实任务**：RULER 可控，但真实文档还有噪声、格式和领域知识。 +5. **不要忘了成本**：长上下文更贵，评测要同时看性能和 token 预算。 + +## 与当前工作的连接 + +今天就能用：做长文档问答或代码库检索时，不能只测“能否找到一行”。至少要加多跳、聚合和无答案样例。 + +下个月可以用：如果要评估 agent memory 或 context engineering，可以用 RULER 的思路设计小型私有 eval：长度、干扰项、证据跳数和答案聚合分开控制。 + +不要照搬：RULER 是 synthetic benchmark，不能直接代表公司文档。真实场景还要测权限、格式、表格、图片和内部术语。 + +## 学到什么 + +- 长上下文能力要按任务类型拆开看。 +- 标称窗口越大，越需要有效窗口评测。 +- RULER 是许多 KV cache 和压缩论文的共同参照点。 +- 对 study 图谱来说，它连接了 [[longnet-2023]] 这类架构和 [[nestedkv]] 这类压缩方法。 + +## 延伸阅读 + +- 原文： +- 本卡使用版本： +- [[longnet-2023]]：百万级上下文方向的代表架构。 +- [[bigbird-2020]]：稀疏 attention 长序列路线。 +- [[transformer-xl-2019]]：段级 recurrence 的早期长上下文路线。 +- [[nestedkv]]、[[oscar-int2-kv]]：后续 KV cache / 压缩论文常引用 RULER。 + +## 关联 + +- [[longnet-2023]] +- [[bigbird-2020]] +- [[transformer-xl-2019]] +- [[nestedkv]] +- [[oscar-int2-kv]] + +## 反向链接 + + diff --git a/src/content/docs/papers/terminal-bench.md b/src/content/docs/papers/terminal-bench.md new file mode 100644 index 000000000..ff6681674 --- /dev/null +++ b/src/content/docs/papers/terminal-bench.md @@ -0,0 +1,136 @@ +--- +title: 'Terminal-Bench — 在真实命令行任务里测试 agent' +description: '用 Terminal-Bench 理解终端环境为什么能暴露 agent 的长程执行、环境理解和验证能力。' +来源: 'Merrill et al., arXiv:2601.11868' +日期: 2026-07-14 +分类: AI Agent / Terminal Benchmark +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2601.11868v1 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-14' + publication_id: arXiv:2601.11868 + source_version: arXiv:2601.11868v1 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-14' + review_after: null + applicable_version: arXiv v1 +--- + +## 是什么 + +Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces 是一个面向命令行 agent 的 benchmark。论文的 Terminal-Bench 2.0 包含 89 个困难任务，每个任务都有独立环境、人类写的参考解法和自动化测试。 + +类比：[[swe-bench]] 像让 agent 改 GitHub issue，Terminal-Bench 更像把 agent 放进一台陌生服务器，让它读 README、装依赖、改配置、跑命令、检查结果。真正的难点不是“会不会写一行代码”，而是“会不会在终端里把事情办完”。 + +本卡只基于 arXiv v1 和论文静态阅读整理，没有运行 Terminal-Bench harness，也没有执行任何任务容器。论文分数和错误分析均保持 `UNVERIFIED`。 + +## 问题是什么 + +很多 agent benchmark 离真实工作还有距离。问答 benchmark 没有环境，代码 benchmark 常常把任务压成一个 patch，Web benchmark 又容易受界面漂移影响。终端是工程师真实工作最常见的接口之一：文件、进程、依赖、权限、日志、测试都在里面。 + +Terminal-Bench 问的是：当任务需要多步命令、环境探索、错误恢复和最终测试时，agent 还能稳定完成吗？ + +这正好补上一轮 study 的一个不足：我们完成了很多 paper note，但对“agent 在真实操作界面里的执行闭环”强调不够。Terminal-Bench 把执行接口收窄到 CLI，让问题更容易复查。 + +## 为什么重要 + +- 终端任务天然长程：一个错误命令会影响后续状态。 +- 终端任务可测试：每个任务可以用自动测试判断是否完成。 +- 终端任务接近真实工程：日志、依赖、文件系统和脚本都在同一环境里。 +- 它比纯代码补全更能测 agent 的观察和恢复能力。 +- 它给 [[openhands]]、[[swe-agent]] 这类系统提供了比单一 patch 更广的执行靶场。 + +## 核心方法 + +| 设计 | 作用 | 工程直觉 | +|---|---|---| +| 89 个 hard tasks | 控制规模但提高任务质量 | 宁可少而难，也不要水题堆数量 | +| unique environment | 每题有独立环境 | 防止 agent 靠记忆或固定脚本过关 | +| human-written solution | 有人类参考路径 | 便于确认任务真实可解 | +| comprehensive tests | 用测试验证终态 | 防止 agent 只输出解释不改环境 | +| error analysis | 分析失败类型 | 找出模型、工具、任务设计的短板 | + +我最看重的是“环境 + 测试”的组合。终端 benchmark 如果没有测试，就会变成日志作文；如果没有真实环境，又会退回问答题。Terminal-Bench 把两者绑在一起。 + +## 论文地形 + +1. 引言说明现有 benchmark 不够真实或不够难。 +2. 数据集章节解释任务来源、环境构建和测试设计。 +3. 评测章节比较 frontier models / agents 在 89 个任务上的表现。 +4. Error analysis 把失败拆成环境理解、命令选择、恢复、验证等类型。 +5. 讨论部分强调发布数据和 harness，方便后续研究复测。 + +读这篇时要把它当“任务设计论文”看，而不是只看排行榜。它真正贡献的是怎样把终端工作变成可验证 benchmark。 + +## 手工 toy 复现 + +我用一个极小终端任务手推它的评价方式： + +任务：仓库里有一个 Python CLI，`tests/test_cli.py` 失败。要求 agent 修复并让测试通过。 + +| agent 行为 | 终端 benchmark 视角 | +|---|---| +| 先 `ls`、读 README、跑测试 | 正常观察环境 | +| 看到 `ModuleNotFoundError` 后安装依赖或修 import | 错误恢复 | +| 改完只解释“不再报错”，不跑测试 | 终态未验证 | +| 为了过测试删除 failing test | 任务违规 | +| 跑 `pytest` 通过且输出文件正确 | 可由 harness 判定成功 | + +这个 toy 的重点是：终端 agent 的输出不是一段答案，而是一串会改变环境的动作。评价必须看最终状态，不只看中间文字。 + +## 评测读法 + +论文摘要里提到 frontier models and agents 在 benchmark 上低于 65%。我把它理解成：即使模型已经很强，终端里的真实任务仍然有大量失败面。 + +失败不一定说明模型“不会编程”。它可能卡在依赖安装、路径理解、隐藏测试、状态污染、命令输出太长、或者没有复查最终结果。这些正是 agent 产品里最常见的硬问题。 + +## 踩过的坑 + +1. **终端不是文本问答**：命令会改变状态，错误会累积。 +2. **通过率不等于安全性**：能完成任务的 agent 也可能乱删文件或执行危险命令。 +3. **测试设计很关键**：测试太弱会奖励投机，测试太强会把任务变成猜谜。 +4. **环境漂移要管住**：依赖版本、网络、权限都会影响复现。 +5. **日志不是证据全部**：最终文件、测试结果和 exit code 才是验收核心。 + +## 与当前工作的连接 + +今天就能用：做任何 agent 自动化任务时，都要把“最终状态检查”写成命令，而不是只看 agent 汇报。比如修 bug 至少要有测试、lint 或可复现脚本。 + +下个月可以用：如果要设计内部 agent 评测，可以从 Terminal-Bench 学“每题独立环境 + 人类参考解 + 自动测试”的三件套，避免把 eval 做成聊天问答。 + +不要照搬：公开 benchmark 的容器任务不能直接代表公司环境。真实环境还要考虑权限、审计、凭证和安全边界。 + +## 学到什么 + +- 终端是 agent 的真实工作台，不只是 shell 工具集合。 +- 好 benchmark 要同时有任务、环境、参考解和测试。 +- 长程执行失败常常来自状态管理，而不是单步推理。 +- 这篇和 [[osworld]] 互补：OSWorld 测 GUI computer use，Terminal-Bench 测 CLI computer use。 + +## 延伸阅读 + +- 原文： +- 本卡使用版本： +- 项目页： +- [[osworld]]：桌面 GUI agent benchmark。 +- [[swe-bench]]：软件工程 issue 修复 benchmark。 +- [[agent-planning-benchmark-2026]]：把 agent 失败拆成规划诊断题。 + +## 关联 + +- [[osworld]] +- [[swe-bench]] +- [[openhands]] +- [[swe-agent]] +- [[agent-planning-benchmark-2026]] +- [[mle-bench]] + +## 反向链接 + + diff --git a/src/content/docs/papers/visualwebarena.md b/src/content/docs/papers/visualwebarena.md new file mode 100644 index 000000000..a29e4df3d --- /dev/null +++ b/src/content/docs/papers/visualwebarena.md @@ -0,0 +1,137 @@ +--- +title: 'VisualWebArena — 让网页 agent 真正看见界面' +description: '用 VisualWebArena 理解多模态 web agent 为什么不能只读 DOM 文本，还要处理视觉线索。' +来源: 'Koh et al., arXiv:2401.13649' +日期: 2026-07-14 +分类: AI Agent / Multimodal Web +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2401.13649v2 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-14' + publication_id: arXiv:2401.13649 + source_version: arXiv:2401.13649v2 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-14' + review_after: null + applicable_version: arXiv v2 +--- + +## 是什么 + +VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks 是一个评估多模态网页 agent 的 benchmark。它关注的是：agent 在真实网页任务里，是否能利用截图、布局、图标、图片和视觉状态，而不是只读文本或 DOM。 + +类比：普通 text web agent 像电话客服只能听你描述网页；VisualWebArena 要求 agent 真正看屏幕。按钮是否灰掉、商品图是否匹配、地图位置在哪里、图表颜色代表什么，这些都可能影响动作。 + +本卡只基于 arXiv v2 和论文静态阅读整理，没有部署 VisualWebArena 环境，也没有跑多模态 agent trajectory。所有 benchmark 结果保持 `UNVERIFIED`。 + +## 问题是什么 + +很多 web agent benchmark 假设网页可以被文本化：把 DOM、accessibility tree 或页面文字喂给模型，让模型决定下一步。但真实网页是给人眼设计的，关键信息经常在视觉层：颜色、位置、图片、图表、地图、禁用态、遮罩、模态框。 + +VisualWebArena 的问题是：如果任务必须依赖视觉信息，纯文本 agent 会在哪里失败？多模态 agent 能不能把“看见”转化成正确点击和规划？ + +这补上了 study agent 线的一个空白：[[osworld]] 测桌面 GUI，[[webxskill]] 测网页 skill 复用，VisualWebArena 更专注网页视觉 grounding。 + +## 为什么重要 + +- 大多数用户界面不是为机器读 DOM 设计的，而是为人看屏幕设计的。 +- 视觉线索会改变动作：同样的按钮文字，位置和状态不同含义也不同。 +- 多模态 agent 需要同时处理 perception、planning 和 action。 +- 它能暴露 text-only web agent 被隐藏视觉信息误导的问题。 +- 它为网页自动化产品提供更接近真实 UI 的评测思路。 + +## 核心方法 + +| 组件 | 作用 | 我怎么理解 | +|---|---|---| +| visually grounded tasks | 任务必须用视觉信息完成 | 不让 agent 只靠 DOM 文本过关 | +| realistic web environments | 复用真实风格网页环境 | 保留布局、图片和交互复杂度 | +| multimodal observations | agent 可以看截图等视觉输入 | 测视觉理解和动作决策联动 | +| task success checks | 用环境结果判断完成度 | 防止只输出解释不行动 | + +这篇的关键不是“网页任务又多了一套”，而是它把视觉 grounding 放进 web agent 评价中心。对 GUI agent 来说，看见不是附加能力，而是任务定义的一部分。 + +## 论文地形 + +1. 引言说明 text-only web benchmark 忽略视觉信息。 +2. Benchmark 构造章节介绍任务、环境和视觉需求。 +3. Baseline 章节比较多模态 agent 与文本 agent 的差距。 +4. 分析章节讨论哪些任务需要图片、布局、图表或视觉状态。 +5. 讨论部分指出多模态网页 agent 仍远未达到人类水平。 + +读这篇时，我会把它和 [[osworld]] 放在一起：OSWorld 是操作系统层面的 computer use，VisualWebArena 是网页层面的视觉任务。二者都在提醒我们：真实界面不是纯文本 API。 + +## 手工 toy 复现 + +我用一个极小网页任务模拟 VisualWebArena 的差别： + +任务：在电商页里找到“红色跑鞋”的商品并加入购物车。DOM 里每个商品卡片只有 `Add to cart` 按钮，图片 alt 文本缺失。 + +| agent 观察 | 可能行为 | 结果 | +|---|---|---| +| 只读 DOM 文本 | 看到多个 `Add to cart`，随机选 | 高概率错 | +| 看截图 | 识别红色鞋图，再点对应按钮 | 有机会成功 | +| 看截图但不理解布局 | 点到相邻商品按钮 | 视觉 grounding 失败 | +| 看图后复查购物车 | 确认商品名和颜色 | 更稳定 | + +这个 toy 说明：视觉不是“锦上添花”，而是 action grounding 的输入。如果任务答案在图片或布局里，文本 agent 的失败不是推理差，而是观察缺失。 + +## 评测读法 + +论文摘要强调 VisualWebArena 面向 visually grounded tasks。我读结果时会看三层： + +1. text-only baseline 失败在哪里：是看不到图片，还是规划不行。 +2. multimodal agent 提升在哪里：图片、布局、状态、图表哪类最有效。 +3. 成功任务是否真的需要视觉：如果 DOM 足够，benchmark 就测不到核心问题。 + +这比单看总成功率更重要，因为多模态 agent 的瓶颈可能在 perception，也可能在 action space 或反馈循环。 + +## 踩过的坑 + +1. **不要把截图当万能输入**：看见图片不代表能定位按钮。 +2. **不要忽略 accessibility tree**：真实产品既要视觉，也要可访问结构。 +3. **不要把网页任务简化成 DOM 检索**：很多关键状态只在视觉层明显。 +4. **不要忘记页面漂移**：真实网站改版会让 benchmark 不稳定。 +5. **不要只测成功率**：要区分看错、点错、计划错和验证错。 + +## 与当前工作的连接 + +今天就能用：做浏览器自动化或前端验收时，要区分三件事：DOM 是否存在、视觉是否正确、点击是否打到目标。只测 DOM 会漏掉遮挡、禁用态和错位。 + +下个月可以用：如果设计 web agent eval，可以借鉴 VisualWebArena，把任务标注为“文本可解 / 视觉必需 / 布局必需 / 状态必需”，这样失败归因更清楚。 + +不要照搬：公开网页 benchmark 的任务域有限，不能直接代表公司产品。真实产品还涉及登录、权限、灰度、隐私和安全动作。 + +## 学到什么 + +- Web agent 的观察不是只有 DOM，视觉状态会决定动作。 +- 多模态能力必须和 action grounding 一起评估。 +- GUI agent benchmark 要能拆分 perception failure 和 planning failure。 +- VisualWebArena 是连接 [[osworld]]、[[webxskill]] 和网页自动化实践的重要节点。 + +## 延伸阅读 + +- 原文： +- 本卡使用版本： +- [[osworld]]：桌面 GUI computer use benchmark。 +- [[webxskill]]：网页 skill 复用与参数化执行。 +- [[react-agent]]：think-act-observe 的 agent 基本循环。 +- [[toolformer]]：工具使用学习路线。 + +## 关联 + +- [[osworld]] +- [[webxskill]] +- [[react-agent]] +- [[toolformer]] +- [[agent-planning-benchmark-2026]] + +## 反向链接 + + diff --git a/src/content/docs/queue.md b/src/content/docs/queue.md index 21570f0ba..1d03e8d37 100644 --- a/src/content/docs/queue.md +++ b/src/content/docs/queue.md @@ -6,7 +6,7 @@ sidebar: --- > 不是"读哪 20 个"的清单，是"先读哪 5 个就能撑起一个领域"的导航。 -> 当前站点 961 篇项目笔记 + 1063 篇论文笔记，凑数没有意义，**取舍**才有。 +> 当前站点 961 篇项目笔记 + 1067 篇论文笔记，凑数没有意义，**取舍**才有。 > 每个主题给 3-5 个 pillar：反向链接最多、跨主题被引最广、读完能形成判断。 ## 怎么用这页 @@ -189,7 +189,7 @@ PL 理论在论文侧根扎得最深：[[hindley-milner]] / [[lambda-calculus]] ## 全景 atlas - 项目全景（961 篇按主题分组、反向链接热度、消化状态）：[projects-atlas](/study/projects-atlas/) -- 论文全景（1063 篇按子领域、pillar 标记、未消化队列）：[papers-atlas](/study/papers-atlas/) +- 论文全景（1067 篇按子领域、pillar 标记、未消化队列）：[papers-atlas](/study/papers-atlas/) - 论文推荐入口（与本页平行的论文版导航）：[papers-queue](/study/papers-queue/) - 方法论与挑选标准：[about](/study/about/) / [method](/study/method/) / [papers-method](/study/papers-method/)