diff --git a/SESSION-HANDOFF.md b/SESSION-HANDOFF.md index adf5ce5ee..8637ab57a 100644 --- a/SESSION-HANDOFF.md +++ b/SESSION-HANDOFF.md @@ -2,10 +2,34 @@ > 状态:当前接班入口。旧的批量生产 session 快照已失效,不得用于恢复自动循环;持续运行使用只读 supervisor + 有界 writer epoch。 -## 2026-07-15 继续推进 4 篇 web / app / tool-use 环境论文 +## 2026-07-15 总结不足后推进 4 篇通用助手 / 浏览器 / 移动端论文 - status:`local-ready`(已完成本地内容、receipt、atlas 和核心审计;远端 PR / merge / Pages deploy 仍以实时外部状态为准)。 +- 起始 ref:`38a0f7a8f31acca8ad728189d4e8530a72cba60c`(PR #35 merge 后的 `origin/main`)。 +- 本轮不足总结:上一轮 web / app / tool-use 环境卡完成了环境层补齐,但仍偏单类环境组件;缺少通用助手综合任务、真实耗时 open-web 任务、统一浏览器评测生态、移动 GUI 动态环境四条主线;所有新卡仍是 `STATIC_ANALYSIS` / `UNVERIFIED`,没有真实 benchmark 运行证据。 +- objective:新增 4 篇 `study-v2` paper note,补强 general assistant / browser ecosystem / mobile GUI agent 评测:`GAIA`、`AssistantBench`、`BrowserGym`、`AndroidWorld`。 +- scope:允许新增 `src/content/docs/papers/*.md`、`data/review-receipts/papers/*.json`,刷新 `data/note-index.json`、papers atlas 派生页和公开计数文案;不修改候选队列、policy/threshold、既有论文正文语义。 +- activated_by:`explicit-user-request-2026-07-15-summarize-gaps-and-advance-one-more-round` +- review_after:`2026-07-15` +- acceptance_checks: + - `lr search arxiv` + arXiv API 元数据核验 4/4; + - `node scripts/quality-gate.mjs` 逐篇通过,行数分别为 136 / 136 / 143 / 140,无 advisory; + - `npm run audit:content-contract`:0 blocking,64 v2; + - `npm run atlas`:2036 notes,69 chunks; + - `npm run audit:counts`:projects=961、papers=1075、total=2036; + - `npm run audit:links` / `npm run audit:wikilinks`:无 blocking。 +- budget:1 个内容小批次、4 篇新增 paper、1 个可写切片、1 个本地 writer。 +- external_outcome:当前为本地 review-ready change set;PR、merge 和 Pages deploy 需要以单独外部动作完成并复核。 +- stop_conditions:规范工具链不可用;arXiv 来源不可核验;content contract / redline / strict build / verify:ci 失败且无法在 scope 内修复;需要改 policy/threshold、候选队列或敏感内容;用户停止。 +- superseded_by:`none` + +## 2026-07-15 继续推进 4 篇 web / app / tool-use 环境论文全流程完成记录 + +- status:`complete` - 起始 ref:`aac96ba8b574509edf089c20732a17b19e98b487`(PR #34 merge 后的 `origin/main`)。 +- 完成 ref:`38a0f7a8f31acca8ad728189d4e8530a72cba60c`(PR #35 merge commit)。 +- external delta:PR #35 `Add four web and tool-use agent papers` 已合并;GitHub Pages workflow `29382534990` 已成功完成,公开站点为 `https://estelledc.github.io/study/`。 +- 内容 delta:新增 4 篇 `study-v2` paper note(`webarena`、`mind2web`、`appworld`、`toolsandbox`)、4 份 `study-review-receipt-v1`,并刷新 atlas / note-index / 公开规模文案;当前公开计数为 projects=961、papers=1071、total=2032。 - objective:在用户明确要求“继续推进”下,新增 4 篇 `study-v2` paper note,补强 web / app / tool-use agent 环境评测主线:`WebArena`、`Mind2Web`、`AppWorld`、`ToolSandbox`。 - scope:允许新增 `src/content/docs/papers/*.md`、`data/review-receipts/papers/*.json`,刷新 `data/note-index.json`、papers atlas 派生页和公开计数文案;不修改候选队列、policy/threshold、既有论文正文语义。 - activated_by:`explicit-user-request-2026-07-15-continue-study-round` @@ -16,10 +40,15 @@ - `npm run audit:content-contract`:0 blocking,60 v2; - `npm run atlas`:2032 notes,69 chunks; - `npm run audit:counts`:projects=961、papers=1071、total=2032; - - `npm run audit:links` / `npm run audit:wikilinks`:无 blocking。 + - `npm run audit:links` / `npm run audit:wikilinks`:无 blocking; + - `git ls-files -co --exclude-standard -z | node scripts/audit-public-redlines.mjs --stdin0`:0 blocking; + - `npm run build:strict -- --log /tmp/study-20260715-web-tool-round-build-clean.log`:通过;首次失败由 stale `.astro` cache 触发 duplicate-id warning,删除 ignored cache 后恢复; + - `STUDY_CHANGED_FROM=origin/main npm run verify:ci`:本地通过;PR #35 远端 CI `29382391831` 通过; + - 线上冒烟:主页和 `webarena`、`mind2web`、`appworld`、`toolsandbox` 均返回 200。 - budget:1 个内容小批次、4 篇新增 paper、1 个可写切片、1 个本地 writer。 -- external_outcome:当前为本地 review-ready change set;PR、merge 和 Pages deploy 需要以单独外部动作完成并复核。 +- external_outcome:4 篇新增论文笔记进入公开 study 站点;验证状态保持 `UNVERIFIED`。 - stop_conditions:规范工具链不可用;arXiv 来源不可核验;content contract / redline / strict build / verify:ci 失败且无法在 scope 内修复;需要改 policy/threshold、候选队列或敏感内容;用户停止。 +- 最终状态:`main...origin/main` 对齐;下一次写入只能由新的显式 backlog、外部状态变化或用户重新授权触发。 - superseded_by:`none` ## 2026-07-14 总结不足后再推进 4 篇补强论文全流程完成记录 diff --git a/data/note-index.json b/data/note-index.json index cdb3e7694..0d7b022dc 100644 --- a/data/note-index.json +++ b/data/note-index.json @@ -3,16 +3,16 @@ "taxonomy_version": "taxonomy-v1", "stats": { "summary": { - "total": 2032, - "classified": 1985, + "total": 2036, + "classified": 1989, "unclassified": 47, "unknown_difficulty": 1975, "empty_description": 1970 }, "by_area": { "papers": { - "total": 1071, - "classified": 1052, + "total": 1075, + "classified": 1056, "unclassified": 19, "unknown_difficulty": 1014, "empty_description": 1013 @@ -1044,6 +1044,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-compilers-and-programming-language-theory-01/" } }, + { + "id": "papers::androidworld", + "area": "papers", + "slug": "androidworld", + "title": "AndroidWorld — 动态 Android 环境里的移动端 agent 评测", + "description": "用 AndroidWorld 理解移动 GUI agent 为什么需要真实 App、动态任务、初始化和成功检查,而不只是截图问答。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "agent", + "raw_category": "AI Agent / Mobile GUI Benchmark" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-15", + "review_after": null + }, + "route": "/study/papers/androidworld/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::andromeda-2018", "area": "papers", @@ -1427,6 +1459,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-databases-01/" } }, + { + "id": "papers::assistantbench", + "area": "papers", + "slug": "assistantbench", + "title": "AssistantBench — 真实耗时 Web 任务里的助手评测", + "description": "用 AssistantBench 理解为什么 web agent 不能只测短路径点击,还要测耗时、开放、可自动验收的现实任务。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "agent", + "raw_category": "AI Agent / Assistant Benchmark" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-15", + "review_after": null + }, + "route": "/study/papers/assistantbench/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::asterisk", "area": "papers", @@ -3712,6 +3776,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-hci-and-software-engineering-research-01/" } }, + { + "id": "papers::browsergym", + "area": "papers", + "slug": "browsergym", + "title": "BrowserGym — Web Agent 研究的统一浏览器环境", + "description": "用 BrowserGym 理解为什么 web agent 需要统一 observation / action / evaluation 接口,而不是每个 benchmark 各跑一套。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "agent", + "raw_category": "AI Agent / Browser Environment" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-15", + "review_after": null + }, + "route": "/study/papers/browsergym/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::btrfs-2013", "area": "papers", @@ -12119,6 +12215,38 @@ "chunk_route": "/study/atlas/papers/topic-papers-compilers-and-programming-language-theory-01/" } }, + { + "id": "papers::gaia", + "area": "papers", + "slug": "gaia", + "title": "GAIA — 通用 AI 助手的现实任务基准", + "description": "用 GAIA 理解为什么真正的助手能力不等于专业考试高分,而是能组合推理、多模态、浏览和工具。", + "difficulty": "intermediate", + "canonical_topics": [ + "papers-agents-and-llm-systems" + ], + "classification": { + "state": "classified", + "source": "frontmatter-category", + "topic_id": "papers-agents-and-llm-systems", + "matched_category": "agent", + "raw_category": "AI Agent / General Assistant Benchmark" + }, + "trust": { + "contract_state": "v2", + "verification_status": "UNVERIFIED" + }, + "freshness": { + "state": "NOT_EVALUATED", + "reviewed_at": "2026-07-15", + "review_after": null + }, + "route": "/study/papers/gaia/", + "atlas": { + "chunk_id": "topic-papers-agents-and-llm-systems-01", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + } + }, { "id": "papers::game-semantics-pcf", "area": "papers", @@ -31392,8 +31520,8 @@ }, "route": "/study/papers/toolsandbox/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -31456,8 +31584,8 @@ }, "route": "/study/papers/toxigen-2022/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -31711,8 +31839,8 @@ }, "route": "/study/papers/tree-of-thoughts-2023/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -31902,8 +32030,8 @@ }, "route": "/study/papers/truthfulqa-2021/", "atlas": { - "chunk_id": "topic-papers-agents-and-llm-systems-01", - "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-01/" + "chunk_id": "topic-papers-agents-and-llm-systems-02", + "chunk_route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/" } }, { @@ -64587,7 +64715,7 @@ "page": 2, "pages": 2, "route": "/study/atlas/papers/topic-papers-agents-and-llm-systems-02/", - "entries": 9 + "entries": 13 }, { "id": "topic-papers-ai-safety-and-interpretability-01", diff --git a/data/review-receipts/papers/androidworld.json b/data/review-receipts/papers/androidworld.json new file mode 100644 index 000000000..b2b2784d5 --- /dev/null +++ b/data/review-receipts/papers/androidworld.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "androidworld", + "digest_sha256": "02841f4e4a5f95d6b4da863075f7f698c1a491a1e877bc3db871098b122f219e" + }, + "source_revision": "arXiv:2405.14573v5", + "research_input_sha256": "1e77cd892ba8898f8f2630c6cbc0e322318c18ab6007717e74609e9647b9ff73", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 87, + "warnings": [ + "Explains AndroidWorld with a toy mobile GUI task; Android emulator and benchmark tasks were not executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 85, + "warnings": [ + "Engineering interpretation is static; no AndroidWorld task initialization, success check, or teardown was run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Citation identity was checked through arXiv metadata; reported benchmark results are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-15T03:20:00.000Z" +} diff --git a/data/review-receipts/papers/assistantbench.json b/data/review-receipts/papers/assistantbench.json new file mode 100644 index 000000000..4d7d61bcf --- /dev/null +++ b/data/review-receipts/papers/assistantbench.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "assistantbench", + "digest_sha256": "a5fcd23b75333a50c26fb62c10c10b63ee23d2744af90f08a68c05c85df3d53c" + }, + "source_revision": "arXiv:2407.15711v2", + "research_input_sha256": "784f08016d90cb342475f9a7d95c16d430bf9318b45d2c18211bf7c177f64cd6", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 86, + "warnings": [ + "Explains AssistantBench with a toy time-consuming web task; benchmark tasks were not executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Engineering interpretation is static; SeePlanAct and web task execution were not run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Citation identity was checked through arXiv metadata; benchmark scores are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-15T03:20:00.000Z" +} diff --git a/data/review-receipts/papers/browsergym.json b/data/review-receipts/papers/browsergym.json new file mode 100644 index 000000000..779362796 --- /dev/null +++ b/data/review-receipts/papers/browsergym.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "browsergym", + "digest_sha256": "4e7491fe5be6e76e75e13d902ddaeb81730325fea26150b8522ed74251d816a3" + }, + "source_revision": "arXiv:2412.05467v4", + "research_input_sha256": "b322ad18703ca31d2e47036365d016ec4f7369e8aee247c75fbc2136051a6578", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 86, + "warnings": [ + "Explains BrowserGym through a toy gym-like browser interface; BrowserGym was not installed or run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 85, + "warnings": [ + "Engineering claims are limited to static paper reading; no AgentLab or benchmark adapter was executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Citation identity was checked through arXiv metadata; ecosystem claims are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-15T03:20:00.000Z" +} diff --git a/data/review-receipts/papers/gaia.json b/data/review-receipts/papers/gaia.json new file mode 100644 index 000000000..c62758d5d --- /dev/null +++ b/data/review-receipts/papers/gaia.json @@ -0,0 +1,55 @@ +{ + "schema_version": "study-review-receipt-v1", + "generation": 1, + "predecessor_digest_sha256": null, + "note": { + "area": "papers", + "slug": "gaia", + "digest_sha256": "b5dbc82ffd40f3433719aea40be4f8c8441c2ee8ddbf2c312c04c62f9c0567e2" + }, + "source_revision": "arXiv:2311.12983v1", + "research_input_sha256": "34779f3f0b380c2fc850322226d20a6a33846f83200b18868b66ff6efde3e85f", + "reviewers": [ + { + "role": "ZERO_BASE", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 87, + "warnings": [ + "Explains GAIA through a toy multimodal browsing task; GAIA dataset was not executed." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "MANUAL_SIMULATION" + } + }, + { + "role": "ENGINEER", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Engineering claims are limited to static paper reading; no assistant agent or plugin stack was run." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + }, + { + "role": "ACADEMIC", + "reviewer_version": "study-static-review-20260715-general-assistant-round", + "decision": "PASS_WITH_NOTES", + "score": 84, + "warnings": [ + "Citation identity was checked through arXiv metadata; reported human/model scores are not independently reproduced." + ], + "execution": { + "review_mode": "STATIC_REVIEW", + "code_mode": "NOT_APPLICABLE" + } + } + ], + "waivers": [], + "created_at": "2026-07-15T03:20:00.000Z" +} diff --git a/src/content/docs/about.md b/src/content/docs/about.md index c66420e08..d0cad9989 100644 --- a/src/content/docs/about.md +++ b/src/content/docs/about.md @@ -14,7 +14,7 @@ sidebar: 写到今天的硬数字: -- **1071 篇论文笔记** + **961 篇项目笔记**,合计 **2000+ 篇** +- **1075 篇论文笔记** + **961 篇项目笔记**,合计 **2000+ 篇** - 横跨 19 个主题:分布式系统 76 / 编程语言 76 / 数据库 47 / 操作系统 46 / 机器学习 44 / 区块链 44 / 后端 API 40 / 基础设施 38 / 网络协议 37 / 图形学 36 / 形式化方法 27 / 通信 27 / 信息检索 25 / Agent 24 / CLI 23 / NLP 11 / 编译器 11 / 等 - 近 30 天集中产出:基础设施(444 commits)、编译器与 PL(72)、自演化 Agent(10+ 新建)、分布式(47)、区块链(44) diff --git a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md index 960b3b0f1..6110d074b 100644 --- a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md +++ b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-01.md @@ -17,14 +17,17 @@ sidebar: | [Agent-R1 — 把 LLM agent 当 RL 环境训练的模块化框架](/study/papers/agent-r1-2511/) | `agent-r1-2511` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [Agentic Context Engineering — 把上下文当成会进化的 playbook](/study/papers/agentic-context-engineering-2025/) | `agentic-context-engineering-2025` | intermediate | UNVERIFIED | ACE 将上下文视为可演化 playbook,用生成、反思和整理缓解 context collapse | | [Agentless — 反 Agent 派的 SWE-bench 解法](/study/papers/agentless/) | `agentless` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | +| [AndroidWorld — 动态 Android 环境里的移动端 agent 评测](/study/papers/androidworld/) | `androidworld` | intermediate | UNVERIFIED | 用 AndroidWorld 理解移动 GUI agent 为什么需要真实 App、动态任务、初始化和成功检查,而不只是截图问答 | | [Anthropic Prompt Caching — 让长 prompt 只算一次,后续只付 10%](/study/papers/anthropic-prompt-caching/) | `anthropic-prompt-caching` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [APEX — 给自进化 agent 配一张"策略图"防止它走老路](/study/papers/apex-policy-exploration/) | `apex-policy-exploration` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [AppWorld — 多 App 世界里的交互式代码 agent](/study/papers/appworld/) | `appworld` | intermediate | UNVERIFIED | 用 AppWorld 理解为什么工具调用 benchmark 需要状态、用户、多个 App 和可执行代码,而不是单轮 API 序列 | +| [AssistantBench — 真实耗时 Web 任务里的助手评测](/study/papers/assistantbench/) | `assistantbench` | intermediate | UNVERIFIED | 用 AssistantBench 理解为什么 web agent 不能只测短路径点击,还要测耗时、开放、可自动验收的现实任务 | | [AutoGen — 多智能体对话框架](/study/papers/autogen/) | `autogen` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [AWQ — 看激活脸色给权重打折](/study/papers/awq/) | `awq` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [AWQ 2023 — 把 70B 大模型权重压到 35GB](/study/papers/awq-2023/) | `awq-2023` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [BIG-Bench Hard — 从大题库里挑出模型最头疼的 23 类题](/study/papers/big-bench-hard-2022/) | `big-bench-hard-2022` | intermediate | UNVERIFIED | 用 BBH 理解为什么 benchmark 需要难题子集和 CoT 对照 | | [BLOOM — 把 176B 多语种模型做成开放科学工程](/study/papers/bloom-2022/) | `bloom-2022` | intermediate | UNVERIFIED | 用 BLOOM 理解大模型也可以用社区协作、数据治理和开放发布来推进 | +| [BrowserGym — Web Agent 研究的统一浏览器环境](/study/papers/browsergym/) | `browsergym` | intermediate | UNVERIFIED | 用 BrowserGym 理解为什么 web agent 需要统一 observation / action / evaluation 接口,而不是每个 benchmark 各跑一套 | | [Chain-of-Thought — 让大模型先写步骤再回答](/study/papers/chain-of-thought/) | `chain-of-thought` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [ClawTrace — 把 agent 每步操作的"成本账"先算清再蒸馏](/study/papers/clawtrace-cost-aware/) | `clawtrace-cost-aware` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [Code as Agent Harness — 把代码当 agent 的"骨架"来重新看 agentic AI](/study/papers/code-as-agent-harness/) | `code-as-agent-harness` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | @@ -34,6 +37,7 @@ sidebar: | [EVE-Agent — 自我训练前先把证据钉在桌上](/study/papers/eve-agent-evidence/) | `eve-agent-evidence` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [Evo-Memory — 给"会自己长记性"的 agent 出一份统一考卷](/study/papers/evo-memory-2511/) | `evo-memory-2511` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [EXG 经验图 — 把 agent 的成败拼成一张可复用的关系图](/study/papers/exg-experience-graphs/) | `exg-experience-graphs` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | +| [GAIA — 通用 AI 助手的现实任务基准](/study/papers/gaia/) | `gaia` | intermediate | UNVERIFIED | 用 GAIA 理解为什么真正的助手能力不等于专业考试高分,而是能组合推理、多模态、浏览和工具 | | [Gorilla — 让 LLM 学会查 API 文档再调用](/study/papers/gorilla-2023/) | `gorilla-2023` | intermediate | UNVERIFIED | 用 Gorilla 理解 API grounding 如何降低工具调用幻觉 | | [GPTQ — 把 175B 大模型压成 4-bit 还几乎不掉点](/study/papers/gptq-2023/) | `gptq-2023` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [GraphRAG — 微软的知识图谱 + RAG](/study/papers/graphrag/) | `graphrag` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | @@ -109,9 +113,5 @@ sidebar: | [ToolBench-X — 工具会坏时,agent 还能不能把事做完](/study/papers/toolbench-x/) | `toolbench-x` | intermediate | UNVERIFIED | 用 ToolBench-X 理解 tool-use benchmark 为什么要模拟规格漂移、调用错误、执行失败和结果冲突 | | [Toolformer — 教 LLM 自主调用 API](/study/papers/toolformer/) | `toolformer` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [ToolLLM — 用 16000+ API 训练模型进入真实工具世界](/study/papers/toolllm-2023/) | `toolllm-2023` | intermediate | UNVERIFIED | 用 ToolLLM 理解大规模 API 数据集、工具检索和工具评测如何支撑 agent | -| [ToolSandbox — 状态化对话工具调用评测](/study/papers/toolsandbox/) | `toolsandbox` | intermediate | UNVERIFIED | 用 ToolSandbox 理解为什么工具调用 agent 需要测状态依赖、信息不足和多轮用户反馈,而不是只测单轮函数参数 | -| [ToxiGen — 用生成模型造隐性仇恨测试集](/study/papers/toxigen-2022/) | `toxigen-2022` | intermediate | UNVERIFIED | 用 ToxiGen 理解安全评测为什么要覆盖隐性、对抗性和群体相关文本 | -| [Tree of Thoughts — 让 LLM 像下棋一样多想几步再答](/study/papers/tree-of-thoughts-2023/) | `tree-of-thoughts-2023` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | -| [TruthfulQA — 专门问模型容易学人类谬误的问题](/study/papers/truthfulqa-2021/) | `truthfulqa-2021` | intermediate | UNVERIFIED | 用 TruthfulQA 理解语言模型为什么会模仿常见假话而不是坚持事实 | [下一组](/study/atlas/papers/topic-papers-agents-and-llm-systems-02/) diff --git a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md index c74b4afcd..d1e92c78a 100644 --- a/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md +++ b/src/content/docs/atlas/papers/topic-papers-agents-and-llm-systems-02.md @@ -1,6 +1,6 @@ --- title: "智能体与 LLM 系统 · 论文 · 第 2 组" -description: "9 条 智能体与 LLM 系统 Atlas 分块" +description: "13 条 智能体与 LLM 系统 Atlas 分块" sidebar: hidden: true --- @@ -9,10 +9,14 @@ sidebar: [返回论文全景索引](/study/papers-atlas/) -本分块共 9 条,稳定上限为 100 条。 +本分块共 13 条,稳定上限为 100 条。 | 论文 | Slug | 难度 | 可信状态 | 简介 | |---|---|---|---|---| +| [ToolSandbox — 状态化对话工具调用评测](/study/papers/toolsandbox/) | `toolsandbox` | intermediate | UNVERIFIED | 用 ToolSandbox 理解为什么工具调用 agent 需要测状态依赖、信息不足和多轮用户反馈,而不是只测单轮函数参数 | +| [ToxiGen — 用生成模型造隐性仇恨测试集](/study/papers/toxigen-2022/) | `toxigen-2022` | intermediate | UNVERIFIED | 用 ToxiGen 理解安全评测为什么要覆盖隐性、对抗性和群体相关文本 | +| [Tree of Thoughts — 让 LLM 像下棋一样多想几步再答](/study/papers/tree-of-thoughts-2023/) | `tree-of-thoughts-2023` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | +| [TruthfulQA — 专门问模型容易学人类谬误的问题](/study/papers/truthfulqa-2021/) | `truthfulqa-2021` | intermediate | UNVERIFIED | 用 TruthfulQA 理解语言模型为什么会模仿常见假话而不是坚持事实 | | [UL2 — 一个模型同时练完补空、续写和长文本](/study/papers/ul2-2022/) | `ul2-2022` | advanced | UNVERIFIED | 用 UL2 理解 mixture-of-denoisers 如何统一不同语言模型训练范式 | | [VeriCache: Turning Lossy KV Cache into Lossless LLM Inference — 有损压缩草稿,无损输出验收](/study/papers/vericache/) | `vericache` | unknown | UNVERIFIED | 暂无独立描述;可先从标题与正文定位开始。 | | [VisualWebArena — 让网页 agent 真正看见界面](/study/papers/visualwebarena/) | `visualwebarena` | intermediate | UNVERIFIED | 用 VisualWebArena 理解多模态 web agent 为什么不能只读 DOM 文本,还要处理视觉线索 | diff --git a/src/content/docs/career-plan.md b/src/content/docs/career-plan.md index 9588b08c8..8fd2709fa 100644 --- a/src/content/docs/career-plan.md +++ b/src/content/docs/career-plan.md @@ -5,7 +5,7 @@ sidebar: order: 1 --- -> 本页是路径说明。具体笔记见左侧分组;当前规模 2000+ 篇(论文 1071 + 项目 961)。 +> 本页是路径说明。具体笔记见左侧分组;当前规模 2000+ 篇(论文 1075 + 项目 961)。 ## 1. 路径模型的演化 diff --git a/src/content/docs/index.md b/src/content/docs/index.md index 17607ae18..9afb62e80 100644 --- a/src/content/docs/index.md +++ b/src/content/docs/index.md @@ -144,7 +144,7 @@ head: -

当前规模:1071 篇论文 + 961 个项目 = 2032 篇笔记,按 19 个主题组织。数量已移出首屏,只作为覆盖面证据。

+

当前规模:1075 篇论文 + 961 个项目 = 2036 篇笔记,按 19 个主题组织。数量已移出首屏,只作为覆盖面证据。

diff --git a/src/content/docs/method.md b/src/content/docs/method.md index a6ac51200..b093d49c2 100644 --- a/src/content/docs/method.md +++ b/src/content/docs/method.md @@ -11,7 +11,7 @@ sidebar: ## 顶层结论(先看) -- 这套方法跑过 **961 篇项目 + 1071 篇论文 = 2032 篇**笔记,跨 19 个一级主题、约 2032 行写作密度 +- 这套方法跑过 **961 篇项目 + 1075 篇论文 = 2036 篇**笔记,跨 19 个一级主题、约 2036 行写作密度 - 最常被跳过的层是 **Layer 4 改一处**——但每次跳过都让整篇笔记从"机制"退回"翻译" - 真正变成"门面级"反向引用枢纽的笔记([React](/study/projects/react/) 68 / [[pytorch]] 67 / [[kubernetes]] 66 / [[postgresql]] 66),无一例外都做过 L3+L4 双层 - L0 / L1 / L2 / L7 即使做得平庸也不致命;L3+L4 任一项缺失 = 整篇笔记掉档 diff --git a/src/content/docs/papers-atlas.md b/src/content/docs/papers-atlas.md index 2a9a0f14b..854d427e3 100644 --- a/src/content/docs/papers-atlas.md +++ b/src/content/docs/papers-atlas.md @@ -1,6 +1,6 @@ --- title: 论文全景索引 -description: 1071 篇论文的分块地图 · 稳定 taxonomy · 自动生成 +description: 1075 篇论文的分块地图 · 稳定 taxonomy · 自动生成 sidebar: order: 5 label: 论文全景索引 @@ -12,10 +12,10 @@ sidebar: ## 总览
-
1071论文总数
-
1052已有规范主题
+
1075论文总数
+
1056已有规范主题
19暂未收纳进主题路线
-
98.2%分类覆盖率(1052 / 1071,已分类 / 总数)
+
98.2%分类覆盖率(1056 / 1075,已分类 / 总数)
## 先选一条学习路径 @@ -41,7 +41,7 @@ Atlas 不替代精选路线。零基础读者先从下面六条路径选一条 | 主题 | English | 数量 | 分块 | |---|---|---:|---| -| 智能体与 LLM 系统 | Agents and LLM Systems | 109 | [第 1/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-01/) · [第 2/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-02/) | +| 智能体与 LLM 系统 | Agents and LLM Systems | 113 | [第 1/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-01/) · [第 2/2 组](/study/atlas/papers/topic-papers-agents-and-llm-systems-02/) | | NLP 基础与 Scaling | NLP Foundations and Scaling | 114 | [第 1/2 组](/study/atlas/papers/topic-papers-nlp-foundations-and-scaling-01/) · [第 2/2 组](/study/atlas/papers/topic-papers-nlp-foundations-and-scaling-02/) | | 计算机视觉 | Computer Vision | 11 | [第 1/1 组](/study/atlas/papers/topic-papers-computer-vision-01/) | | 生成模型 / 扩散 | Generative Models and Diffusion | 14 | [第 1/1 组](/study/atlas/papers/topic-papers-generative-models-and-diffusion-01/) | @@ -79,4 +79,4 @@ Atlas 不替代精选路线。零基础读者先从下面六条路径选一条 - difficulty 未知:1014 - description 为空:1013 -- sidecar 主键:1071 个唯一 `area::slug` +- sidecar 主键:1075 个唯一 `area::slug` diff --git a/src/content/docs/papers-method.md b/src/content/docs/papers-method.md index 6413ae574..421df0ce3 100644 --- a/src/content/docs/papers-method.md +++ b/src/content/docs/papers-method.md @@ -11,7 +11,7 @@ sidebar: ## 站点的论文体量 -截至 2026-07,论文目录共 1071 篇笔记,覆盖: +截至 2026-07,论文目录共 1075 篇笔记,覆盖: - 分布式系统 76 篇([[paxos-1998]] / [[raft]] / [[lamport-1978]] / [[spanner-2012]]) - 编程语言 + 类型论 76 篇([[hindley-milner]] / [[lambda-calculus]] / [[hoare-logic]]) diff --git a/src/content/docs/papers-queue.md b/src/content/docs/papers-queue.md index 4499f5919..8fd6e74c0 100644 --- a/src/content/docs/papers-queue.md +++ b/src/content/docs/papers-queue.md @@ -5,7 +5,7 @@ sidebar: order: 4 --- -> 站内累计 1071 篇论文笔记,跨 14 个主题。这页不是"待读清单",是 +> 站内累计 1075 篇论文笔记,跨 14 个主题。这页不是"待读清单",是 > **入门指引** —— 每个 topic 给 3-5 篇 pillar 论文 + 一行说明它 > 为什么是该 topic 的支点。看完一条主线的 pillar,你就拿到了 > 该 topic 整张反向链接图的入口。 @@ -13,7 +13,7 @@ sidebar: ## 怎么用这页 - 不知道某个 topic 从哪读 → 来这里挑该主题 3-5 篇 pillar -- 想看完整 1071 篇分布与主题地图 → [papers-atlas](/study/papers-atlas/) +- 想看完整 1075 篇分布与主题地图 → [papers-atlas](/study/papers-atlas/) - 想要"如何精读一篇论文"的方法 → [papers-method](/study/papers-method/) - 想看跨论文 + 项目的混合阅读节奏 → [queue](/study/queue/) diff --git a/src/content/docs/papers/androidworld.md b/src/content/docs/papers/androidworld.md new file mode 100644 index 000000000..9294aa392 --- /dev/null +++ b/src/content/docs/papers/androidworld.md @@ -0,0 +1,139 @@ +--- +title: 'AndroidWorld — 动态 Android 环境里的移动端 agent 评测' +description: '用 AndroidWorld 理解移动 GUI agent 为什么需要真实 App、动态任务、初始化和成功检查,而不只是截图问答。' +来源: 'Rawles et al., arXiv:2405.14573' +日期: 2026-07-15 +分类: AI Agent / Mobile GUI Benchmark +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2405.14573v5 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-15' + publication_id: arXiv:2405.14573 + source_version: arXiv:2405.14573v5 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-15' + review_after: null + applicable_version: arXiv v5 +--- + +## 是什么 + +AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents 是一个面向 Android 移动端 agent 的动态 benchmark 环境。它提供一个功能性 Android 环境,覆盖 20 个真实 Android apps、116 个程序化任务,并为每个任务提供初始化、成功检查和清理逻辑。 + +类比:[[osworld]] 像让 agent 操作桌面电脑;AndroidWorld 像给 agent 一台 Android 手机,让它打开 App、点按钮、填表、改设置,然后用系统状态检查任务是否真的完成。 + +本卡只基于 arXiv v5 和论文静态阅读整理,没有运行 Android emulator,也没有执行 AndroidWorld task。所有结果保持 `UNVERIFIED`。 + +## 问题是什么 + +移动端 GUI agent 不能只靠截图问答评估。真实手机任务有 App 状态、权限弹窗、软键盘、滚动列表、系统设置、通知和跨 App 信息。静态截图很难覆盖这些交互。 + +AndroidWorld 的问题是:能不能构造一个真实、可复现、动态生成任务的 Android 环境,让 agent 的移动端操作能力可以被程序化评估? + +这补上了前几轮的空白:我们已经有 [[webarena]] 的网页环境、[[visualwebarena]] 的视觉网页、[[terminal-bench]] 的命令行和 [[osworld]] 的桌面;AndroidWorld 把同一套思路带到移动端。 + +## 为什么重要 + +- 移动端是最常见的人机界面之一,不能只测浏览器和桌面。 +- 它使用真实 Android apps,而不是纯玩具 UI。 +- 动态任务参数化能减少背题和固定脚本。 +- 每个任务有初始化、成功检查和清理,利于复现。 +- 它为移动端 GUI agent 提供了标准化环境。 + +## 核心方法 + +| 组件 | 作用 | 工程直觉 | +|---|---|---| +| fully functional Android environment | 提供真实交互环境 | agent 真的操作手机 | +| 20 real-world apps | 覆盖多种 App 形态 | 不只测一个 toy app | +| 116 programmatic tasks | 用程序定义任务和奖励 | 自动验收 | +| dynamic construction | 参数化生成自然语言任务 | 降低记忆固定测试集 | +| init / success / teardown | 控制前后状态 | 保证可复现 | + +我最看重 init / success / teardown。移动端状态很容易污染:登录状态、列表内容、输入框残留、权限弹窗都会影响下一次测试。没有状态管理,benchmark 很快就不可复现。 + +## 论文地形 + +1. 引言说明 realistic and reproducible benchmark 对 computer-use agent 的重要性。 +2. Environment 章节介绍 AndroidWorld 的 App、任务和交互方式。 +3. Task logic 说明初始化、成功检查和清理逻辑。 +4. Baseline 章节评估若干 agent,并展示初始结果。 +5. 讨论部分分析动态任务、复现性和移动端困难。 + +读这篇时,要把它当作移动端 eval 工程论文:任务怎么生成、状态怎么复原、成功怎么判,比单个 agent 分数更重要。 + +## 手工 toy 复现 + +我用一个极小 AndroidWorld-like 任务手推: + +任务:在联系人 App 里给 Alice 添加生日备注,并在日历 App 里创建提醒。 + +| 阶段 | 环境要做什么 | agent 要做什么 | +|---|---|---| +| init | 创建 Alice 联系人,清空相关日历事件 | 确保起点一致 | +| instruction | “给 Alice 加生日并创建提醒” | 理解跨 App 任务 | +| action | 打开联系人、编辑备注、打开日历、建事件 | GUI 操作 | +| success check | 查询联系人备注和日历数据库 | 程序化验收 | +| teardown | 清理联系人和事件 | 避免污染下一题 | + +这说明移动 agent benchmark 不是“看一张图点哪里”就够了。真正难的是状态管理和终态检查。 + +## 评测读法 + +AndroidWorld 的结果要按三类失败读: + +1. **感知失败**:看不懂按钮、列表、输入框或弹窗。 +2. **动作失败**:点错、输入错、没处理软键盘。 +3. **状态失败**:看似完成,但系统状态没有改变到目标。 + +这三类分别对应模型视觉能力、action grounding、环境反馈和验证机制。只看总成功率会丢掉这些调试信息。 + +## 踩过的坑 + +1. **不要把移动端当小屏网页**:App 有系统控件、权限、通知和键盘。 +2. **不要忽略状态污染**:一次失败可能影响后续任务。 +3. **不要只看截图**:最终状态需要程序化检查。 +4. **不要低估动态任务**:参数变化能暴露 hard-coded agent。 +5. **不要把 emulator 成功等同真机成功**:真实设备还有性能、输入和网络差异。 + +## 与当前工作的连接 + +今天就能用:做移动端自动化时,要把任务拆成 init / action / success / teardown。没有 teardown,很难稳定回归。 + +下个月可以用:如果要设计 iOS / Android agent eval,可以借鉴 AndroidWorld 的任务结构,但用本地安全假数据和可控 App。 + +不要照搬:真实手机任务涉及隐私、账号和系统权限。公开 benchmark 的可控环境不能直接等同真实用户设备。 + +## 学到什么 + +- 移动 GUI agent 的核心难点是动态状态和真实 App。 +- 好的移动 benchmark 要有初始化和清理逻辑。 +- AndroidWorld 与 [[osworld]] 共同构成 computer-use agent 的桌面 / 移动双线。 +- 它把前几轮 web / terminal / app eval 扩展到移动端。 + +## 延伸阅读 + +- 原文: +- 本卡使用版本: +- [[osworld]]:桌面 GUI computer-use benchmark。 +- [[visualwebarena]]:视觉网页任务。 +- [[terminal-bench]]:终端 agent 环境。 +- [[browsergym]]:浏览器 agent 统一环境。 + +## 关联 + +- [[osworld]] +- [[visualwebarena]] +- [[terminal-bench]] +- [[browsergym]] +- [[webarena]] + +## 反向链接 + + diff --git a/src/content/docs/papers/assistantbench.md b/src/content/docs/papers/assistantbench.md new file mode 100644 index 000000000..a6a1ef7fa --- /dev/null +++ b/src/content/docs/papers/assistantbench.md @@ -0,0 +1,135 @@ +--- +title: 'AssistantBench — 真实耗时 Web 任务里的助手评测' +description: '用 AssistantBench 理解为什么 web agent 不能只测短路径点击,还要测耗时、开放、可自动验收的现实任务。' +来源: 'Yoran et al., arXiv:2407.15711' +日期: 2026-07-15 +分类: AI Agent / Assistant Benchmark +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2407.15711v2 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-15' + publication_id: arXiv:2407.15711 + source_version: arXiv:2407.15711v2 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-15' + review_after: null + applicable_version: arXiv v2 +--- + +## 是什么 + +AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks? 是一个面向 web agents / language agents 的真实任务 benchmark。它包含 214 个可自动评估的现实任务,例如监控房地产市场、寻找附近符合条件的地点等。 + +类比:[[webarena]] 像在可控网站里完成任务;AssistantBench 更像用户真的把一个耗时查找任务交给助手:“帮我持续查、比较、过滤,最后给我可核验答案”。它更强调开放网页、耗时和事实核验。 + +本卡只基于 arXiv v2 和论文静态阅读整理,没有运行 SeePlanAct,也没有执行 AssistantBench 任务。论文中“无模型超过 26 分”等结果保持 `UNVERIFIED`。 + +## 问题是什么 + +很多 web agent benchmark 任务很短:点几步、填表、提交。真实助手任务常常更烦:要搜多个网页、比较候选、处理过期信息、排除不满足条件的选项,并给出可验证结果。 + +AssistantBench 的问题是:当前 language agents 能不能解决真实、耗时、开放网页上的任务? + +这补上了上一轮不足:上一轮有 [[webarena]] 和 [[mind2web]],但它们更偏环境和轨迹;AssistantBench 更偏“用户真的会把这类任务交给助手”的现实需求。 + +## 为什么重要 + +- 它把 web agent 评测从短交互推进到耗时真实任务。 +- 它覆盖 214 个可自动评估的任务,避免完全人工评分。 +- 它揭示闭卷模型、RAG、web agent 各自的弱点。 +- 它强调 precision:不要为了回答而幻觉事实。 +- 它提出 SeePlanAct,尝试让 agent 先看、再规划、再行动。 + +## 核心方法 + +| 组件 | 作用 | 我怎么理解 | +|---|---|---| +| realistic tasks | 来源接近日常真实需求 | 不只是模拟网页点击 | +| time-consuming | 需要多步搜索和比较 | 测耐心和过程管理 | +| automatic evaluation | 可程序化判断答案 | 减少主观打分 | +| SeePlanAct | see / plan / act 结构 | 给 web agent 一个更明确的执行节奏 | + +AssistantBench 的价值在于“任务形态”。它告诉我们:很多助手任务难不是因为某一步深奥,而是因为搜索空间大、信息会变、条件很多、验收要精确。 + +## 论文地形 + +1. 引言说明真实 web 助手任务和现有 benchmark 的差距。 +2. Benchmark 章节介绍 214 个任务、领域和自动评估方式。 +3. Baseline 章节比较闭卷 LM、RAG 和 web agents。 +4. SeePlanAct 章节提出更结构化的 agent 方法。 +5. 分析章节讨论幻觉、低 precision、网页执行失败等问题。 + +读这篇时,要特别看它怎么平衡“真实任务”和“自动评估”。完全真实的任务往往难自动验收;完全可验收的任务又容易变成玩具。 + +## 手工 toy 复现 + +我用一个 AssistantBench-like 任务模拟: + +任务:找出某城市未来两周内三个“周末开放、评分 4.5 以上、适合带小孩”的室内活动,并给出官网链接。 + +| 子步骤 | 难点 | +|---|---| +| 搜索活动网站 | 网页来源分散 | +| 判断日期 | 需要解析时间和周末 | +| 过滤评分 | 信息可能在第三方网站 | +| 判断适合小孩 | 需要综合描述 | +| 去重和排序 | 同一活动可能多个页面 | +| 给出官网链接 | 不能只给聚合页 | + +这题每一步都不难,但完整做下来很耗时。AI 容易为了快速回答而编活动、忽略日期、或者给错链接。 + +## 评测读法 + +论文摘要里提到闭卷 LMs accuracy 不错但 precision 低,state-of-the-art web agents 接近零分。我读这类结果时会重点看 precision:助手不能为了覆盖率乱答。 + +在真实产品里,“没找到”通常比“编一个看似合理的答案”更安全。AssistantBench 的价值就是让这种差别进入评测。 + +## 踩过的坑 + +1. **不要只看 accuracy**:web 助手乱答会伤害用户信任。 +2. **不要低估时间成本**:真实任务的难点常是持续查找和筛选。 +3. **不要把 RAG 当 web agent**:RAG 能答知识,不一定能完成开放网页任务。 +4. **不要忽略可验收性**:没有自动检查,很难规模化比较 agent。 +5. **不要把 open web 当稳定数据库**:网页会变、信息会过期。 + +## 与当前工作的连接 + +今天就能用:设计助手任务时,把“答案必须可核验”和“允许回答不知道”写进评分标准。 + +下个月可以用:如果要做研究助手或网页助手 eval,可以用 AssistantBench 思路选题:用户真实会外包、耗时、可自动或半自动验证。 + +不要照搬:开放网页任务会遇到地区、语言、时间和访问限制。内部使用时要固定访问时间和来源策略。 + +## 学到什么 + +- 真正的 web 助手任务往往耗时而不是高深。 +- Precision 比“看起来回答了”更重要。 +- AssistantBench 和 [[gaia]] 都强调现实助手能力,但 AssistantBench 更聚焦 open web。 +- 它补齐了 [[webarena]] 的短交互环境之外的长任务视角。 + +## 延伸阅读 + +- 原文: +- 本卡使用版本: +- [[gaia]]:通用助手能力 benchmark。 +- [[webarena]]:可复现网页环境。 +- [[mind2web]]:跨网站泛化数据集。 +- [[browsergym]]:统一浏览器 agent 评测生态。 + +## 关联 + +- [[gaia]] +- [[webarena]] +- [[mind2web]] +- [[browsergym]] +- [[react-agent]] + +## 反向链接 + + diff --git a/src/content/docs/papers/browsergym.md b/src/content/docs/papers/browsergym.md new file mode 100644 index 000000000..9ac68cb84 --- /dev/null +++ b/src/content/docs/papers/browsergym.md @@ -0,0 +1,142 @@ +--- +title: 'BrowserGym — Web Agent 研究的统一浏览器环境' +description: '用 BrowserGym 理解为什么 web agent 需要统一 observation / action / evaluation 接口,而不是每个 benchmark 各跑一套。' +来源: 'Le Sellier De Chezelles et al., arXiv:2412.05467' +日期: 2026-07-15 +分类: AI Agent / Browser Environment +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2412.05467v4 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-15' + publication_id: arXiv:2412.05467 + source_version: arXiv:2412.05467v4 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-15' + review_after: null + applicable_version: arXiv v4 +--- + +## 是什么 + +The BrowserGym Ecosystem for Web Agent Research 是一个面向 web agent 的统一评测生态。它把不同 web benchmark 包进 gym-like 环境,提供更一致的 observation、action space、evaluation 和 agent 分析工具。 + +类比:如果 [[webarena]]、[[mind2web]]、[[assistantbench]] 是不同城市里的驾驶考试,BrowserGym 像统一驾校训练场和仪表盘:你可以用同一种接口接入不同路况,比较不同驾驶策略。 + +本卡只基于 arXiv v4 和论文静态阅读整理,没有安装 BrowserGym / AgentLab,也没有跑任何 web benchmark。所有结论保持 `UNVERIFIED`。 + +## 问题是什么 + +Web agent 研究很容易碎片化:每个 benchmark 有自己的环境、动作格式、页面观察、评分脚本和日志格式。这样会导致两个问题:结果难比较,agent 组件难复用。 + +BrowserGym 的问题是:能不能提供一个统一、可扩展、gym-like 的生态,让 web agent 的设计、测试、分析更可复现? + +这正好总结上一轮不足:上一轮我们补了多个 web/app/tool 环境,但它们仍像一组分散岛屿。BrowserGym 是把这些岛屿接成研究平台的工作。 + +## 为什么重要 + +- 它减少 web agent benchmark 的接口碎片化。 +- 它让 observation / action / reward / termination 更标准。 +- 它方便跨 benchmark 比较 agent。 +- 它配合 AgentLab,支持 agent 创建、测试和分析。 +- 它让新 benchmark 更容易被接入已有生态。 + +## 核心方法 + +| 组件 | 作用 | 工程直觉 | +|---|---|---| +| BrowserGym | gym-like 浏览器环境 | 像 RL 环境一样 step / observe | +| unified observation space | 统一页面观察格式 | 降低 benchmark 适配成本 | +| unified action space | 统一浏览器动作 | 方便 agent 复用 | +| benchmark integration | 接入多个已有 benchmark | 做横向比较 | +| AgentLab | 创建、测试、分析 agent | 配套实验工作台 | + +BrowserGym 的贡献不在某个任务特别难,而在“实验工程”。web agent 要成为可积累研究方向,统一环境和日志非常关键。 + +## 论文地形 + +1. 引言说明 web agent 评测生态碎片化。 +2. BrowserGym 章节介绍统一环境抽象和接口。 +3. Ecosystem 章节说明集成 benchmark 和 AgentLab。 +4. 实验 / case study 展示如何比较 agent。 +5. 讨论部分强调可复现性、扩展性和未来 benchmark 接入。 + +读这篇时,重点不是“某模型多少分”,而是它如何降低实验摩擦:同一 agent 能不能换 benchmark 跑,同一 benchmark 能不能换 agent 比。 + +## 手工 toy 复现 + +我用一个伪接口理解 BrowserGym: + +```text +obs = env.reset(task="find product under $50") +action = agent.act(obs) +obs, reward, done, info = env.step(action) +``` + +| 字段 | 如果不统一会怎样 | +|---|---| +| observation | 有的给 DOM,有的给 screenshot,有的给 accessibility tree | +| action | 有的点坐标,有的点元素 ID,有的写 JS | +| reward | 有的看文本,有的看数据库,有的人工评 | +| info / logs | 失败后很难对齐分析 | + +BrowserGym 的作用就是把这些差异收敛成可比较接口,让研究者少写 glue code,多比较 agent 设计。 + +## 评测读法 + +BrowserGym 类论文要看三个层次: + +1. 接口是否真的能覆盖不同 benchmark。 +2. 日志和分析是否足够解释失败。 +3. 新 benchmark 接入成本是否低。 + +如果一个统一环境只包住最简单动作,就会牺牲 benchmark 表达力;如果接口太自由,又会回到碎片化。BrowserGym 要平衡这两边。 + +## 踩过的坑 + +1. **统一接口不等于统一任务难度**:跨 benchmark 分数仍要谨慎比较。 +2. **observation 选择会影响能力边界**:DOM、截图、a11y tree 各有偏差。 +3. **动作空间不能过度简化**:真实网页动作有等待、滚动、输入和弹窗。 +4. **日志比总分更重要**:agent 失败需要可复盘轨迹。 +5. **生态维护是长期成本**:benchmark 一多,版本和依赖会变复杂。 + +## 与当前工作的连接 + +今天就能用:做任何 agent eval 时,先统一日志格式和 action/observation 结构,否则后续横向比较会很痛。 + +下个月可以用:如果 study 继续扩展 web agent 线,可以把 BrowserGym 作为“评测工具链”节点,连接 [[webarena]]、[[mind2web]]、[[assistantbench]]。 + +不要照搬:统一环境会抽象掉一些平台特性。真实产品接入仍要考虑账号、网络、权限、等待策略和安全动作。 + +## 学到什么 + +- Web agent 研究需要 benchmark,也需要实验基础设施。 +- 统一接口能让 agent 设计真正可比较。 +- BrowserGym 是 web agent 生态里的工具层,不只是又一个任务集。 +- 它和 [[terminal-bench]] 的共同点是:都把“执行环境”变成一等公民。 + +## 延伸阅读 + +- 原文: +- 本卡使用版本: +- [[webarena]]:可复现网页环境。 +- [[assistantbench]]:真实耗时 web 任务。 +- [[mind2web]]:跨网站 action sequence 数据集。 +- [[visualwebarena]]:视觉网页任务。 + +## 关联 + +- [[webarena]] +- [[assistantbench]] +- [[mind2web]] +- [[visualwebarena]] +- [[terminal-bench]] + +## 反向链接 + + diff --git a/src/content/docs/papers/gaia.md b/src/content/docs/papers/gaia.md new file mode 100644 index 000000000..eee33d7c2 --- /dev/null +++ b/src/content/docs/papers/gaia.md @@ -0,0 +1,135 @@ +--- +title: 'GAIA — 通用 AI 助手的现实任务基准' +description: '用 GAIA 理解为什么真正的助手能力不等于专业考试高分,而是能组合推理、多模态、浏览和工具。' +来源: 'Mialon et al., arXiv:2311.12983' +日期: 2026-07-15 +分类: AI Agent / General Assistant Benchmark +难度: 中级 +difficulty: intermediate +trust: + version: study-v2 + source_kind: paper + note_type: paper + canonical_source: https://arxiv.org/abs/2311.12983v1 + source_authority: AUTHOR_PRIMARY + accessed_at: '2026-07-15' + publication_id: arXiv:2311.12983 + source_version: arXiv:2311.12983v1 + evidence_type: STATIC_ANALYSIS + verification_status: UNVERIFIED + reviewed_at: '2026-07-15' + review_after: null + applicable_version: arXiv v1 +--- + +## 是什么 + +GAIA: a benchmark for General AI Assistants 是一个评估通用 AI 助手的 benchmark。它的任务不是考模型会不会解专业题,而是问:面对现实世界里概念上不难、但需要组合推理、多模态、网页浏览和工具使用的问题,AI 助手能不能稳稳做完。 + +类比:很多考试 benchmark 像奥数竞赛;GAIA 更像生活里的“帮我查清楚这件事并给出可验证答案”。人类觉得不难,但需要会找资料、会看图、会算、会核对、会使用工具。 + +本卡只基于 arXiv v1 和论文静态阅读整理,没有下载 GAIA 数据集,也没有运行任何 agent。论文中的人类 92% vs GPT-4 with plugins 15% 等结果保持 `UNVERIFIED`。 + +## 问题是什么 + +LLM 在法律、化学、数学等专业考试上已经能超过很多人类,但这不代表它是好助手。真实助手任务往往不是“知道某个专业知识点”,而是把多个简单能力串起来:查网页、读表格、看图片、做简单计算、判断答案是否唯一。 + +GAIA 的问题是:如果把任务设计成“人类容易、AI 难”,我们能不能更准确地衡量通用助手离真实可用还有多远? + +这正好总结上一轮的不足:上一轮补了 [[webarena]]、[[mind2web]]、[[appworld]]、[[toolsandbox]],但它们分别测网页、数据集、多 App、工具调用。GAIA 更像把这些能力放到一个助手任务里综合考。 + +## 为什么重要 + +- 它反对只追“人类也很难”的专业考试 benchmark。 +- 它强调现实任务的组合性:浏览、多模态、推理、工具一起出现。 +- 它把“简单但烦”的任务作为 AGI / assistant 的重要门槛。 +- 它能解释为什么模型专业题很强,做真实助理仍然不稳。 +- 它给后续 [[assistantbench]] 这类耗时任务 benchmark 提供了思想背景。 + +## 核心方法 + +| 设计 | 作用 | 我怎么理解 | +|---|---|---| +| real-world questions | 贴近日常或知识工作问题 | 避免纯学术题 | +| simple for humans | 人类不需要博士训练 | 测 robust assistant,而非专家记忆 | +| multi-ability requirement | 推理、多模态、网页、工具组合 | 测能力编排 | +| exact answer | 答案可核验 | 避免开放式主观评分 | + +GAIA 的关键哲学是“不要把 benchmark 做得只剩模型擅长的考试”。真正有用的助手要能把普通人会做但耗时间的任务稳定做完。 + +## 论文地形 + +1. 引言解释为什么专业考试高分不能代表通用助手能力。 +2. Benchmark 设计说明任务的能力组合和答案验证方式。 +3. Human / model comparison 展示人类和 GPT-4 with plugins 的差距。 +4. 分析部分讨论不同能力维度对任务成功的影响。 +5. 结论把 GAIA 作为通用助手研究的里程碑式评估。 + +读这篇时,我会特别看它的任务选择哲学:不是追更难的专业题,而是追“真实、可验证、组合能力”的任务。 + +## 手工 toy 复现 + +我用一个极小 GAIA-like 任务手推: + +任务:找出某张会议照片里左侧海报对应论文的第一作者,并给出该作者所在机构。 + +| 子能力 | 人类怎么做 | AI 助手要做什么 | +|---|---|---| +| 看图 | 读海报标题 | 多模态 OCR / 图像理解 | +| 搜索 | 搜论文标题 | web browsing | +| 核对 | 匹配会议和年份 | 避免搜错同名论文 | +| 抽取 | 找第一作者 | 文档理解 | +| 再搜索 | 查作者机构 | 多跳检索 | +| 输出 | 给出简洁答案和来源 | 可验证回答 | + +这题对人类不难,但 AI 容易在任一环节错:看错字、搜错论文、把现在机构当发表机构、或不提供可核验来源。 + +## 评测读法 + +GAIA 论文摘要里的人类 92% vs GPT-4 with plugins 15% 很有冲击力。我不会把它理解成“GPT-4 很弱”,而是理解成:真实助手任务要求的是稳定编排,而不是单点能力。 + +一个模型可以会推理、会看图、会搜索,但只要不能把这些能力可靠串起来,GAIA 就会给低分。这对 agent 产品很重要,因为用户关心的是最后答案对不对,而不是中间某一步看起来聪明。 + +## 踩过的坑 + +1. **不要把专业考试高分等同助手能力**:助手任务更看组合和核验。 +2. **不要只看最终答案**:没有来源或中间证据的答案很难信。 +3. **不要低估简单任务的长链错误**:每一步 90% 准确,串 6 步就会明显掉。 +4. **不要忽略多模态输入**:真实任务常把文字、图像、网页混在一起。 +5. **不要把 GAIA 当唯一 AGI 标尺**:它是重要切片,不是完整人类能力。 + +## 与当前工作的连接 + +今天就能用:评估一个 AI 助手时,设计 5 个“人类 5 分钟能查到但需要多步核验”的任务,比只问知识题更有价值。 + +下个月可以用:给 study 或内部 agent 建 eval 时,可以按 GAIA 思路拆能力:浏览、文件、多模态、计算、引用核验,每题至少跨两项。 + +不要照搬:GAIA 题目可能依赖公开网页状态。企业场景还要处理私有知识库、权限和引用可见性。 + +## 学到什么 + +- 通用助手能力的核心是能力编排。 +- “人类容易、AI 难”是很好的 benchmark 设计方向。 +- GAIA 把 [[webarena]]、[[toolsandbox]]、[[visualwebarena]] 等单项能力放到更高层视角里。 +- 对 study 图谱来说,它是 assistant eval 的总入口之一。 + +## 延伸阅读 + +- 原文: +- 本卡使用版本: +- [[assistantbench]]:更强调耗时、真实 web task。 +- [[webarena]]:可复现网页环境。 +- [[toolsandbox]]:状态化工具调用评测。 +- [[visualwebarena]]:视觉网页任务评测。 + +## 关联 + +- [[assistantbench]] +- [[webarena]] +- [[toolsandbox]] +- [[visualwebarena]] +- [[react-agent]] + +## 反向链接 + + diff --git a/src/content/docs/queue.md b/src/content/docs/queue.md index 48b30e0af..8032a53e5 100644 --- a/src/content/docs/queue.md +++ b/src/content/docs/queue.md @@ -6,7 +6,7 @@ sidebar: --- > 不是"读哪 20 个"的清单,是"先读哪 5 个就能撑起一个领域"的导航。 -> 当前站点 961 篇项目笔记 + 1071 篇论文笔记,凑数没有意义,**取舍**才有。 +> 当前站点 961 篇项目笔记 + 1075 篇论文笔记,凑数没有意义,**取舍**才有。 > 每个主题给 3-5 个 pillar:反向链接最多、跨主题被引最广、读完能形成判断。 ## 怎么用这页 @@ -189,7 +189,7 @@ PL 理论在论文侧根扎得最深:[[hindley-milner]] / [[lambda-calculus]] ## 全景 atlas - 项目全景(961 篇按主题分组、反向链接热度、消化状态):[projects-atlas](/study/projects-atlas/) -- 论文全景(1071 篇按子领域、pillar 标记、未消化队列):[papers-atlas](/study/papers-atlas/) +- 论文全景(1075 篇按子领域、pillar 标记、未消化队列):[papers-atlas](/study/papers-atlas/) - 论文推荐入口(与本页平行的论文版导航):[papers-queue](/study/papers-queue/) - 方法论与挑选标准:[about](/study/about/) / [method](/study/method/) / [papers-method](/study/papers-method/)