AI/ML 研究手册

主题

01 - 研究思维 ​

从模糊方向到不绑定解法的研究问题

目标 ​

本章不是讨论“什么研究听起来高级”，而是把一个宽泛方向压缩成一个值得进入文献调研和候选解法生成主链的问题定义。

本章的目标是：

  1. 把模糊方向改写成一个不绑定具体方法的研究问题
  2. 明确为什么这个问题在正结果和负结果下都仍然重要
  3. 写清研究边界、资源约束、非目标和 kill condition
  4. 产出一份可交给 02-文献调研 和 03-想法生成 的 PROBLEM_NOTE.md

本章回答的问题是：

这个问题值不值得继续做调研、生成候选解法并投入实验？

先把 01 和 03 分开 ​

这本手册里，01 和 03 的边界必须是硬边界：

  • 01 只定义问题
  • 03 才生成解法

可以用下面的判别法：

规则 1：拿掉具体方法后还能成立的是 01 ​

如果一句话在换掉具体机制后仍然成立，它属于问题定义。

例如：

在 AI4PDE 中，预训练-微调模型在分布偏移下是否存在可利用的 test-time 信息？

这属于 01，因为你还没有承诺具体怎么做。

规则 2：一旦绑定机制就进入 03 ​

如果一句话一旦拿掉某个机制就不成立，它属于候选解法。

例如：

用 retrieval-enhanced test-time adaptation，在测试时检索相似 PDE case 来更新 adapter。

这属于 03，因为它已经承诺了具体机制。

规则 3：同一个问题在 03 里应有多个候选解法 ​

01 的输出应该允许 03 生成多个竞争性方案，而不是一开始就把问题和方法绑死。

例如：

text
01:
AI4PDE 中，test-time 信息能否提升分布偏移下的鲁棒性？

03:
Idea A: retrieval-enhanced TTA
Idea B: self-supervised TTA without retrieval
Idea C: PDE-family-conditioned lightweight adapter

如果 01 一开始就写成“检索增强的 TTA 是否有效”，它已经半只脚踩进 03 了。

完成标准 ​

完成这一章，不等于“我有一个方向”，而是至少要做到：

  • 你有一份 PROBLEM_NOTE.md
  • 你能解释为什么这个问题在正结果和负结果下都仍然重要
  • 你有一个可证伪的核心假设，但不绑定某一个具体方法
  • 你写清了问题边界、非目标、资源约束和 kill condition
  • 你知道这个问题值得继续进入 02-文献调研 和 03-想法生成

输入与标准产物 ​

输入 ​

本章通常从下面几类材料开始：

输入作用
一个宽泛研究方向提供主题边界
你已有的观察、失败经验或直觉提供问题线索
资源约束决定问题是否现实可做
你所在组或你个人的优势决定问题是否有切入点

标准产物 ​

本章建议至少产出 1 份材料：

产物作用后续会在哪用到
PROBLEM_NOTE.md写清问题、价值、边界、非目标、可证伪假设和 kill condition02, 03

这些 artifact 的统一命名、建议路径和状态定义见：附录 E

人类-智能体协作 ​

阶段智能体适合做什么人必须负责什么常见风险
方向发散列出可能的研究切口、重写问题表述判断哪个问题真的重要生成很多“像论文题目”的空洞表述
问题去方法化帮你把方法名从问题里剥离，改写成机制无关的问题句判断改写后是否仍是你真正关心的问题变成太泛的问题，失去可验证性
边界澄清整理假设、约束、非目标和 kill condition决定真正在做和不做什么边界写得太宽，导致后续失控
文档起草生成 PROBLEM_NOTE.md 草稿对最终问题定义拍板用流畅表述掩盖问题本身不成立

本章默认的工作方式是：

可以让智能体帮你发散、去方法化和质疑，但“这个问题值不值得做”必须由人来决定。

好问题的 4 个最低条件 ​

1. 双向价值成立 ​

先问：

如果结果是负的，这个答案仍然重要吗？

如果答案是“只有成功时才有意义”，这个问题通常不应进入主线。

问题类型如果失败会怎样
“某个方法能否再涨 0.5%”失败后通常没有研究价值
“为什么某类方法在某条件下失败”失败本身就是研究结论

2. 可证伪假设存在 ​

坏问题：

“某类方法可能还有潜力。”

好问题：

“在分布偏移 setting 下，test-time 可利用信息是否能稳定提升 AI4PDE 预训练-微调模型的鲁棒性？”

区别通常在于：

  • 条件清楚
  • 现象清楚
  • 可以被证伪

3. 最小验证路径存在 ​

再问：

我能否在低成本下拿到第一轮信号？

如果完全想不到最小验证路径，问题通常还没压缩到可执行尺度。

注意，这里的“第一轮信号”不是具体实验方案本身，而是判断这个问题是否可被经验验证。

4. 边界和非目标清楚 ​

你至少应该知道：

  • 本轮只讨论什么问题
  • 不讨论哪些扩展 setting
  • 不承担哪些贡献类型
  • 哪些内容会交给后续章节处理

例如在 01 里你可以写：

  • 本轮问题只讨论 test-time 信息是否有价值
  • 不提前承诺 retrieval、adapter 或 self-supervision 哪种方案
  • 不把“提出新 benchmark”作为主贡献

工作流 ​

Phase 0: 先写 problem skeleton ​

在想法还很模糊时，也先把问题写下来。建议至少包含：

markdown
# Problem Note

- Question:
- Why this matters:
- Why negative results would still matter:
- Testable hypothesis:
- Boundary:
- Non-goals:
- Available resources:
- Kill condition:

如果你连这份骨架都写不出来，方向通常还没压缩到可执行层。

Phase 1: 先把方法名拿掉 ​

对当前想法做一次“去方法化”改写。

例如把：

“检索增强的 test-time adaptation 在 AI4PDE 里是否有效？”

先改成：

“AI4PDE 预训练-微调模型在分布偏移下，是否存在可被 test-time 利用的信息？”

这一步的作用是把“研究问题”和“候选方案”拆开。

Phase 2: 再写可证伪假设 ​

在不绑定具体方法的前提下，写出问题的可证伪版本。

例如：

text
Main question:
AI4PDE 中，test-time 信息是否能改善分布偏移下的泛化？

Testable hypothesis:
如果 test-time 可利用信息真实存在，那么至少应存在某类低成本 test-time adaptation，
在分布偏移 setting 下优于固定参数的预训练-微调模型。

这里还没有承诺“哪种方法”，但已经把问题写成了可验证的形式。

Phase 3: 写边界和 non-goals ​

至少要写清：

  • 本轮只问什么
  • 不问什么
  • 不打算先解决哪些工程问题
  • 不在这一章回答“哪种解法最好”

这一步直接决定 03 能否围绕同一个问题生成多个候选解法，而不是继续混写。

Phase 4: 预写 kill condition ​

例如：

text
如果文献调研发现核心问题已被最近工作直接回答，停止。
如果无法把问题写成不绑定具体方法的版本，停止并重写。
如果问题只能在“某个方法成功”时才有价值，停止。

一个可选的问题过滤图（LaTeX/TikZ） ​

如果你想在本章加入一张“研究问题过滤图”，可以直接使用下面的 LaTeX 代码：

Problem definition in this handbook comes before solution choice. The first gate is whether the research question can be stated without binding to one concrete method.
Problem definition in this handbook comes before solution choice. The first gate is whether the research question can be stated without binding to one concrete method.

使用时需要：

latex
\usepackage{tikz}
\usetikzlibrary{positioning,arrows.meta}

PROBLEM_NOTE.md 模板 ​

markdown
# Problem Note

## Core Question
- Research question:
- One-sentence version:

## Why This Matters
- Why positive results matter:
- Why negative results matter:

## Testable Hypothesis
- Main hypothesis:
- What would falsify it:

## Boundary
- In scope:
- Out of scope:
- Non-goals:

## Cheap First Check
- What later chapters should verify first:

## Candidate Solution Families
- Family A:
- Family B:
- Family C:

## Constraints
- Time budget:
- Compute budget:
- Team / implementation constraints:

## Kill Conditions
1. ...
2. ...

注意：Candidate Solution Families 只允许写解法类别，不允许在本章就承诺某个具体方案。

例子：AI4PDE + test-time adaptation ​

下面这组对照就是本章和第 03 章的典型分界。

属于 01 的写法 ​

text
在 AI4PDE 中，预训练-微调模型在分布偏移下是否存在可被 test-time 利用的信息？
如果存在，这类 test-time adaptation 是否值得成为一个独立研究问题？
如果不存在，这是否说明 AI4PDE 的 test-time adaptation 空间本身受限？

不该写进 01 的写法 ​

text
检索增强的 test-time adaptation 在 AI4PDE 中是否能奏效？

这句话已经把问题和某个方案绑死了，应该延后到 03。

质量控制 ​

1. 问题优先，不要方案优先 ​

如果你现在最想说的是“我想试某个方法”，而不是“我想回答什么问题”，你大概率已经滑进 03 了。

2. 避免“只有赢了才重要” ​

如果问题只有在结果成功时才有意义，通常不够稳。

3. 避免“只是把 X 用到 Y” ​

如果迁移没有带来新的科学问题、边界条件或诊断需求，问题通常不够强。

4. 不要在 01 决定哪种方法最好 ​

01 只决定问题是否值得做，不决定 retrieval、adapter 还是别的方案。

常见错误 ​

错误 1：把方法写成问题 ​

表现：

“检索增强 TTA 是否有效？”

解决：

先改写成不绑定 retrieval 的问题版本。

错误 2：把方向写成问题 ​

表现：

“我想研究 AI4PDE。”

解决：

压缩成一个带条件、可证伪、双向有价值的问题。

错误 3：没有 non-goals ​

表现：

什么都想覆盖，最后没有一个点做深。

解决：

在 PROBLEM_NOTE.md 里强制写 Out of scope 和 Non-goals。

错误 4：01 就提前选方法 ​

表现：

问题定义里已经默认只有一个具体方案可走。

解决：

至少写出 2-3 个候选解法家族，保持后续探索空间。

检查清单 ​

完成本章后，你应至少能回答：

问题状态
我能否用不绑定具体方法的一句话说出这个问题？[]
我能否说明为什么正负结果都重要？[]
我是否写出了可证伪假设？[]
我是否写清了边界和 non-goals？[]
我是否把“具体怎么做”留给了第 03 章？[]

小结 ​

好的 AI/ML 研究，不是从“一个听起来不错的方法”开始，而是从一个不绑定具体解法、但值得被回答的问题开始：

  1. 先把方法名拿掉
  2. 再写双向有价值的问题
  3. 写清可证伪假设、边界和 non-goals
  4. 产出 PROBLEM_NOTE.md
  5. 再进入 02-文献调研 和 03-想法生成

下一步：02-文献调研 - 构建领域图谱，识别哪些工作已经回答过这个问题，哪些还没有

引用 ARIS：这一章的问题过滤和研究空白视角，主要来自 ARIS 的 idea-creator 技能。

扩展来源：这一版还参考了 Anthropic Skills、AI-research-SKILLs 一类 research skill 仓库中的任务契约写法，把“问题定义”显式沉淀成 PROBLEM_NOTE.md，并把“问题”和“解法”强制拆开。完整来源见：附录 D