Files
2026-07-09 12:12:47 -04:00

2.9 KiB
Raw Permalink Blame History

name, description, task_type
name description task_type
action-reasoning 动作推理类问题——需要推理动作的原因、方式、影响或因果关系 Action Reasoning

适用场景

问题要求推理视频中行为的原因(Why)、方式(How)、影响(What happened)或选择比较(Which)。 例: "Why did X do Y?" "What tool had the least impact?" "Which event happened because of Z?"

视频树字段索引

层级 字段 适用场景
L1 scene_summary 整体概况
L1 key_entities 查找人物/物体
L1 main_actions 主要动作
L1 temporal_flow 时间线概览
L1 topic_keywords 主题定位
L2 event_description 事件因果
L2 entities / actions 实体和动作细节
L2 state_changes 状态转变
L2 spatial_relations 空间关系变化
L3 frame_summary 精确视觉证据
L3 visible_entities 具体物体确认
L3 ongoing_actions 正在发生的动作
L3 spatial_layout 精确空间位置
L3 visual_attributes 光照、色调、机位
L2/L3 subtitle 字幕转写(L1 无此字段)
全层 visible_text 画面文字(OCR

搜索步骤

Step 1: 全景扫描

始终以 read L1 开始,不要跳过全景阶段直接搜索。

Step 2: 因果定位

根据问题类型选择不同的搜索方式。

Step 3: 证据验证

在给出答案前,确保选中的选项有直接的视频证据支持。

输出格式

每轮在 content 中输出以下 JSON(第一轮可省略 reflect):

{
  "reflect": {
    "question_asks": "用自己的话改写题目,保留所有限定条件(时间点、行为范围、因果方向)",
    "learned": "这条信息揭示了什么",
    "options": {
      "A": "对此选项已知什么、来自哪个节点",
      "B": "...", "C": "...", "D": "..."
    },
    "confidence": 0.5,
    "best_candidate": "B",
    "answer_ready": false,
    "causal_level": "直接触发 / 间接原因 / 根本原因",
    "evidence_type": "direct_quote / visual_description / inference",
    "l1_coverage": "已覆盖 X/Y 个 L1 节点"
  },
  "plan": {
    "goal": "本轮要获取什么信息",
    "tool": "选择哪个工具",
    "reason": "为什么这个工具和参数能达成目标"
  },
  "action": {
    "tool": "search_similar",
    "args": {"query": "关键词", "question": "当前关注的具体问题"}
  }
}

自检信号

如果你引用了字幕原文来支持某个选项,但你的解读改变了原文的主语或因果方向,逐词重读原文,检查 who does what to whom 是否与你的解读一致。

常见陷阱

  1. 因果层级陷阱: Why 问题中常有多个因果层级的选项。Agent 倾向于选"根本原因",但题目通常问的是"直接触发原因"。
  2. 外部知识陷阱: 用常识替代视频证据是危险的。所有判断必须有视频中的直接证据支持。