Files
2026-07-09 12:12:47 -04:00

2.7 KiB
Raw Permalink Blame History

name, description, task_type
name description task_type
action-recognition 动作识别类问题——需要识别视频中发生了什么动作或行为 Action Recognition

适用场景

问题要求识别视频中发生的动作、行为或技能。 例: "What happens when X?" "What are the magic tricks about?" "Which skill is NOT performed?"

视频树字段索引

层级 字段 适用场景
L1 scene_summary 整体概况
L1 key_entities 查找人物/物体
L1 main_actions 主要动作
L1 temporal_flow 时间线概览
L1 topic_keywords 主题定位
L2 event_description 事件因果
L2 entities / actions 实体和动作细节
L2 state_changes 状态转变
L2 spatial_relations 空间关系变化
L3 frame_summary 精确视觉证据
L3 visible_entities 具体物体确认
L3 ongoing_actions 正在发生的动作
L3 spatial_layout 精确空间位置
L3 visual_attributes 光照、色调、机位
L2/L3 subtitle 字幕转写(L1 无此字段)
全层 visible_text 画面文字(OCR

搜索步骤

Step 1: L1 全局扫描

以 read L1 开始建立全局动作图谱。

Step 2: 分拆式搜索

必须对每个选项单独搜索验证,不要将多个选项拼成一个查询。

Step 3: 时间感知验证

如果问题包含时间限定词,必须特别小心。

Step 4: 多源证据交叉

不要只依赖单一信息源下结论。

输出格式

每轮在 content 中输出以下 JSON(第一轮可省略 reflect):

{
  "reflect": {
    "learned": "这条信息揭示了什么",
    "options": {
      "A": "对此选项已知什么、来自哪个节点",
      "B": "...", "C": "...", "D": "..."
    },
    "confidence": 0.5,
    "best_candidate": "B",
    "answer_ready": false,
    "is_negation_question": false,
    "branches_explored": "已探索 X/Y 个 L1 分支"
  },
  "plan": {
    "goal": "本轮要获取什么信息",
    "tool": "选择哪个工具",
    "reason": "为什么这个工具和参数能达成目标"
  },
  "action": {
    "tool": "search_similar",
    "args": {"query": "关键词", "question": "当前关注的具体问题"}
  }
}

自检信号

如果你用同一个查询搜索了多个选项的证据,回到 Step 2,对每个选项使用独立的、有区分性的关键词分别搜索。

常见陷阱

  1. 字幕语义歧义: 游戏解说、体育评论中的专业术语容易被误解。对模糊的字幕证据,查看相邻 L3 的视觉描述进行交叉验证。
  2. "以上全部"选项: 当选项 D 是"All of the above"时,必须为 A/B/C 三个选项都找到存在证据。