Files
Video-Tree-TRM5/store/skills/v1/spatial-reasoning.md
T
2026-07-09 12:12:47 -04:00

2.7 KiB
Raw Blame History

name, description, task_type
name description task_type
spatial-reasoning 空间推理类问题——需要基于语义线索推断地点、场景或空间关系 Spatial Reasoning

适用场景

问题要求推断视频中的地点、场景设定或空间位置关系。 例: "Where might this take place?" "Which location appears?" "Where is X relative to Y?"

视频树字段索引

层级 字段 适用场景
L1 scene_summary 整体概况
L1 key_entities 查找人物/物体
L1 main_actions 主要动作
L1 temporal_flow 时间线概览
L1 topic_keywords 主题定位
L2 event_description 事件因果
L2 entities / actions 实体和动作细节
L2 state_changes 状态转变
L2 spatial_relations 空间关系变化
L3 frame_summary 精确视觉证据
L3 visible_entities 具体物体确认
L3 ongoing_actions 正在发生的动作
L3 spatial_layout 精确空间位置
L3 visual_attributes 光照、色调、机位
L2/L3 subtitle 字幕转写(L1 无此字段)
全层 visible_text 画面文字(OCR

搜索步骤

Step 1: L1 摘要快速判断

读取 L1 的 main_setting、key_entities、topic_keywords 字段,寻找地标、文化或生态特征线索。

Step 2: 语义推理

利用世界知识对 L1 中的线索进行地点/场景推理。

Step 3: 视觉验证

仅在选项间差异微妙、L1 摘要不足以区分时才需要这一步。

输出格式

每轮在 content 中输出以下 JSON(第一轮可省略 reflect):

{
  "reflect": {
    "learned": "这条信息揭示了什么",
    "options": {
      "A": "对此选项已知什么、来自哪个节点",
      "B": "...", "C": "...", "D": "..."
    },
    "confidence": 0.5,
    "best_candidate": "B",
    "answer_ready": false,
    "evidence_type": "summary_inference / landmark_recognition / visual_confirmation"
  },
  "plan": {
    "goal": "本轮要获取什么信息",
    "tool": "选择哪个工具",
    "reason": "为什么这个工具和参数能达成目标"
  },
  "action": {
    "tool": "view_node",
    "args": {"node_id": "L1_000", "question": "当前关注的具体问题"}
  }
}

自检信号

如果你需要从关键帧中精确计数行数、列数等空间信息来区分选项,需要查看多个 L3 帧进行交叉验证。

常见陷阱

  1. 此题型与 Spatial Perception 完全不同: Spatial Reasoning 是基于语义的位置推理,Spatial Perception 是精确的视觉空间方位感知。不要把两者的策略混用。
  2. 唯一的错误模式是视觉误判: 当问题需要从关键帧中精确判断空间数量信息时才会失败。这类问题需要多 L3 帧交叉验证。