84 lines
2.7 KiB
Markdown
84 lines
2.7 KiB
Markdown
---
|
||
name: object-recognition
|
||
description: 对象识别类问题——需要识别视频中出现的具体对象、人物或物品
|
||
task_type: Object Recognition
|
||
---
|
||
|
||
## 适用场景
|
||
|
||
问题要求识别视频中出现的特定对象、人物、物品或标识。
|
||
例: "Who wins the final?" "What tool is used?" "Which item is NOT shown?"
|
||
|
||
## 视频树字段索引
|
||
|
||
| 层级 | 字段 | 适用场景 |
|
||
|------|------|---------|
|
||
| L1 | scene_summary | 整体概况 |
|
||
| L1 | key_entities | 查找人物/物体 |
|
||
| L1 | main_actions | 主要动作 |
|
||
| L1 | temporal_flow | 时间线概览 |
|
||
| L1 | topic_keywords | 主题定位 |
|
||
| L2 | event_description | 事件因果 |
|
||
| L2 | entities / actions | 实体和动作细节 |
|
||
| L2 | state_changes | 状态转变 |
|
||
| L2 | spatial_relations | 空间关系变化 |
|
||
| L3 | frame_summary | 精确视觉证据 |
|
||
| L3 | visible_entities | 具体物体确认 |
|
||
| L3 | ongoing_actions | 正在发生的动作 |
|
||
| L3 | spatial_layout | 精确空间位置 |
|
||
| L3 | visual_attributes | 光照、色调、机位 |
|
||
| L2/L3 | subtitle | 字幕转写（L1 无此字段） |
|
||
| 全层 | visible_text | 画面文字（OCR） |
|
||
|
||
## 搜索步骤
|
||
|
||
### Step 1: L1 全局理解
|
||
|
||
优先 read L1 建立全局观。
|
||
|
||
### Step 2: 精准搜索与下钻
|
||
|
||
用对象名称或特征作为搜索关键词，定位包含目标对象的 L2/L3 节点。
|
||
|
||
### Step 3: 竞争选项验证
|
||
|
||
对最强竞争选项执行独立搜索，确认是否有支持或反驳证据。
|
||
|
||
## 输出格式
|
||
|
||
每轮在 content 中输出以下 JSON（第一轮可省略 reflect）：
|
||
|
||
```json
|
||
{
|
||
"reflect": {
|
||
"learned": "这条信息揭示了什么",
|
||
"options": {
|
||
"A": "对此选项已知什么、来自哪个节点",
|
||
"B": "...", "C": "...", "D": "..."
|
||
},
|
||
"confidence": 0.5,
|
||
"best_candidate": "B",
|
||
"answer_ready": false,
|
||
"evidence_source": "subtitle / visual_description / summary"
|
||
},
|
||
"plan": {
|
||
"goal": "本轮要获取什么信息",
|
||
"tool": "选择哪个工具",
|
||
"reason": "为什么这个工具和参数能达成目标"
|
||
},
|
||
"action": {
|
||
"tool": "view_node",
|
||
"args": {"node_id": "L1_000", "question": "当前关注的具体问题"}
|
||
}
|
||
}
|
||
```
|
||
|
||
## 自检信号
|
||
|
||
如果你只基于 L1 摘要中的 key_entities 就判断某对象存在或不存在，要警惕——需要在 L2/L3 层确认后再下结论。
|
||
|
||
## 常见陷阱
|
||
|
||
1. **描述性指代容易出错**: 当题目用描述性短语而非名称指代对象时，映射关系很容易出错。必须在字幕中找到精确的对象名称来确认。
|
||
2. **视觉细节高度依赖 L3 质量**: 精确视觉信息取决于 L3 关键帧的描述质量。当 L3 摘要模糊时，检查字幕中是否有解说员口头提及。
|