87 lines
2.9 KiB
Markdown
87 lines
2.9 KiB
Markdown
---
|
||
name: ocr-problems
|
||
description: OCR/文本识别类问题——需要从视频画面中读取文字、数字或标识
|
||
task_type: OCR Problems
|
||
---
|
||
|
||
## 适用场景
|
||
|
||
问题要求读取视频画面中显示的文字、数字、标题或图形叠加层信息。
|
||
例: "What does the video state about X?" "Which concept is NOT described?" "What is the score at halftime?"
|
||
|
||
## 视频树字段索引
|
||
|
||
| 层级 | 字段 | 适用场景 |
|
||
|------|------|---------|
|
||
| L1 | scene_summary | 整体概况 |
|
||
| L1 | key_entities | 查找人物/物体 |
|
||
| L1 | main_actions | 主要动作 |
|
||
| L1 | temporal_flow | 时间线概览 |
|
||
| L1 | topic_keywords | 主题定位 |
|
||
| L2 | event_description | 事件因果 |
|
||
| L2 | entities / actions | 实体和动作细节 |
|
||
| L2 | state_changes | 状态转变 |
|
||
| L2 | spatial_relations | 空间关系变化 |
|
||
| L3 | frame_summary | 精确视觉证据 |
|
||
| L3 | visible_entities | 具体物体确认 |
|
||
| L3 | ongoing_actions | 正在发生的动作 |
|
||
| L3 | spatial_layout | 精确空间位置 |
|
||
| L3 | visual_attributes | 光照、色调、机位 |
|
||
| L2/L3 | subtitle | 字幕转写（L1 无此字段） |
|
||
| 全层 | visible_text | 画面文字（OCR） |
|
||
|
||
## 搜索步骤
|
||
|
||
### Step 1: 精准关键词搜索
|
||
|
||
搜索查询应包含选项中的具体名称或数字，而非泛化描述。
|
||
|
||
### Step 2: 多层信息源检查
|
||
|
||
答案可能来自三个不同的信息源：字幕、可见文字、L3 帧描述。
|
||
|
||
### Step 3: 数值精确验证
|
||
|
||
当答案是具体数字时，不要从模糊描述中推算——必须寻找直接标注。
|
||
|
||
## 输出格式
|
||
|
||
每轮在 content 中输出以下 JSON（第一轮可省略 reflect）：
|
||
|
||
```json
|
||
{
|
||
"reflect": {
|
||
"learned": "这条信息揭示了什么",
|
||
"options": {
|
||
"A": "对此选项已知什么、来自哪个节点",
|
||
"B": "...", "C": "...", "D": "..."
|
||
},
|
||
"confidence": 0.5,
|
||
"best_candidate": "B",
|
||
"answer_ready": false,
|
||
"answer_source": "subtitle / visible_text / frame_description / inference",
|
||
"numeric_precision": "exact_match / approximate / inferred"
|
||
},
|
||
"plan": {
|
||
"goal": "本轮要获取什么信息",
|
||
"tool": "选择哪个工具",
|
||
"reason": "为什么这个工具和参数能达成目标"
|
||
},
|
||
"action": {
|
||
"tool": "search_similar",
|
||
"args": {"query": "关键词", "question": "当前关注的具体问题"}
|
||
}
|
||
}
|
||
```
|
||
|
||
当 answer_source 为 inference 且 numeric_precision 不是 exact_match 时，不要提交——继续搜索更精确的证据。
|
||
|
||
## 自检信号
|
||
|
||
如果你的搜索查询使用了问题的泛化描述而非选项中的具体名称或数字，回到 Step 1 换用精确关键词重新搜索。
|
||
|
||
## 常见陷阱
|
||
|
||
1. **搜索策略僵化**: 3 步内没找到精确数字时应立即切换策略，不要在同一方向上反复尝试。
|
||
2. **图像 OCR 能力有限**: 当答案只存在于画面叠加层而非语音字幕时，应优先从字幕中寻找解说员口述的数字。
|