层1: 修复远程 sanity OOM——per_device batch 8→2、累积 2→8（全局 64 不变）

根因：150k 大词表下显存大头是 (B,T,V) logits 链（fp32 ~20G@B=8）与逐层激活，均正比于 B 而与 0.6B 参数量无关。docs/02 §2.6 旧显存估算勘误入档； train_sft.sh 加 expandable_segments 防碎片。 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-07-18 09:21:38 -04:00
parent 68216ace22
commit a0faec0df7
5 changed files with 14 additions and 6 deletions
@@ -19,6 +19,7 @@ MODE=${1:-full}

 export CUDA_VISIBLE_DEVICES=$GPUS
 export PYTHONUNBUFFERED=1                 # 禁止日志缓存（CLAUDE.md §5）
+export PYTORCH_ALLOC_CONF=expandable_segments:True   # 变长序列 batch 易碎片化，按需扩段
 export HF_ENDPOINT=${HF_ENDPOINT:-https://hf-mirror.com}
 export HF_HOME=${HF_HOME:-/data/zym/hf_cache}   # 模型缓存落 /data，根分区已满