修复: 禁用 HF Xet（hf-mirror 不代理 CAS，teacher 4B 下载 401）

远程冒烟实撞：hf-mirror 供小文件正常，但大权重走 Xet 协议会绕过镜像直连 cas-server.xethub.hf.co 并返 401 Unauthorized。加 HF_HUB_DISABLE_XET=1 退回经典 HTTP/LFS 下载路径（镜像支持）。两个训练脚本都加，防层 1 换机重下也撞。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
2026-07-19 05:58:16 -04:00
parent 2f4780b69f
commit f1b6d1f668
2 changed files with 6 additions and 0 deletions
@@ -27,5 +27,9 @@ export PYTHONUNBUFFERED=1                 # 禁止日志缓存（CLAUDE.md §5
 export PYTORCH_ALLOC_CONF=expandable_segments:True   # 变长生成序列易碎片化，按需扩段
 export HF_ENDPOINT=${HF_ENDPOINT:-https://hf-mirror.com}
 export HF_HOME=${HF_HOME:-/data/zym/hf_cache}   # 模型缓存落 /data，根分区已满
+# 非显然坑：hf-mirror 不代理 HF 的 Xet CAS——大权重走 Xet 会直连
+# cas-server.xethub.hf.co 并返 401（2026-07-19 teacher 4B 下载实撞）。禁用 Xet
+# 退回经典 HTTP/LFS 下载（镜像支持）。若仍不行：pip uninstall hf_xet
+export HF_HUB_DISABLE_XET=1

 torchrun --nproc_per_node=4 --master_port=29572 scripts/train_whitebox.py "$MODE"