iomgaa/ars-opd-rebuild
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

修复: 禁用 HF Xet（hf-mirror 不代理 CAS，teacher 4B 下载 401）

Browse Source 
远程冒烟实撞：hf-mirror 供小文件正常，但大权重走 Xet 协议会绕过镜像直连
cas-server.xethub.hf.co 并返 401 Unauthorized。加 HF_HUB_DISABLE_XET=1 退回
经典 HTTP/LFS 下载路径（镜像支持）。两个训练脚本都加，防层 1 换机重下也撞。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
iomgaa
2026-07-19 05:58:16 -04:00
parent 2f4780b69f
commit f1b6d1f668
2 changed files with 6 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
scripts/train_sft.sh
+2
View File
@@ -22,5 +22,7 @@ export PYTHONUNBUFFERED=1 # 禁止日志缓存（CLAUDE.md §5
export PYTORCH_ALLOC_CONF=expandable_segments:True # 变长序列 batch 易碎片化，按需扩段 export PYTORCH_ALLOC_CONF=expandable_segments:True # 变长序列 batch 易碎片化，按需扩段
export HF_ENDPOINT=${HF_ENDPOINT:-https://hf-mirror.com} export HF_ENDPOINT=${HF_ENDPOINT:-https://hf-mirror.com}
export HF_HOME=${HF_HOME:-/data/zym/hf_cache} # 模型缓存落 /data，根分区已满 export HF_HOME=${HF_HOME:-/data/zym/hf_cache} # 模型缓存落 /data，根分区已满
# hf-mirror 不代理 HF Xet CAS（大权重走 Xet 会 401，见 train_whitebox.sh 详注）
export HF_HUB_DISABLE_XET=1
torchrun --nproc_per_node=4 --master_port=29571 scripts/train_sft.py "$MODE" torchrun --nproc_per_node=4 --master_port=29571 scripts/train_sft.py "$MODE"
scripts/train_whitebox.sh
+4
View File
@@ -27,5 +27,9 @@ export PYTHONUNBUFFERED=1 # 禁止日志缓存（CLAUDE.md §5
export PYTORCH_ALLOC_CONF=expandable_segments:True # 变长生成序列易碎片化，按需扩段 export PYTORCH_ALLOC_CONF=expandable_segments:True # 变长生成序列易碎片化，按需扩段
export HF_ENDPOINT=${HF_ENDPOINT:-https://hf-mirror.com} export HF_ENDPOINT=${HF_ENDPOINT:-https://hf-mirror.com}
export HF_HOME=${HF_HOME:-/data/zym/hf_cache} # 模型缓存落 /data，根分区已满 export HF_HOME=${HF_HOME:-/data/zym/hf_cache} # 模型缓存落 /data，根分区已满
# 非显然坑：hf-mirror 不代理 HF 的 Xet CAS——大权重走 Xet 会直连
# cas-server.xethub.hf.co 并返 401（2026-07-19 teacher 4B 下载实撞）。禁用 Xet
# 退回经典 HTTP/LFS 下载（镜像支持）。若仍不行：pip uninstall hf_xet
export HF_HUB_DISABLE_XET=1
torchrun --nproc_per_node=4 --master_port=29572 scripts/train_whitebox.py "$MODE" torchrun --nproc_per_node=4 --master_port=29572 scripts/train_whitebox.py "$MODE"