自然语言处理
Transformer
Hugging Face

有没有下载Hugging Face模型的国内站点？

用Hugging Face的transformers时，需要下载模型，目前的下载站点是 https://s3.amazonaws.com/models…
关注者
107
被浏览
522,793

19 个回答

我们知道 Python 的 pip install 下载慢的时候，大家都会去找国内的镜像源（Aliyun、清华或者豆瓣）。

最近大模型这么火热，想使用大模型又离不开 HuggingFace 家的全家桶，但是，相信大家经常会遇到因为网络环境导致下载 HuggingFace 上的公开模型速度非常慢的问题，这一步确实很容易劝退人，现在的大模型动辄十几G，​经常都是龟速下载。。。

今天推荐一个 HuggingFace 的镜像源网站，亲测好用，提速杠杠的。

有了这个网站，我们可以快速地下载 HuggingFace 上的公开的大模型，再也不用因为一个模型下载几个小时而影响心情（工作进度），从而可以愉快地开始大模型之旅。

使用方法非常简单，有两种，如下：

方法一

使用 huggingface 官方提供的 huggingface-cli 命令行工具。

1. 安装相关依赖 
pip install -U huggingface_hub

2. 基本命令示例
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download --local-dir-use-symlinks False facebook/musicgen-small --local-dir musicgen-small

方法二

通过设置环境变量来解决

export HF_ENDPOINT=https://hf-mirror.com
python your_script.py

可以使用 hf-mirror.com，改变 endpoint 以后就可以用

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download stabilityai/stable-diffusion-xl-base-1.0

也可以实验下我最近做的 hf-torrent，通过种子协议来 P2P 加速下载

git clone https://github.com/lyken17/hf-torrent
cd hf-torrent
pip install -r requirements.txt
python download.py stabilityai/stable-diffusion-xl-base-1.0