git-cloner / aliendao

huggingface mirror download

从hf或镜像下载模型

1、简介

• 从hf下载模型（支持断点续传）
• 从aliendao.cn下载模型（支持断点续传）
• chat服务源码（调用国产大模型）

2、安装python虚拟环境

# windows到Anaconda官网下载安装
# Linux用以下方法安装
wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh
chmod +x Anaconda3-2022.10-Linux-x86_64.sh
./Anaconda3-2022.10-Linux-x86_64.sh
source ~/.bashrc

3、创建虚拟环境

git clone https://github.com/git-cloner/aliendao
cd aliendao
conda create -n aliendao python=3.10 -y
conda activate aliendao
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host=pypi.mirrors.ustc.edu.cn

4、下载

conda activate aliendao
# 下载模型，带上mirror优先从镜像下载
python model_download.py --repo_id 模型ID
# 举例
python model_download.py --repo_id baichuan-inc/Baichuan-7B
# 下载数据集
python model_download.py --repo_id 数据集ID --repo_type dataset
# 举例
python model_download.py --repo_id tatsu-lab/alpaca --repo_type dataset

aliendao's Issues

现在镜像是停了吗？目前都下载不了！

镜像下载速度变得很慢

今天下载模型的时候发现下载速度变得非常慢，几秒1MB，请问大佬能看一下吗

公司有代理的情况下，如何下载呢？

python model_download.py --repo_id stabilityai/stable-diffusion-xl-base-1.0 --mirror

报错
requests.exceptions.SSLError: HTTPSConnectionPool(host='e.aliendao.cn', port=443): Max retries exceeded with url: /models/stabilityai/stable-diffusion-xl-base-1.0?json=true (Caused by SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1131)')))

尝试model_download.pyli 151行增加proxy不行
尝试把model_download.pyli 150行替换https为http也不行

请问带参数的数据集怎么下载

load_dataset('HuggingFaceFW/fineweb-edu', name='sample-10BT', split='train')

不能从其他的镜像站拉取吗

下载时经常出现500错误

命令：

python model_download.py --repo_id SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1  --token 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

之前用的huggingface-cli download --resume-download xx --local-dir xx下载经常出现416错误，只好换这个，但这个报错提示：

(aliendao) G:\[Notes]\aliendao>python model_download.py --repo_id SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1  --token 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
2024-04-06 21:00:17 SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1 mirror :500
2024-04-06 21:00:17 SakuraLLM/Sakura-1B8-Qwen2beta-v0.9.1 download :下载资源发生了错误，请使用正确的token

(aliendao) G:\[Notes]\aliendao>

怎么破？

TypeError: int() argument must be a string, a bytes-like object or a real number, not 'NoneType'

运行 python model_download.py --repo_id stabilityai/stable-video-diffusion-img2vid-xt 时发生以下错误，请教如何解决。谢谢!!

Traceback (most recent call last):
File "/home/ubuntu/aliendao/model_download.py", line 221, in
download_model_from_mirror(
File "/home/ubuntu/aliendao/model_download.py", line 199, in download_model_from_mirror
if _download_model_from_mirror(_repo_id, _repo_type, _token, _e):
File "/home/ubuntu/aliendao/model_download.py", line 193, in _download_model_from_mirror
if not _download_file_resumable(url, file_name, i, len(files)):
File "/home/ubuntu/aliendao/model_download.py", line 135, in _download_file_resumable
total_length = int(r.headers.get('content-length'))
TypeError: int() argument must be a string, a bytes-like object or a real number, not 'NoneType'

希望增加功能，可以选择单独下载模型中的单个文件

因为下载速度原因，想节省点时间，所以希望能增加单独下载文件的功能，当只需要模型中的单个文件时候，可以单独下载，谢谢

礼问一下确定实现断点续传了吗

礼问一下确定实现断点续传了吗？ 如果有的话 默认开启吗

请尽快支持QWEN-14B模型下载，谢谢

下载某些模型，需要身份认证，应该怎么处理？

当下载tiiuae/falcon-180B-chat模型时，执行命令后提示需要登录认证，要如何解决？

$ python model_download.py --repo_id tiiuae/falcon-180B-chat --mirror

2023-09-19 18:00:43 tiiuae/falcon-180B-chat mirror :500
2023-09-19 18:00:45 tiiuae/falcon-180B-chat success :401 Client Error. (Request ID: Root=1-6509714d-1ee4c4267f2bc5df0d916723;83665afb-3d62-414b-99cf-75a2865f6ac2)

Cannot access gated repo for url https://huggingface.co/api/models/tiiuae/falcon-180B-chat/revision/main.
Repo model tiiuae/falcon-180B-chat is gated. You must be authenticated to access it.

请求增加模型google/madlad400-3b-mt，。。。

请求增加模型google/madlad400-3b-mt，Unbabel/TowerInstruct-7B-v0.2，facebook/seamless-m4t-large

下载资源发生了错误，请使用正确的token

运行 python model_download.py --repo_id Xenova/nllb-200-distilled-600M，出现这个错误该怎么办

Xenova/nllb-200-distilled-600M download :下载资源发生了错误，请使用正确的token

请求增加bigcode/starcoderdata的镜像

请求增加bigcode/starcoderdata的镜像

礼问一下别的模型镜像会同步吗？

如题（ hf实在连不上了x

下载的镜像文件为0kb

请问为什么我下载的镜像文件都是0KB(所有文件都是0KB)

python model_download.py --mirror --repo_id baichuan-inc/Baichuan2-13B-Chat

这是我下载的模型

请问一下模型下载好后在哪个目录呢？

运行命令时报错

使用命令 python model_download.py --repo_id Qwen/Qwen-VL-Chat --mirror 时，报错TypeError: int() argument must be a string, a bytes-like object or a real number, not 'NoneType'

下载后目录显示替身文件源文件指向缓存目录这是什么情况

下载后目录显示替身文件源文件指向缓存目录这是什么情况？
怎样解决直接显示实际文件的形式
如下图：

Bug Fix Suggestion for _download_file_resumable in model_download.py

Hello,

我在使用过程中遇到了一个小问题，并想分享我找到的解决方案，希望能对其他使用者也有所帮助。

问题描述

在使用 _download_file_resumable 函数下载文件时，如果服务器的响应中没有 content-length 头部，脚本会抛出 TypeError。这是因为脚本试图将 None 转换为整数。

出现错误的代码

total_length = int(r.headers.get('content-length'))

建议的解决方案

我建议在尝试转换之前检查 content-length 是否存在。如果不存在，可以将 total_length 设置为 0 或 None。以下是修改后的代码段：

total_length = r.headers.get('content-length')

if total_length is not None:
    total_length = int(total_length)
else:
    # 如果没有content-length头，可以选择跳过进度条或使用其他方法估计文件大小
    total_length = 0  # 或者设置为None，根据您的需求调整

这个修改可以防止在缺少 content-length 头部时脚本崩溃，并允许下载继续进行。

希望这个建议对您有所帮助。再次感谢您的工作！

下载模型报错