1#!/bin/sh
2
3# 设置数据集名称
4DATASET_NAME="liucong/Chinese-DeepSeek-R1-Distill-data-110k"
5
6# 构建目标存储路径，以数据集根目录/数据集名称存储
7TARGET_DIR="$DATASET_PATH/$DATASET_NAME_ESCAPED"
8
9# 检查是否已安装 modelscope
10if ! command -v modelscope >/dev/null 2>&1; then
11    echo "modelscope 未安装，正在安装..."
12    # 使用 --user 避免权限问题（可选）
13    pip install --user modelscope
14    # 将 --user 安装的 bin 加入 PATH（适用于某些环境）
15    export PATH="$HOME/.local/bin:$PATH"
16fi
17
18# 使用 modelscope CLI 下载数据集（注意：使用 --dataset 而非 --model）
19echo "正在下载数据集 $DATASET_NAME 到 $TARGET_DIR ..."
20modelscope download --dataset "$DATASET_NAME" --revision master --local_dir "$TARGET_DIR"
21
22if [ $? -eq 0 ]; then
23    echo "数据集已成功下载至: $TARGET_DIR"
24else
25    echo "下载失败！请检查网络、权限或数据集是否存在。"
26    exit 1
27fi

1#!/bin/sh
2
3# 配置
4HF_DATASET_ID="Congliu/Chinese-DeepSeek-R1-Distill-data-110k"
5
6# 构建本地目标路径
7LOCAL_DIR="$DATASET_PATH/$HF_DATASET_ID"
8mkdir -p "$LOCAL_DIR"
9
10# 检查是否已存在（简单判断）
11if [ -f "$LOCAL_DIR/.hf_download_complete" ]; then
12    echo "数据集已下载（检测到 .hf_download_complete 标记），跳过。"
13    exit 0
14fi
15
16# 安装 huggingface_hub（如果未安装）
17if ! python3 -c "import huggingface_hub" &> /dev/null; then
18    echo "正在安装 huggingface_hub..."
19    pip install --quiet huggingface_hub
20fi
21
22# 创建临时 Python 脚本
23PY_SCRIPT=$(cat <<EOF
24from huggingface_hub import snapshot_download
25import os
26
27local_dir = os.environ['LOCAL_DIR']
28repo_id = os.environ['HF_DATASET_ID']
29
30print(f"正在从 Hugging Face 下载数据集: {repo_id}")
31snapshot_download(
32    repo_id=repo_id,
33    local_dir=local_dir,
34    repo_type="dataset",
35    max_workers=8
36)
37print("下载完成！")
38EOF
39)
40
41# 导出环境变量供 Python 使用
42export LOCAL_DIR="$LOCAL_DIR"
43export HF_DATASET_ID="$HF_DATASET_ID"
44
45# 执行下载
46echo "开始从 Hugging Face Hub 下载数据集..."
47python3 -c "$PY_SCRIPT"
48
49# 检查是否成功并创建标记文件
50if [ $? -eq 0 ]; then
51    touch "$LOCAL_DIR/.hf_download_complete"
52    echo "数据集已保存至: $LOCAL_DIR"
53else
54    echo "下载失败。请检查数据集 ID、网络或访问权限。"
55    exit 1
56fi

1#!/bin/bash
2
3# 配置：通过环境变量传入
4HTTP_URL="https://example.com/data/SKYLENAGE-ReasoningMATH.zip"
5DATASET_NAME="SKYLENAGE-ReasoningMATH"
6
7# 构建本地目标目录
8LOCAL_DIR="$DATASET_PATH/Alibaba-DT/$DATASET_NAME"
9mkdir -p "$LOCAL_DIR"
10
11# 推断文件名（从 URL 最后一段）
12FILENAME=$(basename "$HTTP_URL")
13TMP_FILE="$LOCAL_DIR/${FILENAME}"
14
15# 检查是否已下载
16if [ -f "$TMP_FILE" ]; then
17    echo "文件 $TMP_FILE 已存在，跳过下载。"
18    exit 0
19fi
20
21# 下载文件
22echo "正在从 $HTTP_URL 下载..."
23if command -v wget &> /dev/null; then
24    wget -O "$TMP_FILE" --progress=bar:force:noscroll "$HTTP_URL"
25elif command -v curl &> /dev/null; then
26    curl -L -o "$TMP_FILE" -# "$HTTP_URL"
27else
28    echo "错误: 未找到 wget 或 curl，请安装其中一个工具。"
29    exit 1
30fi
31
32# 检查下载是否成功
33if [ $? -ne 0 ] || [ ! -s "$TMP_FILE" ]; then
34    echo "下载失败或文件为空。"
35    rm -f "$TMP_FILE"
36    exit 1
37fi
38
39# 自动解压（如果为压缩包）
40if [[ "$FILENAME" == *.zip ]]; then
41    echo "正在解压 ZIP 文件..."
42    unzip -q -o "$TMP_FILE" -d "$LOCAL_DIR"
43    # 可选：删除压缩包
44    # rm "$TMP_FILE"
45elif [[ "$FILENAME" == *.tar.gz ]] || [[ "$FILENAME" == *.tgz ]]; then
46    echo "正在解压 TAR.GZ 文件..."
47    tar -xzf "$TMP_FILE" -C "$LOCAL_DIR"
48    # rm "$TMP_FILE"
49elif [[ "$FILENAME" == *.tar.bz2 ]]; then
50    echo "正在解压 TAR.BZ2 文件..."
51    tar -xjf "$TMP_FILE" -C "$LOCAL_DIR"
52    # rm "$TMP_FILE"
53else
54    echo "文件非压缩格式，已保存至: $TMP_FILE"
55fi
56
57echo "数据集已准备完毕，路径: $LOCAL_DIR"