Skip to content

GS3D通用AWS S3下载工具

轻松下载AWS S3存储桶内容的跨平台工具

GS3D Logo



通用AWS S3下载工具

GS3D(Generic S3 Downloader)是一个强大而简单的工具,专为从AWS S3存储桶下载文件而设计。无论是公开数据集还是私有内容,GS3D都能帮助您轻松获取所需文件。

安装方式

可执行文件(推荐)

Releases页面下载适合您系统的版本:

  • Windows: gs3d-windows-x86_64.exe
  • Linux: gs3d-linux-x86_64
  • macOS: 即将推出(如需使用,请先自行编译或使用源码)

下载后,您可以直接运行,无需安装Python环境。

源码运行

bash
# 克隆仓库
git clone https://github.com/MEKXH/gs3d.git
cd gs3d

# 安装依赖
pip install boto3 tqdm

# 使用源码
python src/GS3D.py s3://bucket/file.txt

快速开始

Windows

bash
# 下载单个文件
gs3d-windows-x86_64.exe https://bucket.s3.amazonaws.com/file.txt

# 匿名访问公开存储桶
gs3d-windows-x86_64.exe https://public-bucket.s3.amazonaws.com/data/ -a

Linux

bash
# 添加执行权限
chmod +x gs3d-linux-x86_64

# 下载单个文件
./gs3d-linux-x86_64 https://bucket.s3.amazonaws.com/file.txt

# 下载文件夹并保留结构
./gs3d-linux-x86_64 s3://bucket/folder/ -k

主要功能

  • 自动检测 - 自动识别文件或文件夹下载
  • 匿名访问 - 内置对公开存储桶的匿名访问支持
  • 灵活配置 - 丰富的命令行选项
  • 实时进度 - 直观的进度条显示
  • 并行下载 - 多线程提高下载速度
  • 校验和验证 - 每个版本提供SHA256校验和

使用场景

GS3D特别适用于:

  • 下载科研数据集(如GEOS-Chem气候数据)
  • 从公开S3存储桶获取开源资源
  • 备份和同步数据
  • 在AWS EC2实例上访问S3存储桶
  • 批量下载大型文件集合

命令行选项

bash
# 基本使用
gs3d <s3-url>

# 常用选项
-a, --anonymous      # 使用匿名访问
-o, --output-dir     # 指定输出目录
-k, --keep-structure # 保留完整目录结构
-w, --max-workers    # 设置并发下载数
-p, --profile        # 使用特定AWS配置文件
--help               # 显示帮助信息

验证下载

每个版本都提供SHA256校验和,您可以验证下载的文件:

bash
# Windows (PowerShell)
Get-FileHash gs3d-windows-x86_64.exe -Algorithm SHA256
# 比对 checksums.txt 中的值

# Linux
sha256sum gs3d-linux-x86_64
# 比对 checksums.txt 中的值

为什么选择GS3D?

与AWS CLI的aws s3 sync命令相比,GS3D提供了:

  • 零配置使用 - 下载即用,无需安装Python或配置AWS CLI
  • 简化语法 - 更直观的命令行接口
  • 内置匿名访问 - 无需额外配置即可访问公开存储桶
  • 更好的进度显示 - 实时进度条和下载统计

使用MIT许可证发布