使用Edge turbo下载CNCB数据

CNCB（China National Center for Bioinformation，国家生物信息中心），对标的NCBI，对国内研究者来说，数据上传跟下载方便的多，现在国内越来越多的数据都上传到该数据库。

该数据库有自主开发的下载软件Edge turbo客户端主要包含两部分：linux 命令行工具和 edgeturbo service。命令行工具为用户提供了简洁的命令行语法，用户可以快速上手以体验传输服务。edgeturbo service 是传输核心组件，它提供了具体的传输能力，用户不需要关

如果需要官方的说明文档可以在公众号留言，我会及时发给大家。

系统要求

Linux 内核版本 ：3.10.0 及以上，推荐使用 4.15 以上的版本；

操作系统版本 ：CentOS7.2 及以上、Ubuntu 14 及以上，以及其它满足上述内核版本要求的主流 linux 操作系统版本；

硬件：64 位 CPU、2G 以上内存，推荐 4G 以上内存

网络：有外网访问权限，防火墙对 UDP 报文无限制

下载

在linux终端上输入以下命令进行下载软件

wget https://ngdc.cncb.ac.cn/ettrans/download/edgeturbo-client.linux.latest.cncb.tar.gz

解压

tar -zxvf edgeturbo-client.linux.latest.cncb.tar.gz

建议在自己的家目录下进行解压，解压后会在当前目录下增 加 edgeturbo- client 目录，此目录中包括以下内容：

edgeturbo
/lib
/script
serv_edgeturbo

将软件路径添加到.bashrc里面 作为环境变量

为方便运行命令行工具，建议用户在环境变量中配置命令行工具的运行路径。以 bash 为例，在.bashrc 文件中添加如下配置：

vi ~/.bashrc
# 按英文i 将下面命令行鼠标右键复制进文件中
export PATH="$HOME/edgeturbo-client:$PATH"
#保存退出 按esc  输入:wq进行保存退出

保存退出以后运行（如果你不擅长Linux操作，不会使用上面的vi命令，也可以全路径使用这个软件，不添加环境变量哈）

source ~/.bashrc

运行

如果已经配置了PATH变量可以直接输入以下命令

edgeturbo start

功能介绍

• 启动客户端 edgeturbo start
• 重新启动客户端edgeturbo restart
• 停止客户端edgeturbo stop
• 下载
  • 以下载/gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz 文件为例：

edgeturbo download /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz

edgeturbo dl /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz

• 下载的数据会保存在家目录下download目录下

• PS: 我在自己的服务器测试了一下， 貌似速度也一般般哦。大家也可以复制粘贴上面的命令去试试看：

  

• 如果想要更换下载目录可以使用这个命令。
• [Llocal_path]参数用于指定本地的下载目录，如果不指定，则使用当前配置的下载目录。以下载到本地的/home/data 为例：

edgeturbo dl /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz L/home/data

• 文件下载后，将自动进入下面的页面（这个是小编的服务器）

image.png

• 查看界面主要展示了客户端的资源占用情 况以 及传 输任务的相关信 息(目前最多只展示最新的 20 条记录），此界面将保持每秒刷新一次，用户可以随时按下CTRL+C 退出此界面。
  • 注 1：如果客户端还未启动，此命令将自动启动客户端；
  • 注 2：支持同时下载多个文件或目录，每条文件路径之间以空格隔开；
• 查看界面还支持以下快捷键操作：
  1. 删除任务-----按 d 或者 D 键
  2. 暂停任务-----按 p 或者 P 键
  3. 任务续传-----按 r 或者 R 键
• 以删除任务为例，在查看界面上按下 d 键后，将进入命令模式（此时查看界面上的信息不再刷新），用户可以输入需要操作的任务编号：
  • 用户输入任务编号后按回车键即可执行操作。
• 删除传输任务 edgeturbo rm 0aee040d943e
• 或者删除所有任务edgeturbo rm
  • 注 1: 任务 ID 可以从查看界面上 TASK ID 一列获取；
  • 注 2: 支持同时删除多条任务，任务 ID 之间以空格隔开；
  • 注 3：删除正在进行中的任务，任务将停止并清除所有缓存的临时文件；
• 查看任务状态 edgeturbo ps 或者edgeturbo
• 设置本地下载目录
  • 在进行下载时，客户端默认将下载的文件保存在 home 目录下的 downloads目录中。用户可随时通过此命令进行调整：
  • edgeturbo set /home/lnjoying/mydownload
• 查看帮助
  • 用户可以键入以下命令以获取命令行参数的帮助说明：
  • edgeturbo help

写在后面

上面举例的样品是：

https://download.cncb.ac.cn/gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz
https://download.cncb.ac.cn/gsa/CRA007099/CRR511439/CRR511439_r2.fq.gz

所以我们的构建的(edgeturbo download )下载命令是：

edgeturbo download /gsa/CRA007099/CRR511439/CRR511439_f1.fq.gz

把前缀去掉即可。但是我自己普通的 axel -n 20 下载也是类似的网络速度，一整天的时间可以下载360G的文件：