linux下载测序数据,高速下载测序数据（SRA，Fastq等）

一、测试环境及工具

Linux(Ubuntu 18.04.1)

Aspera (Aspera Connect version 3.9.9.177872)

image

二、Aspera 下载

image

wget 下载：wget https://download.asperasoft.com/download/sw/connect/3.9.9/ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

三、安装及配置

1. 解压

tar -zxvf ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz

2. 安装

./ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.sh

3. 配置许可

sudo cp ~/.aspera/connect/etc/aspera-license /usr/local/bin/

4. 配置程序环境变量

vim ~/.bashrc

在末尾加上你的aspera所在目录

export PATH="/home/baimoc/.aspera/connect/bin:$PATH"

立马生效

source ~/.bashrc

5. 配置秘钥

新建配置目录

mkdir /home/baimoc/.aspera/config/

复制到配置目录

cp ~/.aspera/connect/etc/asperaweb_id_dsa.openssh /home/baimoc/.aspera/config/

四、测试

1. 一个例子

ascp -QT -L /home/baimoc/logs -l 100M -P33001 -i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh [email protected]:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz ./out_path

2. 常用参数介绍

命令

含义

ascp

aspera的可执行文件

-QT

禁用进度显示

-L /home/baimoc/logs

日志文件路径

-l 100M

最大传输

-P33001

SSH传输端口

-i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh

密钥文件路径

[email protected]:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz

资源路径

./out_path

文件保存路径

3. 下载地址的构建

[email protected]:/vol1/ERA012/ERA012008/sff/library08_GJ6U61T06.sff

NCBI：[email protected]:/sra/sra-instant/reads/ByRun/sra/SRR/SRR507/SRR5077625/SRR5077625.sra

可以看到最关键的前缀是：er[email protected]:或[email protected]:

4. EBI查询整个项目的资源文件

image

6. 查看下载链接

提取对应列，即可下载相应的资源文件

image

五、为什么这里要建议选EBI，而不用NCBI？

这个是在 NCBI 下载时的链接及提示：

image

image

简单来说就是：

现在NCBI正在将数据传输至亚马逊云 AWS 和 谷歌云 GS

美国境内服务器免费，其他的服务器收费，用户自己掏钱

由于正在迁移，所有NCBI也不保证数据的完整性

虽然也提供了免费的链接，但是实测速度奇慢无比