前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP腾讯云架构师技术同盟
返回腾讯云官网
社区首页 >专栏 >aspera曲折下载arrayexpress数据库文件

aspera曲折下载arrayexpress数据库文件

作者头像
生信技能树
发布于 2025-02-05 13:59:36
发布于 2025-02-05 13:59:36
6100
代码可运行
举报
文章被收录于专栏：生信技能树生信技能树
运行总次数：0
代码可运行

我们马拉松授课有个小伙伴问 arrayexpress 数据库的文件如何下载，因为我们给大家演示的使用 GEO 数据库下载的帖子比较多，这就来看看！

arrayexpress 数据库的官网为：https://www.ebi.ac.uk/biostudies/arrayexpress

首先，让人工智能大模型给我们介绍一下arrayexpress数据库

简单学习一下这个数据库的背景知识，问kimi：介绍一下arrayexpress数据库，它与GEO数据库相比有什么不同？

ArrayExpress数据库简介

ArrayExpress 是由欧洲生物信息学研究所（EBI）维护的一个功能基因组学数据公共存储库，主要用于存储和提供高通量功能基因组学数据。它支持多种数据类型，包括基因表达数据（主要基于微阵列和高通量测序平台）、染色质免疫沉淀测序（ChIP-seq）、基因分型等。

主要特点
  1. 数据类型丰富：存储微阵列、高通量测序等多种功能基因组学数据。
  2. 数据提交与管理：支持用户直接提交数据，并通过Annotare工具进行手动校对，确保数据符合MIAME（微阵列实验的最小信息）和MINSEQE（测序实验的最小信息）指南。
  3. 数据公开与访问：所有数据对公众开放，且无使用限制。
  4. 实验因子本体（EFO）：使用EFO对实验变量进行系统描述，确保数据的标准化和可重复性。
  5. 数据量与增长：ArrayExpress的数据量庞大且持续增长，是功能基因组学研究的重要资源。

ArrayExpress与GEO数据库的比较

数据存储与管理
  • ArrayExpress：数据存储结构复杂，包含超过200个独特的表格，用于处理各种输入数据格式。它强调数据的标准化和校对，以确保数据质量。
  • GEO（Gene Expression Omnibus）：由NCBI维护，是另一个主要的公共基因表达数据库。GEO的数据存储结构相对简单，更注重数据的快速提交和访问。
数据提交与校对
  • ArrayExpress：通过Annotare工具进行数据提交，提交过程包括验证和校对步骤，以确保数据符合社区标准。
  • GEO：数据提交相对简单，但也支持数据的校对和标准化，以提高数据质量。
数据访问与分析
  • ArrayExpress：提供丰富的元数据和实验描述，支持复杂查询和数据检索。
  • GEO：提供用户友好的界面，支持多种数据检索和分析工具。
数据标准化与社区标准
  • ArrayExpress：是第一个支持MAGE-ML（MicroArray Gene Expression Markup Language）导入和导出的数据库，也是第一个符合MIAME标准的数据库。
  • GEO：也支持多种数据格式和社区标准，但在数据标准化方面相对ArrayExpress略显不足。
数据整合与跨研究分析
  • ArrayExpress：虽然不是为跨研究整合设计的，但提供了丰富的元数据，便于研究人员进行数据整合。
  • GEO：同样支持跨研究分析，但需要额外的元数据标准化和处理。

总结

ArrayExpress和GEO都是功能基因组学研究的重要资源，但它们在数据存储、提交、校对、访问和标准化方面存在一些差异。ArrayExpress在数据标准化和校对方面更为严格，而GEO则在数据提交和访问方面更为便捷。研究人员可以根据自己的需求选择合适的数据库进行数据存储和分析。

数据下载

我们以下面这篇文献中的数据为例：《Single-cell transcriptomics reveals cellularheterogeneity and molecular stratificationof cervical cancer》，单细胞数据编号为 E-MTAB-11948：

Single-cell RNA sequencing gene expression data generated in this study has been deposited in the ArrayExpress database with accession of E-MTAB-11948. Any other data are available from the corresponding author on reasonable request. Software and resources used for analysis and plotting are described in each method section.

1、检索数据，得到以下页面

点击 Download all files 按钮：

2、得到下载命令

这里数据库给了三个平台的下载方式，我这里选择使用服务器进行下载，选择如下：

得到下载命令文件 E-MTAB-11948-unix-aspera.sh，文件内容如下：

代码语言：javascript
代码运行次数：0
复制
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/Sample4.csv" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample4features.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample1features.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/Sample5.csv" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/Sample3.csv" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample1matrix.mtx.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample3features.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/Sample6.csv" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample2barcodes.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample5features.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample3barcodes.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample5matrix.mtx.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/Sample2.csv" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample4barcodes.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample4matrix.mtx.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/Sample1.csv" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample5barcodes.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample1barcodes.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample6matrix.mtx.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample3matrix.mtx.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample6features.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample2features.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample2matrix.mtx.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/sample6barcodes.tsv.gz" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/E-MTAB-11948.idf.txt" ./
ascp -P33001 -i "C:/aspera/cli/etc/asperaweb_id_dsa.openssh" --host=fasp.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/E-MTAB-11948.sdrf.txt" ./

3、bash下载

上面的命令我们还需要简单的修改一下，主要是修改其中的 aspera秘钥文件的路径：C:/aspera/cli/etc/asperaweb_id_dsa.openssh

服务器上的秘钥路径：

代码语言：javascript
代码运行次数：0
复制
# 安装了aspera的conda 环境rna
conda activate rna

# 查找路径
find /nas2/zhangj/biosoft/miniconda3/envs/rna/ -name '*asperaweb_id_dsa.openssh'
# /nas2/zhangj/biosoft/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh

# 批量替换上面的
sed -i 's#C:/aspera/cli/etc/asperaweb_id_dsa.openssh#/nas2/zhangj/biosoft/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh#g' E-MTAB-11948-unix-aspera.sh

测试一个看看，哈报错了：

代码语言：javascript
代码运行次数：0
复制
ascp -vQT -l 500m -k 1 -P33001 -i "/nas2/zhangj/biosoft/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh" --host=fasp-beta.ebi.ac.uk --user=bsaspera --mode=recv  "fire/E-MTAB-/948/E-MTAB-11948/Files/Sample4.csv" ./
ascp: failed to authenticate, exiting.

Session Stop  (Error: failed to authenticate)

搜索一番后，貌似没有啥解决方案，试试ftp下载吧

得到每个文件的ftp下载链接：

https://ftp.ebi.ac.uk/biostudies/fire/E-MTAB-/948/E-MTAB-11948/Files/E-MTAB-11948.sdrf.txt

发现这里面的ftp地址无效！晕死！

代码语言：javascript
代码运行次数：0
复制
wget ftp://ftp.ebi.ac.uk/pub/databases/microarray/data/experiment/MTAB/E-MTAB-11948/E-MTAB-11948.processed.9.zip
--2025-02-04 22:31:02--  ftp://ftp.ebi.ac.uk/pub/databases/microarray/data/experiment/MTAB/E-MTAB-11948/E-MTAB-11948.processed.9.zip
           => “E-MTAB-11948.processed.9.zip”
正在解析主机 ftp.ebi.ac.uk (ftp.ebi.ac.uk)... 193.62.193.165
正在连接 ftp.ebi.ac.uk (ftp.ebi.ac.uk)|193.62.193.165|:21... 已连接。
正在以 anonymous 登录 ... 登录成功！
==> SYST ... 完成。   ==> PWD ... 完成。
==> TYPE I ... 完成。 ==> CWD (1) /pub/databases/microarray/data/experiment/MTAB/E-MTAB-11948 ...
目录 “pub/databases/microarray/data/experiment/MTAB/E-MTAB-11948” 不存在。

从这里获取文件下载地址吧：https://ftp.ebi.ac.uk/biostudies/fire/E-MTAB-/948/E-MTAB-11948/Files/，

地址规则为 ：https://ftp.ebi.ac.uk/biostudies/fire/E-MTAB-/948/E-MTAB-11948/Files/ + 文件名字，如 https://ftp.ebi.ac.uk/biostudies/fire/E-MTAB-/948/E-MTAB-11948/Files/sample1barcodes.tsv.gz。

得到下载链接文件名：

代码语言：javascript
代码运行次数：0
复制
conda activate rna
# 安装一个 lftp 软件
wget -c https://ftp.ebi.ac.uk/biostudies/fire/E-MTAB-/948/E-MTAB-11948/Files/E-MTAB-11948.sdrf.txt

# 拿到样本文件名
less -S E-MTAB-11948.sdrf.txt  |head -n 1 |tr '\t' '\n' |cat -n |grep 'Derived Array Data File'
# 45 Derived Array Data File
# 48 Derived Array Data File
# 51 Derived Array Data File
# 54 Derived Array Data File

# 得到上面那些列
less -S E-MTAB-11948.sdrf.txt  |cut -f 45,48,51,54 |sed '1d' | tr '\t' '\n' >file.txt

保存在文件 file.txt 中：

代码语言：javascript
代码运行次数：0
复制
sample1barcodes.tsv.gz
sample1features.tsv.gz
sample1matrix.mtx.gz
Sample1.csv
sample2barcodes.tsv.gz
sample2features.tsv.gz
sample2matrix.mtx.gz
Sample2.csv
sample3barcodes.tsv.gz
sample3features.tsv.gz
sample3matrix.mtx.gz
Sample3.csv
sample4barcodes.tsv.gz
sample4features.tsv.gz
sample4matrix.mtx.gz
Sample4.csv
sample5barcodes.tsv.gz
sample5features.tsv.gz
sample5matrix.mtx.gz
Sample5.csv
sample6barcodes.tsv.gz
sample6features.tsv.gz
sample6matrix.mtx.gz
Sample6.csv

下载：

代码语言：javascript
代码运行次数：0
复制
cat  file.txt |while read id
do
  echo "axel -n 100  https://ftp.ebi.ac.uk/biostudies/fire/E-MTAB-/948/E-MTAB-11948/Files/$id"
done >down.sh

bash down.sh
真是曲折啊！后面看看为啥aspera为啥下不了吧！
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2025-02-04，如有侵权请联系 cloudcommunity@tencent.com 删除
openssh
数据
数据存储
数据库
cli

本文分享自 生信技能树 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

openssh
数据
数据存储
数据库
cli
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
目录
  • arrayexpress 数据库的官网为：https://www.ebi.ac.uk/biostudies/arrayexpress
  • 首先，让人工智能大模型给我们介绍一下arrayexpress数据库
    • ArrayExpress数据库简介
      • 主要特点
    • ArrayExpress与GEO数据库的比较
      • 数据存储与管理
      • 数据提交与校对
      • 数据访问与分析
      • 数据标准化与社区标准
      • 数据整合与跨研究分析
    • 总结
  • 数据下载
    • 1、检索数据，得到以下页面
    • 2、得到下载命令
    • 3、bash下载
  • 搜索一番后，貌似没有啥解决方案，试试ftp下载吧
    • 真是曲折啊！后面看看为啥aspera为啥下不了吧！
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2025 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论