curl/wget下载技巧：断点续传、API交互、批量下载

1
# 基础断点续传
2
wget -c https://ftp.ensembl.org/pub/release-113/fasta/homo_sapiens/dna/Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz
3

4
# -c = --continue，检测本地已有部分，从断点继续
5
# 如果你的网络不稳定，养成加 -c 的习惯

1
# 后台下载，日志写到 wget-log
2
wget -b -c -o download.log https://example.com/huge.fastq.gz
3

4
# -b = --background，立刻返回终端
5
# -o 指定日志文件（注意小写 -o 是日志，-O 是输出文件名）
6
# tail -f download.log 可以实时查看进度

1
# 限速 5MB/s，不影响实验室其他人
2
wget -c --limit-rate=5m https://example.com/large.bam
3

4
# 单位：k=KB/s, m=MB/s
5
# 建议白天 2-5m，晚上适当放开

1
# 递归下载 Ensembl 某个物种的所有 FASTA
2
wget -r -np -nH --cut-dirs=3 -A "*.fa.gz" \
3
    ftp://ftp.ensembl.org/pub/release-113/fasta/homo_sapiens/dna/
4

5
# 参数拆解：
6
# -r        → 递归下载
7
# -np       → 不追溯父目录
8
# -nH       → 不创建主机名目录
9
# --cut-dirs=3 → 跳过前3级目录
10
# -A "*.fa.gz" → 只下载 .fa.gz 文件

1
# 先侦查
2
wget --spider -r -np ftp://ftp.ensembl.org/pub/release-113/fasta/homo_sapiens/dna/ 2>&1 | grep '^--'

1
# urls.txt 每行一个URL
2
cat > urls.txt << 'EOF'
3
https://example.com/sample1_R1.fastq.gz
4
https://example.com/sample1_R2.fastq.gz
5
https://example.com/sample2_R1.fastq.gz
6
https://example.com/sample2_R2.fastq.gz
7
EOF
8

9
# 批量下载
10
wget -c -i urls.txt
11

12
# -i = --input-file，从文件读取URL列表
13
# 结合 -c 实现批量断点续传

1
# 最多重试20次，每次间隔30秒
2
wget -c -t 20 --retry-connrefused --waitretry=30 \
3
    https://unstable-server.example.com/data.fastq.gz
4

5
# -t 20              → 重试20次（0或inf=无限）
6
# --retry-connrefused → 连接被拒也重试
7
# --waitretry=30      → 重试等待30秒

1
# curl 默认输出到 stdout，需要用 -o 指定输出文件
2
curl -o genome.fa.gz https://ftp.ensembl.org/pub/release-113/fasta/homo_sapiens/dna/Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz
3

4
# -O（大写）使用远程文件名
5
curl -O https://example.com/file.fastq.gz
6

7
# 断点续传用 -C -
8
curl -C - -O https://example.com/huge.fastq.gz
9
# -C - 自动检测已有大小并从断点续传

1
# 1. 搜索 GEO 数据集
2
curl -s "https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esearch.fcgi?db=gds&term=RNA-seq+human+liver&retmax=5" \
3
    | grep '<Id>' | sed 's/<[^>]*>//g' | tr -d ' '
4

5
# 2. 获取 SRA Run 信息
6
curl -s "https://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=sra&id=SRR12345678&rettype=runinfo&retmode=text"
7

8
# 3. 获取 FASTQ 下载链接（ENA API）
9
curl -s "https://www.ebi.ac.uk/ena/portal/api/filereport?accession=SRR12345678&result=read_run&fields=fastq_ftp,fastq_aspera&format=tsv"
10

11
# -s = --silent，隐藏进度条，适合管道处理

1
# NCBI Batch Entrez 用 POST 提交多个 ID
2
curl -s -X POST \
3
    -d "id=NM_001301717, NM_001301718&db=nuccore&rettype=fasta&retmode=text" \
4
    "https://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi" \
5
    -o sequences.fasta
6

7
# -X POST      → 指定POST方法
8
# -d "..."     → POST数据体

1
# 有些服务器需要特定的 User-Agent
2
curl -H "User-Agent: Mozilla/5.0" \
3
    -H "Accept: application/json" \
4
    -o data.json \
5
    https://api.example.com/v1/datasets
6

7
# -H 添加自定义请求头，可多次使用

1
# 1. 保存 Cookie
2
curl -c cookies.txt -d "username=xxx&password=yyy" \
3
    https://example.com/login
4

5
# 2. 用 Cookie 下载需要登录的文件
6
curl -b cookies.txt -o private_data.tar.gz \
7
    https://example.com/protected/download
8

9
# -c 保存cookie，-b 加载cookie

1
# -v 输出完整请求/响应头
2
curl -v https://api.example.com/data 2>&1 | head -30
3

4
# -I 只获取响应头（不下载内容）
5
curl -I https://ftp.ensembl.org/pub/release-113/fasta/homo_sapiens/dna/Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz
6
# 输出 Content-Length 等信息，提前知道文件大小
7

8
# -w 输出格式化信息
9
curl -s -o /dev/null -w "HTTP Status: %{http_code}\nSize: %{size_download}\nTime: %{time_total}s\n" \
10
    https://ftp.ensembl.org/pub/release-113/fasta/homo_sapiens/dna/Homo_sapiens.GRCh38.dna.primary_assembly.fa.gz

1
# 限速 5MB/s，超时 300 秒
2
curl --limit-rate 5M --max-time 300 -C - -O https://example.com/huge.fastq.gz
3

4
# --max-time      → 整个操作的总超时时间
5
# --connect-timeout → 连接阶段的超时（默认可能很长）