jq与csvkit：JSON/CSV数据处理

1
sudo apt install jq -y
2
jq --version
3
# jq-1.7.1

1
# 美化输出
2
curl -s "https://rest.ensembl.org/lookup/id/ENSG00000139618?expand=1" \
3
    -H "Content-Type: application/json" | jq '.'
4
# 彩色、缩进、一目了然

1
# 提取多个字段并输出为 TSV（生信最常用操作）
2
jq -r '.[] | [.sample, .condition, .reads] | @tsv' samples.json
3
# -r = raw output（不加引号）
4
# @tsv 把数组转为 tab 分隔
5

6
# 加表头
7
echo -e "sample\tcondition\treads"
8
jq -r '.[] | [.sample, .condition, .reads] | @tsv' samples.json

1
# 查询基因 BRCA2 的信息
2
curl -s "https://rest.ensembl.org/lookup/symbol/homo_sapiens/BRCA2?expand=1" \
3
    -H "Content-Type: application/json" \
4
    | jq '{id: .id, name: .display_name, chr: .seq_region_name, start: .start, end: .end, strand: .strand}'

1
# NCBI esummary 返回的 JSON 结构复杂
2
# 直接用 jq 层层深入
3
curl -s "https://eutils.ncbi.nlm.nih.gov/entrez/eutils/esummary.fcgi?db=nuccore&id=NM_000059&retmode=json" \
4
    | jq '.result.uids[] as $uid | .result[$uid] | { accession: .accessionversion, title: .title, length: .slen }'

1
# 使用变量
2
jq --arg cond "treated" '.[] | select(.condition == $cond)' samples.json
3

4
# 自定义函数
5
jq 'def mb: . / 1000000; .[] | {sample: .sample, reads_m: (.reads | mb)}' samples.json

1
# 通过 pip 安装（推荐在 conda 环境里）
2
pip install csvkit
3
# 或用 conda
4
conda install -c conda-forge csvkit

1
# 用 csvlook 美美地看 TSV/CSV
2
cat clinical_data.tsv | csvlook -t
3
# -t 指定 tab 分隔
4

5
# 只显示前10行（和 | head 类似但保留表头）
6
csvlook -t clinical_data.tsv | head -11

1
# 查看所有列名（生信里元数据表经常几十列）
2
csvcut -n clinical_data.tsv
3

4
# 只保留指定列
5
csvcut -c sample_id,condition,age,gender clinical_data.tsv | csvlook
6

7
# 按列号选择（第1、3、5列）
8
csvcut -c 1,3,5 clinical_data.tsv
9

10
# 排除某些列
11
csvcut -C patient_notes,raw_data_path clinical_data.tsv
12
# -C = 排除这些列

1
# 筛选 condition 列等于 "tumor" 的行
2
csvgrep -t -c condition -m "tumor" clinical_data.tsv | csvlook
3

4
# -c 指定列名
5
# -m 匹配模式（支持正则）
6
# -i 反转（排除匹配的行）
7

8
# 正则筛选：样本名以 S 开头后跟数字
9
csvgrep -t -c sample_id -r "^S[0-9]+$" clinical_data.tsv
10

11
# 筛选年龄大于 50 的（需要结合其他工具）
12
# csvgrep 本身不支持数值比较，可以：
13
cat clinical_data.tsv | awk -F'\t' 'NR==1 || $4>50' | csvlook

1
# 按 reads 数量降序排列
2
csvsort -t -c reads_count -r sample_stats.tsv | csvlook
3
# -r = reverse（降序）
4

5
# 多列排序：先按condition，再按age
6
csvsort -t -c condition,age sample_stats.tsv | csvlook

1
# 一键生成各列统计摘要
2
csvstat -t sample_stats.tsv
3

4
# 输出示例：
5
#   1. "sample_id"
6
#     Type: Text
7
#     Unique values: 48
8
#   2. "reads_count"
9
#     Type: Number
10
#     Min: 12,345,678
11
#     Max: 89,012,345
12
#     Mean: 45,234,567
13
#     Median: 44,100,000
14
#     Std Dev: 15,234,567

1
# 类似 SQL 的 LEFT JOIN
2
# sample_meta.tsv: sample_id, condition, batch
3
# sample_qc.tsv:    sample_id, total_reads, q30_rate
4

5
csvjoin -t -c sample_id sample_meta.tsv sample_qc.tsv | csvlook -t
6

7
# 等价于：
8
# SELECT * FROM sample_meta LEFT JOIN sample_qc ON sample_meta.sample_id = sample_qc.sample_id

1
# 纵向拼接（行追加）
2
# batch1_samples.tsv + batch2_samples.tsv → all_samples.tsv
3
csvstack -t batch1_samples.tsv batch2_samples.tsv > all_samples.tsv
4

5
# 如果列不完全一致，用 --filenames 标记来源
6
csvstack --filenames -t data/part_*.tsv > merged.tsv