fq-compressor · FQC v2 设计笔记

FASTQ 每条记录有四个字段：标识符（ID + 注释）、序列、+ 分隔行、质量值。 其中 + 行不携带信息，直接丢弃；其余三个字段按列式分离编码为三条独立字节流，各自用 Zstd level 1 压缩后写入帧。

Columnar Separation总体思路：列式分离

图 2 · FASTQ 行式记录 → 三路列式字节流 → 各自 Zstd level 1

为什么列式分离

FASTQ 是行式格式——四个字段交替出现。但同一字段在不同记录之间有更强的统计相关性：

• ID 共享仪器名、泳道号、坐标前缀（如 @M00123:45:000000000-ABCDE:1:1101:12345:1234），前缀重复率极高。
• 序列 的碱基分布和 k-mer 频率在同类数据中高度一致。
• 质量值 的分布由测序化学决定，同一 run 内模式相似。

把三个字段分开，Zstd 的滑动窗口里全是同类数据，字典匹配效率远高于行式交错——这是压缩比的主要来源之一。

为什么选 Zstd level 1

• 压缩 ~53 MiB/s，解压 ~182 MiB/s（150 bp 随机合成数据）。
• 相比 level 3–5，压缩比损失通常在 2–5%，但速度快 2–3 倍。
• 列式分离后冗余已大幅降低，更高级别的边际收益递减。

2-bit Packing序列编码：2-bit 打包

这是压缩比贡献最大的单步操作。大写 A/C/G/T 占绝大多数（Illumina 数据通常 >99%），四个碱基各用 2 bit 表示，4 个碱基打包进 1 字节，LSB 优先：

碱基 → 2-bit 值:  A=0  C=1  G=2  T=3

序列 "ACGTACGT" 的打包结果:
  字节 0: A(00) C(01) G(10) T(11) → 0b11_10_01_00 = 0xE4
  字节 1: A(00) C(01) G(10) T(11) → 0xE4

打包后大小 = ⌈序列长度 / 4⌉ 字节

原始 FASTQ 中每个碱基占 1 字节（8 bit），打包后占 2 bit，序列部分直接 4:1 压缩——在 Zstd 之前就已经完成。

IUPAC Exceptions异常碱基处理

不是所有碱基都是大写 A/C/G/T。IUPAC 字母表还包括小写碱基 a c g t（软掩码，大小写有语义，必须保留）和简并碱基 R Y S W K M B D H V N。这些碱基无法用 2 bit 表示，按异常列表编码：

varint(异常数量)
对每个异常:
  varint(位置增量)   ← 第一个是绝对位置，后续是相对前一个异常的间距
  1 字节原始 ASCII   ← 保留原始字符，大小写不丢失

打包时，异常位置的 2-bit 槽填 0（即 A），解码时先展开 2-bit 序列，再用异常列表覆写对应位置。

• 对 Illumina 短读长，异常列表通常为空（只有 varint(0) 一个字节），开销几乎为零。
• 对长读长（ONT / PacBio），小写和简并碱基可能较多，增量编码避免为每个异常分配独立对象——v2 用一趟打包 + 一趟定位遍历解决。
• 解码侧会重新校验每个异常字节是否为合法 IUPAC 字符，拒绝非法输入。

Quality & ID质量值与 ID 流

质量值：最简策略——直通

varint(记录数)
对每条记录:
  varint(质量值长度) + 原始 ASCII 字节   ← Phred+33，不做 delta / 游程 / 分箱 / 有损量化

不做专门编码的原因：

1. 无损是硬约束。质量值承载变异检测的统计权重，任何有损变换都会改变下游分析结果。
2. Zstd 已经够用。字母表只有 ~94 个可打印 ASCII 字符（! 到 ~），且同一 run 内分布模式重复。
3. 专用编解码器尚未通过准入门槛。还没有哪个专门的质量值编解码器能在足够大的真实语料上同时通过体积和吞吐量测试。

ID 流

varint(记录数)
对每条记录:
  varint(id 长度) + id 字节 + varint(注释长度) + 注释字节

ID 和注释分开存储（FASTQ 头行以第一个空格分割），因为：解压时需要精确重建 @{id}[ {comment}] 格式；ID 部分的重复前缀是 Zstd 字典匹配的主要收益来源。

Checksum & Varint校验与 varint 编码

三层 XXH64 校验的完整说明见格式设计 · 完整性。链式计算顺序： XXH64(质量值流, XXH64(序列流, XXH64(ID流, 0)))；footer 把每帧 8 字节校验和依次喂入全局 XXH64。

所有长度、计数、位置增量均使用 LEB128 风格的无符号 varint：

• 每字节 7 bit 有效载荷，最高位为续传标志。
• 最多 10 字节（64 bit），解码时检查 shift == 63 溢出。
• 小值（<128）只占 1 字节，对短读长的长度字段和空异常列表非常友好。

End-to-end端到端压缩比分析

以 150 bp Illumina 随机合成数据为例（实测压缩比 ~2.95×）：

Trade-offs设计取舍