序列深度学习

快速概览

生物序列本质上是离散符号的线性排列。深度学习通过将这些符号转化为连续的数值嵌入（Embeddings），利用卷积、递归和注意力机制，捕获隐藏在碱基序列背后的复杂生物学规律。

• 理解从离散字符串到连续向量空间的表示转换（One-hot, k-mer Embedding）
• 掌握三大核心架构的归纳偏置：CNN 捕获局部 Motif，RNN 处理时序依赖，Transformer 建模长程相互作用
• 建立从 Profile HMM 到神经序列模型的演进直觉
• 认识"迁移学习"如何解决生物学标注数据稀缺的问题

前置知识

• Profile HMM
• 序列与字符串
• Motif 寻找

是什么

序列深度学习（Deep Learning for Sequences）是将深度神经网络应用于生物序列（DNA、RNA、蛋白质）分析的方法体系。它通过将离散的碱基/氨基酸符号转化为连续的数值向量（Embeddings），利用神经网络自动提取序列特征，从而实现功能预测、结构推断和生成建模等任务。

与传统生物信息学方法依赖手工设计的特征（如 k-mer 频率、序列保守性评分）不同，深度学习试图让模型自动从数据中"学到"哪些特征是重要的。这一思路的转变，在蛋白质结构预测（AlphaFold）等领域已经产生了革命性的影响。

为什么重要

传统生物信息学方法在以下场景中面临瓶颈：

• 特征工程困难：很多生物学问题（如蛋白质-DNA 结合特异性）涉及复杂的非线性交互，难以用手工特征充分描述；
• 高维稀疏数据：序列空间极其庞大（如蛋白质的 20 种氨基酸组成的序列空间），传统统计方法在高维下容易过拟合；
• 跨任务迁移困难：不同预测任务（如结合位点预测 vs. 结构预测）需要重新设计特征和模型。

深度学习通过端到端的学习框架，将特征提取和预测合二为一，缓解了上述问题。尤其是在蛋白质结构预测领域，AlphaFold2 将几十年的"蛋白质折叠问题"推进到了接近实验精度的高度，充分展示了深度学习在生物序列分析中的潜力。

核心概念

1. 演进：从 Profile HMM 到神经网络

在Profile HMM中，我们通过状态转移（M/I/D）来刻画序列家族。神经网络可以看作是这种概率模型的非线性、高维扩展：

• Profile HMM：使用显式状态和线性转换，解释性强，但难以捕获非线性的长程依赖。状态空间是手工设计的（匹配、插入、删除），灵活性有限。
• 神经网络：通过隐藏层提取特征，虽然解释性较弱（黑盒），但能通过多层嵌套识别极其复杂的变异模式和结构约束。每一层都可以看作是对输入的一种非线性变换。

关键区别：

| 维度 | Profile HMM | 神经网络 | | :--- | :--- | :--- | | 特征提取 | 手工设计（PAM/BLOSUM 矩阵） | 自动学习 | | 非线性建模 | 能力有限 | 多层非线性变换 | | 长程依赖 | 需要显式建模 | Transformer 天然支持 | | 可解释性 | 高（状态含义明确） | 低（黑盒） | | 数据需求 | 较少 | 较多 | | 训练方式 | EM 算法 | 梯度下降 |

2. 序列的数值化表示

机器学习模型无法直接读入字符串，必须进行编码。选择合适的编码方式，是序列深度学习的第一步，也是影响模型性能的关键因素。

One-hot 编码

将 A, C, G, T 映射为互相正交的 4 维向量。优点是简单无损，缺点是无法表达碱基间的生化相似性（如 A 和 G 同为嘌呤）。

k-mer 嵌入（Embedding）

模仿 NLP 中的词向量。将序列切分为重叠的 k-mers（如 3-mer），学习每个 k-mer 在高维空间中的稠密表示。DNA 中 k=3 时有 64 种 3-mer，蛋白质中 k=1 就有 20 种氨基酸。

物理化学编码

直接输入氨基酸的电荷、疏水性、分子量等特征，将领域知识融入模型。

预训练嵌入

使用大规模无标注序列预训练得到的嵌入向量（如 ESM、ProtBERT），已经编码了进化信息和结构约束。

One-hot 编码示例：

$$\text{A} = [1, 0, 0, 0], \quad \text{C} = [0, 1, 0, 0], \quad \text{G} = [0, 0, 1, 0], \quad \text{T} = [0, 0, 0, 1]$$

对于长度为 $L$ 的序列，One-hot 编码产生一个 $L \times 4$ 的矩阵（DNA）或 $L \times 20$ 的矩阵（蛋白质）。

k-mer 嵌入的优势：与 One-hot 不同，k-mer 嵌入可以在向量空间中捕获相似性。例如，"ACG"和"AGG"在嵌入空间中应该比"ACG"和"TTT"更接近，因为前者只有一个碱基不同。

3. 架构选择与归纳偏置（Inductive Bias）

选择哪种神经网络架构取决于我们要解决的生物学问题。不同的架构具有不同的归纳偏置（Inductive Bias），即模型在训练前就内置的关于数据结构的假设。

| 架构 | 核心偏置 | 擅长领域 | 示例应用 | | :--- | :--- | :--- | :--- | | CNN | 局部性、平移不变性 | 识别短模式（Motif） | 转录因子结合位点识别（DeepBind）、剪接位点预测 | | RNN/LSTM | 时序依赖、变长处理 | 处理具有序列逻辑的过程 | 基因结构标注、RNA 剪接预测、蛋白质二级结构预测 | | Transformer | 全局注意力（Attention） | 捕获残基间的长程相互作用 | 蛋白质结构预测（AlphaFold）、大语言模型（ESM） |

CNN：局部模式识别器

卷积神经网络（Convolutional Neural Network, CNN）通过滑动卷积核（convolutional filter）在序列上扫描，检测局部模式。在生物序列中，这些局部模式通常对应于序列 Motif（如转录因子结合位点）。

CNN 的优势：

• 平移不变性：同一个 Motif 出现在序列的不同位置，CNN 能用同一组参数检测；
• 参数共享：相比于全连接网络，CNN 的参数量大幅减少；
• 层次化特征提取：浅层卷积核检测简单模式（如单个碱基偏好），深层卷积核检测复杂模式（如组合 Motif）。

典型应用：DeepBind（预测蛋白质-RNA/DNA 结合特异性）、Basset（预测染色质可及性）。

RNN/LSTM：从局部到上下文的过渡架构

与 CNN 的局部扫描不同，许多生物序列问题需要上下文才能判断：基因预测要知道上游阅读框，剪接位点识别要理解分支点与共识序列的相对位置。循环神经网络（Recurrent Neural Network, RNN）为此而生——它维护一个隐状态（hidden state）在序列上逐步传递信息：

$$h_t = \sigma(W_{hh} h_{t-1} + W_{xh} x_t + b_h)$$

隐状态 $h_t$ 相当于边读序列边积累的"记忆"。但标准 RNN 在长序列上会梯度消失：随时间步增加，早期输入的影响指数衰减，而基因可长达数千碱基、调控元件可位于数 kb 之外，长程依赖恰恰是刚需。

长短期记忆网络（Long Short-Term Memory, LSTM）用门控机制解决这一问题。它引入细胞状态 $C_t$ 作为信息主干道，由三个门选择性读写：

$$f_t = \sigma(W_f [h_{t-1}, x_t] + b_f) \quad \text{（遗忘门）}$$ $$i_t = \sigma(W_i [h_{t-1}, x_t] + b_i), \quad \tilde{C}_t = \tanh(W_C [h_{t-1}, x_t] + b_C) \quad \text{（输入门）}$$ $$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \quad \text{（细胞状态更新）}$$ $$o_t = \sigma(W_o [h_{t-1}, x_t] + b_o), \quad h_t = o_t \odot \tanh(C_t) \quad \text{（输出门）}$$

其中 $\odot$ 为逐元素乘法。遗忘门决定丢弃什么旧信息、输入门决定记录什么新信息、输出门决定基于当前记忆输出什么。细胞状态可以近乎无损地跨多步传递，使 LSTM 在数千时间步后仍能保留关键信息。GRU（Gated Recurrent Unit） 是简化版，合并遗忘门与输入门为单一更新门，参数更少、计算更快，效果常与 LSTM 相当。

优势：天然适合变长序列与逐步决策任务（如逐碱基标注）；代表性应用包括 DeepGene（基因预测）、SpliceAI（剪接预测，亦用 CNN）、DanQ（CNN+RNN 染色质可及性预测）。

局限（为何是"过渡"架构）：序列必须逐步处理、无法并行，训练慢；实践中长程依赖仍受限（约 100–500 步）。这些局限正是 Transformer 用全局注意力一并解决的——因此 RNN/LSTM 如今多被视为从 CNN 到 Transformer 的过渡性架构（见下文）。

Transformer：全局注意力革命

Transformer 架构通过自注意力机制（Self-Attention）实现了对序列中所有位置的同时访问，彻底解决了长程依赖问题。

自注意力的核心计算：

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V$$

其中 $Q$（Query）、$K$（Key）、$V$（Value）分别是输入序列的线性变换，$d_k$ 是 Key 的维度。

Transformer 在生物序列中的突破：

• AlphaFold2：使用 Evoformer 架构（基于 Transformer），通过多序列比对（MSA）中的进化信息预测蛋白质三维结构，达到了接近实验精度（CASP14 中 GDT 分数 > 90）；
• ESM (Evolutionary Scale Modeling)：Meta AI 基于大规模蛋白质序列预训练的 Transformer 模型，嵌入向量已编码进化约束和结构信息；
• Enformer：DeepMind 用于预测基因表达调控的 Transformer 模型，能建模长达 200 kb 的序列。

4. 迁移学习：数据稀缺的解药

生物学中最大的挑战是：已知序列多，标注数据（如功能实验）少。迁移学习（Transfer Learning）是解决这一矛盾的核心策略。

• 预训练（Pre-training）：在海量无标注序列上进行自监督学习（如掩码语言建模 Masked Language Modeling），让模型学习序列的"通用文法"。例如，ESM-2 在超过 2.5 亿条蛋白质序列上预训练，学习了蛋白质序列的进化约束和结构偏好。
• 微调（Fine-tuning）：在特定的、小规模的标注实验数据上对模型进行二次训练。预训练模型已经具备了丰富的序列表示能力，微调只需要少量标注数据就能达到很好的效果。

自监督预训练的常见任务：

| 预训练任务 | 思想 | 代表模型 | | :--- | :--- | :--- | | 掩码语言建模（MLM） | 随机遮盖部分位置，预测被遮盖的字符 | ESM, ProtBERT | | 下一个词预测（CLM） | 给定前缀，预测下一个氨基酸/碱基 | ProtGPT2 | | 对比学习 | 通过数据增强构造正负样本对，学习区分性表示 | MSA Transformer | | 结构预测辅助 | 同时预测序列和结构，结构作为额外监督信号 | AlphaFold |

迁移学习在生物信息学中的实际效果：

• 在蛋白质功能预测任务中，使用 ESM 预训练嵌入微调后，仅需原始标注数据量的 10-20% 就能达到同等效果；
• 在非编码变异效应预测中，基于预训练模型的准确率显著超过基于手工特征的方法。

应用场景

序列深度学习在以下领域已经展现出显著优势：

• 蛋白质结构预测：AlphaFold2 将 CASP 竞赛的预测精度从约 40 GDT 提升到 >90 GDT；
• 基因调控预测：Enformer、Basenji 等模型能从 DNA 序列预测基因表达水平、染色质状态和转录因子结合；
• 变异效应预测：从 CADD 到基于 Transformer 的模型，预测单核苷酸变异（SNV）对蛋白质功能或基因调控的影响；
• 蛋白质设计：利用预训练语言模型生成具有目标属性的全新蛋白质序列；
• 宏基因组分析：对宏基因组 contigs 进行功能注释和分类。

常见误区

• "深度学习不需要生物学知识"：虽然模型能自动提取特征，但好的特征编码（如物理化学性质）、合理的任务定义和正确的评估指标都需要领域知识。领域知识也帮助判断模型结果是否合理。
• "预训练模型开箱即用"：预训练模型的嵌入在不同任务上的效果差异很大。某些任务（如远缘同源检测）可能需要重新训练或设计特定的微调策略。
• "模型越大越好"：更大的模型确实通常效果更好，但计算成本和部署难度也大幅增加。在很多实际场景中，一个经过良好微调的小模型可能比一个未经优化的超大模型更实用。
• "深度学习能解决所有问题"：深度学习在数据量充足、模式可学习的问题上表现优异。但对于样本量极小、机制明确的任务（如简单的酶活性预测），传统方法可能更高效且更可解释。
• 忽视序列的特殊性：生物序列与自然语言有本质区别：碱基/氨基酸不是任意的符号，它们具有明确的物理化学性质和进化约束。直接套用 NLP 的模型设计而不考虑这些特殊性，可能不是最优策略。

相关页面

CNN 与 Motif 识别

卷积神经网络在序列中的应用

延伸阅读

Transformer 与蛋白质模型

注意力机制的革命

延伸阅读

嵌入与语言模型

自监督学习的原理

延伸阅读

Profile HMM

传统概率序列模型

延伸阅读

Motif 寻找

序列模式识别的经典问题

延伸阅读