GPT 原理解析

GPT(Generative Pre-Training)是一个典型的两阶段式模型:无监督预训练+监督下游任务微调。而在 NLP 任务中,上游的无监督预训练任务多半采用语言模型来实现,下游的监督任务直接对上游的模型进行简单改造即可使用。
GPT 为了能够有效的抓取文本中的语义信息,使用了单向的 Transformer Decoder 模块构建标准的语言模型,再使用预训练得到的网络架构与参数进行下游监督任务的微调,取得了不错的效果。
论文:Improving Language Understanding by Generative Pre-Training

模型架构

无监督预训练语言模型

对于语料 $\mathcal{U}=\left(u_{1}, \dots, u_{n}\right)$,GPT 构建标准的语言模型:

文章中使用 Transformer Decoder 模块加上前馈神经网络,最后使用 softmax 输出目标词的分布:

注:(不确定部分)实验中,语言模型中的 Transformer Decoder 模块不同于标准的 Transformer 模型,而是使用了 Transformer 的另一个版本:GENERATING WIKIPEDIA BY SUMMARIZING LONG SEQUENCES。其中,使用了名为 Local attention 和 Memory-compressed attention 的模块。

下游监督任务微调

对于通过第一阶段的预训练得到的语言模型,对于特定的任务进行 fine-tuning。
对于一个监督数据集 $\mathcal{C}$,其中的数据为一个序列 $x^{1}, \ldots, x^{m}$ 和一个标签 $y$。将序列输入预训练模型后得到输出向量为 $h_{l}^{m}$,接着使用一个线性层来预测标签:

需极大化的似然函数为:

另外,作者发现,使用语言模型来辅助监督学习的任务进行微调,有两个好处:

  1. 提升监督模型的泛化性;
  2. 加速收敛。

所以,最终下游使用的监督模型目标函数为:

不同类型下游任务的输入变换

GPT 使用两阶段式模型的另外一个好处是,作者期望通过第一阶段的预训练语言模型,学习到尽可能多的自然语言信息,且对于大多数下游任务,只需要简单的修改输入而不需要修改模型架构即可完成微调。对于 NLP 中的几种主流任务,GPT 分别做了如下的变换策略:

其他

模型还包括一些细节:

模型特点

优点

  • 特征抽取器使用了强大的 Transformer,能够捕捉到更长的记忆信息,且较传统的 RNN 更易于并行化;
  • 方便的两阶段式模型。

缺点

  • 标准的 LM 只对单向进行建模,不符合真实场景,建模能力受到限制。

参考

官方网址:https://openai.com/blog/language-unsupervised/
官方 GitHub:https://github.com/openai/finetune-transformer-lm