GPT(Generative Pre-Training)是一个典型的两阶段式模型:无监督预训练+监督下游任务微调。而在 NLP 任务中,上游的无监督预训练任务多半采用语言模型来实现,下游的监督任务直接对上游的模型进行简单改造即可使用。
GPT 为了能够有效的抓取文本中的语义信息,使用了单向的 Transformer Decoder 模块构建标准的语言模型,再使用预训练得到的网络架构与参数进行下游监督任务的微调,取得了不错的效果。
论文:Improving Language Understanding by Generative Pre-Training

Read more »

本文以 Python 和 C++ 为例,在 VSCode 中配置多语言一键运行和 Debug 环境。

Code Runner

插件中心搜索并安装 Code Runner,安装完成后只需简单配置即可使用。
默认使用快捷键 ⌃⌥N 来运行脚本,使用 ⌃⌥M 来结束运行。

Read more »

Python 开发简单的 web API

Flask 是一个简单的 Python web 框架,使用它只用几行代码就可以实现一个小型 Python web 服务。
最近模型与前端整合的时候刚好用到,遂记录一下它的用法。

Read more »

一道较难的动态规划题目,同时也是 2019 年 VIVO 的笔试真题。

题目描述

给出一些不同颜色的盒子,盒子的颜色由数字表示,即不同的数字表示不同的颜色。
你将经过若干轮操作去去掉盒子,直到所有的盒子都去掉为止。每一轮你可以移除具有相同颜色的连续 k 个盒子(k >= 1),这样一轮之后你将得到 k*k 个积分。
当你将所有盒子都去掉之后,求你能获得的最大积分和。

Read more »