Sui Xin's Blog

以牛客网《剑指Offer》题目为准，共66道

随着服务器的入门门槛越来越低，使用自己的服务器搭建一个梯子或者放一些自己的网站（博客）也越来越简单。下面主要总结一下使用服务器搭建梯子的方法。

题目描述

根据一棵树的前序遍历与中序遍历构造二叉树。

注意:
你可以假设树中没有重复的元素。

查看、创建、切换、删除分支

查看分支

1
2
3
4
5
6
7

git branch
# 查看所有分支以及最后一次提交
git branch -v
# 查看已经合并到当前分支的分支
git branch --merged
# 查看还未合并到当前分支的分支
git branch --no-merged

本文涵盖了使用 Git 完成各种工作时将会用到的各种基本命令。

git status

1
2
3

git status -s
# or
git status --short

最近使用 TensorBoard 纪录 PyTorch 训练模型的精确度及损失，设置的是训练损失每步都记录，但是在训练完成之后运训 TensorBoard 却发现 scalar 的横轴 step 并不是连续的，而且导出 csv 文件也是不完整的。

Google 使用一篇 53 页的综述分析了 NLP 预训练中的各种结构与训练策略。文章同时提出了一个统一的 text-to-text 框架，整理并开源了一份巨大的数据集：Colossal Clean Crawled Corpus (C4)，训练得到的新模型实现了 SOTA 结果。全文大部分都在分析各个策略的有效性，做了大量的对比实验，可谓是财大气粗。
论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

什么是 Docker

Docker 使用 Google 公司推出的 Go 语言 进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 AUFS 类的 Union FS 等技术，对进程进行封装隔离，属于 操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。
传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；而容器内的应用进程直接运行于宿主的内核，容器内没有自己的内核，而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。

An ALBERT configuration similar to BERT-large has 18x fewer parameters and can be trained about 1.7x faster.

ALBERT (A Lite BERT) 采用与 BERT 相同的 Transformer 架构，对其作了三点改进，使得用比 BERT 极少的参数量却实现了比 BERT 更好的效果。
论文：ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

论文分析了以 ELMo/GPT 为代表的自回归语言模型与以 BERT 为代表的去噪自编码语言模型的不足，提出了结合 AR 与 AE 各自优点的乱序自回归语言模型，在多项 NLP 任务上达到了 SOTA。
论文：XLNet: Generalized Autoregressive Pretraining for Language Understanding