第2章　文本预训练模型

本章主要介绍文本分析技术的发展史、Transformer模型的结构、预训练模型的结构和变种、AI加速硬件GPU和TPU、预训练模型中TPU的使用、预训练模型的常见问题和源码解读。