第2章　语言模型与知识表示

语言模型（Language Model）是很多自然语言处理的重要组成部分，被广泛应用于机器翻译、文本生成、语音识别等多个任务场景。从统计语言模型到神经网络语言模型，有关语言模型的研究对整个自然语言处理领域的发展产生了重要影响。

除了语言模型，词向量表示也早已成为基于深度学习的自然语言处理的标配和基础。几乎所有的任务都首先从词向量表示学习开始。由于神经网络模型严重依赖海量数据并缺乏可解释性，因此如何将多样化的外部知识（如世界知识、语言学知识等）引入先进的模型算法，形成由数据驱动和知识驱动相结合的模型是未来重要的研究方向。知识图谱是知识表示的重要手段，具有广泛的应用前景，较好地实现了技术落地。

本章将分别介绍语言模型、词向量构造方法和知识图谱表示学习。