傅罡

“注意”作为一切思维活动的起点，一直是哲学、心理学和认知神经科学的重点研究对象。随着计算机技术的发展，人类对注意力机制的模拟和应用成为计算机科学领域的热点研究方向——让计算机能够具有类似人类的注意力机制，使其能够有效地应用于对数据的理解和分析。Transformer模型诞生后，注意力机制在人工智能各大重要领域的研究和应用更是如火如荼，成果丰硕。从注意力机制这一重要角度入手，阐述注意力机制的产生背景