PREFACE
前言

人工智能是21世纪最重要的科学技术之一。从日常生活到工业制造再到科学研究，人工智能可以协助人类进行决策，代替耗时费力的重复性劳动，在大幅提升生产力的同时，加速推进产业结构升级变革。然而，人工智能的发展并不是一帆风顺的，从1956年达特茅斯会议提出“人工智能”概念至今，经历了起起伏伏，但人们追求“通用人工智能”的愿望从未停止。近年来，随着深度神经网络的提出、大规模数据集的构建和计算硬件的升级，数据、算法、算力三要素齐备，人工智能进入飞速发展阶段。我们现在可以训练包含十亿、百亿甚至千亿参数的人工智能大模型，这些大模型已经具备很强的能力，初见通用人工智能的端倪。如今，人工智能模型已经在交通、医疗、教育、金融、安防等领域广泛部署应用。

我们在拥抱人工智能的同时，需要充分重视其带来的安全问题。想要了解人工智能模型的安全问题，则须充分掌握其工作原理。自从深度神经网络被提出以来，科研人员就针对其工作原理和性质开展了大量的研究，几乎每发现一个特性就会引发一系列新的安全问题。例如，2013年发现的“对抗脆弱性”引发了各种各样的针对深度神经网络模型的对抗攻击；2017年发现的“后门脆弱性”引发了大量的数据投毒和后门攻击；深度神经网络的“记忆特性”引发了对其隐私的攻击，包括数据窃取攻击和成员推理攻击等；而其对个别样本的“敏感性”和功能“可萃取性”则让模型窃取攻击成为可能。研究攻击是为了更好地防御。我们可以借助不同的攻击算法来对模型进行系统全面的安全性评测，从不同维度揭示其脆弱性边界，了解其在实际应用中可能存在的安全问题。基于这些分析，我们可以设计更高效的防御方法，提升模型在实际应用过程中的鲁棒性和安全性。这对大模型来说尤其重要，因为大模型所服务的用户群体更广，其安全问题往往会引发大范围的负面影响。例如，一旦自动驾驶系统存在安全隐患，则可能会威胁驾驶员、乘客和行人的生命安全。

当前，人工智能发展迅猛，新技术层出不穷，算法与模型日新月异，其安全问题也是如此。正是在这样的背景下，我们将近年来在研究过程中所积累的人工智能安全方面的知识归纳整理成此书，系统地呈现给读者。希望此书能够在一定程度上弥补在此方向上国内外教材的空白，为通用人工智能的到来做好准备，以保障其健康发展。

数据和模型是人工智能的两大核心要素。其中，数据承载了知识的原始形式，大规模数据集的采集、清洗和标注过程极其烦琐，需要大量的人力物力；模型则承载了从数据中学习得到的知识，其训练过程往往耗资巨大。高昂的价值和其背后的经济利益使数据和模型成为攻击者最为关注的攻击目标。正因如此，领域内大量的研究工作都是围绕数据和模型展开的。因此，本书聚焦人工智能领域中的数据和模型安全。人工智能安全的概念是广泛的，包括内生安全、衍生安全和助力安全等，本书的大部分内容属于内生安全。

本书的章节组织如下。第1章简要回顾了人工智能的发展历程；第2章介绍了机器学习的基础知识；第3章介绍了人工智能安全相关的基本概念、威胁模型和攻击与防御类型；第4章聚焦数据安全方面的攻击；第5章聚焦数据安全方面的防御；第6～10章分别聚焦模型安全方面的对抗攻击、对抗防御、后门攻击、后门防御以及窃取攻防；第11章展望了未来攻击和防御的发展趋势并强调了构建系统性防御的紧迫性。

本书适合人工智能、智能科学与技术、计算机科学与技术、软件工程、信息安全等专业的高年级本科生、研究生以及人工智能从业者阅读。本书中的部分技术细节需要读者具备一定的机器学习基础。此外，本书大部分的方法介绍都围绕图像分类任务展开，需要读者具备一定的计算机视觉基础。本书使用的示例图和框架图在尽量尊重原论文的基础上进行了一定的优化，如有不当之处，请联系我们更正。

感谢复旦大学的同学在本书的编写和校稿过程中提供的帮助，他们包括陈绍祥、宋雪、王铮、傅宇倩、魏志鹏、陈凯、赵世豪、吕熠强、訾柏嘉、钱天文、张星、常明昊、翁泽佳、王君可、翟坤、王欣、阮子禅、张超、林朝坤等。此外，感谢黄瀚珣博士和李一戈博士在此书写作过程中参与了讨论。

由于作者水平有限，书中内容难免会存在不足，欢迎各位读者提出宝贵的意见和建议。

姜育刚

2024年1月1日于复旦大学