上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人
第2章 数据处理
在实际的数据处理工作中,经常需要同时处理多张表,以及对多张表的字段进行合并、提取等操作。例如,在审批贷款时,需要结合用户的基本信息进行信用评估。本章主要介绍数据处理的基本方法,包括数据读取、数据整合及数据清洗。本章知识涉及的软件是Python。
将用户贷款信息表和用户基本信息表两张表合并,两张表的部分信息内容分别如表2-1和表2-2所示。
表2-1 用户贷款信息表部分内容
表2-2 用户基本信息表部分内容
续表
合并表涉及表的横向连接,是一个典型的数据整合问题。此外,为了进行数据整合,我们还需要对数据进行列选择、创建、删除等基本操作。
整合好的数据很可能存在错误和异常,如非正常的交易时间、未开通业务地区的交易记录,因此需要进行数据清洗。本章将对这些内容进行详细介绍。