1.2 数据处理的层次与数据分析
1.2.1 数据管理与数据采集的三个层次
1.日常生活中的琐细数据及其管理
在人们的日常生活中,不可避免地与各种各样的数据打交道,如个人的工资收入数据、个人的日常支出数据、单位内部的固定资产和设备数据。这些数据有的需要长期存储,有的可能仅仅是临时数据。由于这种数据形态多样、比较分散、结构化程度较差,人们通常采用比较随意的记录方式。
在传统社会中,人们通常使用纸和笔、便条等手段记录和管理这些数据。然而,随着计算机技术的普及与发展,越来越多的人借助电子表格等应用软件(例如 Excel)来管理个人的日常琐细数据。
2.社会调查与数据采集
社会调查方法已经成为21世纪科学工作者了解社会现象、掌握社会实际、进而辅助决策的一种基本手段。在这种研究方法的指导下,科学工作者通过设置调查评价指标系统、选择抽样样本,然后针对样本展开调查并获取第一手资料。最后,在调查数据的基础上,开展数据分析,基于“用数据说话”的理念拿出研究结论。这一过程就是实证性研究的基本流程。
在基于社会调查的科学研究中,数据的采集与规范化是整个研究工作的核心环节。人们通常借助电子表格软件手段收集数据,然后利用专业的数据分析软件开展研究。
3.基于信息系统的数据管理
信息系统也叫信息管理系统(Information Management System,IMS),它是一个进行信息处理的系统,是一个由人、计算机软硬件和数据资源组成的系统。信息系统应该建立在数据库技术的基础上,其目的是及时正确地收集、加工、传递决策所需的数据,实现组织内部活动中对信息的管理、调节和控制。当前社会中,所有的信息系统都是人机系统,都是利用计算机技术、网络技术和数据库技术对信息进行管理、应用的系统。
信息系统建立在数据库技术的基础上,以数据库中的有效数据为核心。当前信息系统的基本结构为:由一台功能强大的计算机充当服务器,在服务器上安装大型数据库,多个终端上的用户可以通过 Internet 或局域网访问服务器上的数据库,实现数据的多用户共享。信息系统的数据库中可以存储各种功能的数据,既可以有管理信息,也可以有其他信息资源,例如教学课件、课堂教学资源数据等。其终端用户也可能是各种人员,既可以是教师、学生,也可以是普通游戏玩家。
目前的信息系统,既有学校管理部门所使用的管理信息系统,也有企业和商业部门为了提高办公效率和经营效益而开发的各种信息系统。例如,淘宝网平台、新浪微博平台、北京师范大学教务系统等。随着信息化水平的提升,信息系统中积累的数据规模日益增加,如何利用这些数据,已经成为信息系统建设者必须考虑的问题。