Python大数据架构全栈开发与应用
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.4.1 简单数据库支撑的数据架构

几乎每个企业都有业务数据库,将业务数据库中的数据从生产环境同步到新环境,就能支撑简单的数据应用。

简单数据库支撑的数据架构具有如下特征。

• 物理资源:参考源数据环境额外增加一套资源即可,选型一般不会发生变化。

• 功能逻辑:涉及从源环境同步数据库数据到应用环境,支持简单的数据统计分析或处理功能,应用需求主要集中在数据库或报表查询等基本统计分析层面。

• 技术要求:主要是关系数据库同步技术,基于SQL的数据库增、删、改、查,数据库统计分析技术等。

• 数据流模式:单一数据流,通过数据库自带的同步机制或任务定时调度完成数据同步、数据库计算等任务。

图1-4所示为简单数据库支撑的数据架构的核心逻辑,构建于关系数据库之上。

图1-4 简单数据库支撑的数据架构的核心逻辑

• 源数据存储于MySQL数据库中。

• 数据同步利用MySQL Replication机制,从源环境同步数据到存储和计算环境中。

• 在存储和计算环境中,基于MySQL的函数(Function)功能实现统计汇总,并将结果存为表或视图。

• 在应用环境中,通过Navicat或其他报表工具直接连接存储和计算环境的结果表或视图,实现数据查询应用。

简单数据库支撑的数据架构的优势是技术成本低、投入成本低、开发周期短,劣势在于数据结构简单、支持的场景少,因此,适合数据应用场景少,尤其适合以数据查询和统计汇总为主的小型企业。