大数据中心建设的功能特性
数据质量管理
1. 质量规则零代码可配置,包括仅一性、准确性、一致性、规范性等规则
2. 事前校验、事后评估方式发现及监控数据质量,并进行低分预警
数据融合加工1.19+数据加工算法组件;20+计算函数开箱即用,无须代码开发
2.拖拽式操作实现跨库的、大数据的融合加工
数据质量管理1. 质量规则零代码可配置,包括仅一性、准确性、一致性、规范性等规则
2. 事前校验、事后评估方式发现及监控数据质量,并进行低分预警
大数据中心建设的定位及价值
大数据建设方法的核心是:从业务架构设计到模型设计,从数据研发到数据服务,做到数据可管理、可追溯、可规避重复建设。
建设统一的、规范化的数据接入层(ODS)和数据中间层(DWD和DWS),通过数据服务和数据产品,完成服务于大数据系统建设,即数据公共层建设。提供标准化的(Standard)、共享的(Shared)、数据服务(Service)能力,降低数据互通成本,释放计算、存储、人力等资源,以消除业务和技术之痛。
大数据中心建设——模型设计
模型设计指导理论:
模型层次:把表数据模型分为三层:操作数据层(ODS)、公共维度模型层(CDM)和应用数据层(ADS),其中公共维度模型层包括明细数据层(DWD)和汇总数据层(DWS)。
操作数据层(ODS):把操作系统数据几乎无处理地存放在数据仓库系统中。
同步:结构化数据增量或全量同步。
结构化:非结构化(日志)结构化处理并存储。
累积历史、清洗:根据数据业务需求及稽核和审计要求保存历史数据、清洗数据。
以上信息由专业从事步态大数据中心文化建设费用的中科汇成于2024/3/29 10:46:49发布
转载请注明来源:http://beijing.mf1288.com/bjzkhcgs-2726092344.html