转载本文需注明出处:微信公众号eaworld,违者必究。
引言:
主数据是描述企业核心数据、业务对象,当记录到数据库中时,需要对其进行维护,确保其时效性、准确性。数据模型管理是重要的环节,在实施主数据模型版本管理项目中用树节点挂载的方式,建立不同的数据类型树,在树节点下挂载数据类型、模型、版本,在每个版本下配置字段、展现方式等信息,并且可增加编码配置关系,在应用数据的时候可以灵活使用和展现数据。有效地解决了政府、地产等行业的需求,提高数据处理效率和使用价值。
目录:
1. 数据模型版本管理使用方案介绍
2. 模型版本管理数据关系结构
3.模型版本管理下的主数据
1.数据模型管理使用方案介绍
对于数据开发项目,我们常常会面临众多的数据对接,部分场景不仅数据量大,且数据种类多,数据解析开发工作量巨大。对于主数据模型版本管理,一般是使用是树节点挂载的方式,建立不同的数据类型树,在相应的树节点下挂载相应的数据类型、模型、版本和数据,在每个版本下需要配置相应的字段、展现方式等信息,并且可以增加一些编码配置关系,在应用数据的时候可 以灵活的使用和展现数据。
数据模型版本管理分为四部分:
第一部分是数据分类管理,首先建立数据分类,比如职员、部门、出勤等数据分类,模型对应到每个数据分类下,在每个模型下有不同的模型版本,模型版本下有相应的数据属性;
第二部分是模型配置,在每个模型版本下进行相关配置:
每个模型版本下包含字段属性,字段配置就是对这些属性进行配置,这些配置包括中文、英文名称,默认值,是否是主键,是否是流程字段,是否是编码字段的信息;
数据显示存在展现方式,展现方式包括数据模型的名称,展现方式是列表还是树或者是树和列表共同展示;
数据查重包括查重规则名称和对应校验的字段信息;
详细数据展示的时候会关联到数据模板,数据模板会配置与具体字段属性的关联关系,包括模板编码、名称,相关备注信息,字段是否显示、是否可编辑,是否必填信息。
第三部分是编码管理,分为码段管理和编码规则,码段管理是维护一套编码,如:固定码、特征码、流水码、日期码等;编码规则是绑定模型板和对应编码的关系,可以增加、删除对应的关系。
第四部分是数据应用部分,在配置好数据分类、模型配置、编码管理,数据应用的部分包括详细的数据,指数据维护、查看、权限和历史数据。
面对大量数据和众多的数据类型,用数据分类、模型配置、编码管理和数据应用实现灵活管理和使用数据的目的。
2.模型版本管理数据关系结构
1、模型管理模块是指数据分类、数据字典、模型管理
树形的单个数据分类下关联了多个模型,每个模型会有会有多个版本状态,每个模型下会涉及到多个模型版本,每个模型版本会有多个版本,但是只能有一个生效启用的版本,版本下增加了数据的字段属性。
如上是数据模型管理的树形图,也代表了数据结构关联关系,数据字段属性是数据详细内容。理论上,每个模型版本维护一套数据结构,意味着通过该版本控制当前的数据类型和形式。
2、模型配置包含了多维度的配置,使得数据使用上更细化
模型配置是对数据模型的补充,使得数据在使用上形式更多、更准确,其中包括了在字段配置、展现方式、数据查重、数据模板、数据权限上的配置。
如上图是模型配置信息,在不同模块下通过建立与字段属性的的关系,达到细化控制数据的目的,通过数据权限的配置,分用户使用数据。
3、编码管理是对应到具体数据的字段上,包括值和类型以及相应的使用信息
编码管理包括码段管理和编码管理,码段管理是根据实际项目中的需要设置多个码段类型,编码规则是将需要的码段类型绑定到具体的模型版本上,实现对模型版本具体字段的控制。
如上图是编码管理的配置信息,模型版本通过编码规则绑定适合版本的码段类型,形成一个带有码段的模型版本。
4、数据应用模型版本管理下的数据使用部分
在完成模型管理、模型配置和编码管理的基础上,实现数据查看、维护及历史数据查看。
如上图是数据应用的配置信息。
3.模型版本管理下的主数据
数据维护中的数据只提供查看,数据维护中的数据不仅可以查看功能,还可以进行增删改功能,历史数据中的数据是指当前版本下的之前版本的数据。数据列表如下所示:
在数据模型版本管理中,模型版本是平台管理数据一个重要的部分,不同的数据分类下的不同模型下也会存在多个版本,它维护了当前使用的数据模型版本的一套数据关系,包括所关联的模型配置和编码管理,每一个版本下的模型配置和编码管理都可以存在差异,再通过数据版本的状态是否生效判断当前数据是否可用,如此通过模型和编码配置进行更细化的管理和使用数据,达到数据模型版本管理的不同分类下、不同模型版本下灵活、充分的使用数据的目的。
精选提问:
问:模型版本管理,感觉很抽象, 一般是什么模型用于什么场景
答:数据模型,在数据分类后会根据数据存储类型建立模型,模型下会有版本,每个版本下会有具体的字段属性和字段类型,管理的就是不同数据模型版本的关系。目前有管理过标准件的数据和地产项目的数据。
推荐阅读
基于 spark 的数据分析实践
元数据新型存储架构的探索
本地读写的多活数据存储架构设计要义
关于作者:茅十八,现任普元产品部大数据开发工程师。曾在电商(联通商城)领域公司工作。参与dsp 6.0版本、主数据开发及平台维护,擅长mybatis、springmvc、spring等领域技术,长期致力于it技术研究、产品开发。专注服务治理、数据共享。对大数据、电商行业有着深入的研究。
关于eaworld:微服务,devops,数据治理,移动架构原创技术分享。长按二维码关注!
在看点这里
