数据元标准

qq1035807396 / 2023-07-18 / 原文

一、概念

1、定义：数据元（Data element）：又称数据项，通过定义、标识、表示以及允许值等一系列属性描述的数据单元。在特定的语义环境中被认为是不可再分的最小数据单元。

2、组成：

　　（1）对象类：思想、概念或真实世界中的事务的集合，它们具有清晰的边界和含义，其特征和行为遵循同样的规则。

　　（2）特征：对象类中的所有成员共同具有的一个有别与其他的、显著的特征。

　　（3）表示：它描述了数据被表达的方式。

3、性质：

　　（1）原子性：组成数据最小单元。例如“金额”本身就是一个基本数据元，“销售量”，“重量”、“销售额”等。

　　（2）集成性：按照数据本身自然联系建立数据间的关联关系，体现出了数据的集成性。同时，通过对数据元的分析，对数据的分类具有重要的指导作用。

　　（3）演绎性：可由基本数据元演绎或派生出许许多多的应用数据元，继上面的示例：香烟销售额、外卖销售额、鲜食销售额等，或更细致地可以演绎出：香烟日销售额 /香烟月销售额 /香烟年销售额 /香烟累计销售额等。

3、作用：

　　（1）用来对各行业的数据进行自身规范化的一个方法或一套指导的理论。用这一套方法对行业数据进行统一的名、型、值规范及分类。

　　（2）实际上数据元有基本数据元与应用数据元之分。并且行业数据元应该是有限的，规划好行业数据元之后，可以为行业构建出统一、集成的、稳定的数据模型奠定基础，同时它也为数据交换奠定基础。更重要的是在逻辑层上为我们提供了一个统一的 “参考模型”。

二、标准定义与标准应用到质量稽核场景流程

三、数据标准设计主要活动及输入输出

四、确定业务对象、逻辑实体和属性

1、与系统的数据架构师确认梳理物理表的分类、用途、支持的业务场景，输入、输出，字段的含义、规则、格式等。

2、匹配物理表和字段的用途和含义，结合业务术语，进行正确的逻辑实体和属性命名。

3、根据字段的输入输出确认哪些是本环节产生或应具备的属性，哪些是冗余属性。

4、确定逻辑实体的业务对象归属。

五、制定数据标准

1、物理表字段的说明、含义、规则、格式等制定标准，包括业务、技术、管理视角三部分的要求。

2、冗余属性或外部引用标准需从正确的数据源引用，新增的部分需准确、充分定义，与IT实际落地保持一致。

六、评审数据标准

七、数据标准落地

八、总结

1、常见问题

　　（1）定义数据标准的时候发现几个系统都有同类数据时应该怎么办？

　　答：应该找到“权威元”。例如，多个业务系统都涉及到商品信息，但是商品信息权威的系统是主数据系统，那么就会将商品主数据作为权威元来进行比对数据间的问题。

　　（2）代码数据问题

　　　　a.不同的表中相同字段名，意义不一样

　　　　答：按照不同含义重新命名，拆分字段。

　　　　b.同义不同码值

　　　　答：合并两边的码值

　　　　c.缺字典

　　　　答：补充字典

　　（3）数据质量规则如何去梳理和生成？

　　答：在数据标准基础之上定义质量体系，质量问题一般分为两类：语法错误和语义错误。语法错误，可以依据现有的长度、类型、值域等内容进行基础版规定；语义错误是需要结合业务场景来确定数据一致性、完整性等规则。

2、经验总结

　　（1）数据标准设计必须由业务与IT协同配合完成。
　　（2）数据标准要有策略的渐进式落地，尤其是针对原有IT系统，可优先在数据中台落地。
　　（3）数据标准的管理是一项长期工作，要伴随内外部环境、业务创新、IT建设的变化进行优化调整。
　　（4）数据标准管理的质量与制度流程、组织职责、系统工具息息相关。