如何实施主数据管理MDM
主数据管理（MDM）的出现是由于企业有必要提高其关键数据资产（如产品数据，资产数据，客户数据，位置数据等）的一致性和质量。
如今，许多企业，尤其是全球企业拥有数百个单独的应用程序和系统（即ERP，CRM），跨组织部门或部门的数据很容易变得零散，重复，并且最常见的是过时的。发生这种情况时，准确地回答关于企业的任何类型的绩效指标或KPI的最基本但最关键的问题就变得很痛苦。
获得基本问题的答案，例如“谁是我们最赚钱的客户？”，“哪种产品的利润最高？” 或在某些情况下，“我们有多少名员工”？变得难以回答-或至少以任何程度的准确性。
基本上，对准确，及时的信息的需求非常迫切，并且随着数据来源的增加，对其进行一致的管理以及使数据定义保持最新状态，因此企业的所有部门都使用相同的信息是永无止境的挑战。
为了应对这些挑战，企业转向了主数据管理（MDM）。
什么是主数据？
大多数软件系统都有组成系统的几个应用程序共享和使用的数据列表。
例如：典型的ERP系统将至少具有“客户主数据”，“项目主数据”和“客户主数据”数据列表。此主数据通常是公司的关键资产之一。实际上，收购一家公司主要是为了访问其客户主数据并不罕见。
基本主数据定义
了解主数据最重要的步骤之一就是了解术语。首先，有一些非常容易理解且易于识别的主数据项，例如“客户”和“产品”。说实话，许多定义主数据的方法只是简单地引用一个通用的主数据项列表，例如：客户，产品，位置，员工和资产。
但是，如何确定应由MDM软件管理的数据元素却要复杂得多，并且无法满足此类基本定义。这就造成了关于什么是主数据以及如何对其进行限定的混乱。
为了更全面地回答“什么是主数据？”这个问题，我们可以看一下通常在公司中发现的6种数据类型：
非结构化数据：可在电子邮件，白皮书，杂志文章，企业内部网门户，产品规格，营销资料和PDF文件中找到的数据。
交易数据：具有历史意义或其他系统需要分析的业务事件（通常与系统交易有关的数据，例如销售，交货，发票，故障单，索赔以及其他货币和非货币相互作用）。交易数据是使用主数据实体的单位级别的交易。与主数据不同，事务本质上是固有的时间和瞬时数据。
元数据：有关其他数据的数据。它可以驻留在正式的存储库中或以各种其他形式存在，例如XML文档，报告定义，数据库中的列描述，日志文件，连接和配置文件。
分层数据：存储其他数据之间关系的数据。它可以作为会计系统的一部分存储，也可以作为对现实世界关系（例如公司组织结构或产品线）的描述单独存储。分层数据有时被视为超级MDM域，因为它对于理解和发现主数据之间的关系至关重要。
参考数据：一种特殊类型的主数据，用于对其他数据进行分类或用于将数据与企业范围以外的信息相关联。可以在主数据或交易数据对象（例如，国家/地区，货币，时区，付款条件等）之间共享参考数据。
主数据：企业内部的核心数据，描述开展业务所围绕的对象。它通常不经常更改，并且可以包含经营业务所需的参考数据。主数据本质上不是事务性的，但它确实描述了事务。主数据覆盖的企业的关键名词通常分为四个领域，这些领域内的进一步分类称为主题区域，子领域或实体类型。
这些子域中的一些可以进一步划分。例如，由于您的公司可能既有普通客户又有高级客户和执行客户，因此可以根据激励和历史进一步细分客户。同时，产品可能会按行业和行业进一步细分。这种粒度级别很有帮助，因为消费包装商品（CPG）领域的产品的要求，生命周期和CRUD周期可能与服装行业的产品有很大不同。域的粒度基本上由其中的实体的属性之间的差异大小决定。
确定要管理的主数据
尽管标识主数据实体非常简单，但并非必须对所有符合主数据定义的数据进行管理。通常，从卷的角度来看，主数据通常只占所有数据的一小部分，但它是一些最复杂的数据，并且是维护和管理最有价值的数据。
那么，您应将哪些数据作为主数据进行管理？
我们建议使用以下标准，在确定是否应将给定实体视为主数据时应综合考虑所有这些标准。
虽然枚举各种主数据实体类型很简单，但是有时确定公司中的哪些数据项应被视为主数据有时更具挑战性。
通常，可能通常需要照原样管理通常不符合主数据定义的数据，而不符合主定义的数据。
最终，在决定应将哪些实体类型视为主数据时，与其根据简单的实体类型列表进行比较，不如根据业务需求的上下文中的行为和属性对它们进行分类。
为什么要烦恼管理主数据？
因为主数据由多个应用程序使用，所以一个地方的数据错误可能会在使用它的所有应用程序中引起错误。
例如：
客户主数据中不正确的地址可能意味着订单，账单和营销资料都被发送到了错误的地址。同样，项目负责人的错误价格可能会造成营销灾难，而帐户负责人中错误的帐号可能会导致CEO处以巨额罚款甚至坐牢，这对犯错的人来说是一个职业上的限制。
现实生活中的主数据示例：为什么需要主数据？
一个典型的主数据恐怖故事
信用卡客户从北第9街2847号移到北第11街1001号。客户立即更改了帐单邮寄地址，但几个月未收到帐单。一天，客户从信用卡帐单部门接到威胁性电话，询问为什么未付款。客户确认他们拥有新地址，而开票部门确认文件中的地址是第11街北1001。客户要求账单的副本以结清帐户。
再过两个星期没有帐单后，客户回电，发现该帐户已移交给收款公司。这一次，客户发现，即使文件中的地址是1001第11届圣北，帐单地址被列为101 11 日圣北。在律师之间打了几次电话和来信之后，账单终于得到解决，信用卡公司失去了一个终身客户。
在这种情况下，数据的主副本是准确的，但另一个副本存在缺陷。主数据必须正确且一致。即使主数据没有错误，也很少有组织只有一组主数据。许多公司通过并购而成长，并且上级组织收购的每个公司都有其自己的客户主数据，项目主数据等。
如果您可以将新的主数据与当前的主数据进行合并，这将是不错的选择，但是除非被收购的公司在遥远的国家/地区拥有完全不同的业务，否则很可能会有一些客户和产品出现在这两个国家中多组主数据-通常具有不同的格式和不同的数据库密钥。
如果两家公司都使用邓白氏编号（Dun＆Bradstreet Number）或社会保险号（Social Security Number）作为客户标识符，那么发现哪些记录是针对同一客户的，就很容易解决；但是这种情况很少发生。在大多数情况下，客户编号和零件编号是由创建主记录的软件分配的，因此在两个数据库中同一客户或同一产品具有相同标识符的机会非常小。如果从具有不同供应商编号的不同供应商那里购买了等效零件，则物料主数据甚至更难以调和。
由于同一客户在不同数据库中可能具有不同的姓名，客户编号，地址和电话号码，因此将主列表合并在一起可能非常困难。例如，威廉·史密斯可能会以比尔·史密斯（Will）的身份出现。史密斯和威廉·史密斯。普通数据库联接和搜索将无法解决这些差异。
将需要一个非常复杂的工具来理解昵称，备用拼写和键入错误。该工具可能还必须认识到，如果不同的姓名都生活在同一地址或具有相同的电话号码，则可以解决不同的姓名变体。
创建通用主数据列表的好处
虽然创建干净的主列表可能是一个艰巨的挑战，但是拥有一个通用的主列表可以为底线带来许多积极的好处，包括：
单一的合并账单，可以节省资金并提高客户满意度
无需担心从多个客户列表中向客户发送相同的营销文献，这既浪费钱又激怒了客户
整个组织中客户的凝聚力视图，即用户在将客户帐户移交给收款公司之前知道该客户是否欠组织的其他部分，或者更重要的是，该客户是否是另一个部门的最大来源业务
统一的物料视图，以消除浪费的金钱和货架空间，以及由于在不同零件号下存储相同物料而造成的人为短缺的风险
最后，向SOA和SaaS的发展使MDM成为关键问题。
例如：
如果创建通过定义良好的XML消息进行通信的单个客户服务，则可能会认为您已定义了单个客户视图。但是，如果将同一个客户存储在具有三个不同地址和四个不同电话号码的五个数据库中，那么您的客户服务将返回什么？
同样，如果您决定订购通过SaaS提供的CRM服务，则服务提供商将需要其数据库的客户列表。您将发送哪个列表？
由于所有这些原因，为组织维护高质量，一致的主数据集正迅速成为一种必要。维护此数据所需的系统和过程称为主数据管理。
什么是主数据管理？
主数据管理（MDM）是确保主数据在整个企业范围内得到协调的技术，工具和流程。MDM提供了一个统一的主数据服务，该服务可为整个企业以及业务合作伙伴提供准确，一致和完整的主数据。
此定义中有两点值得注意：
MDM不仅仅是一个技术问题。在许多情况下，将需要对业务流程进行根本性更改以维护干净的主数据，并且某些最困难的MDM问题比技术问题更具政治性。
MDM包括创建和维护主数据。除非该解决方案包含工具和过程以随着更新和扩展而保持主数据的清洁和一致，否则要花费大量时间，金钱和精力来创建一套干净，一致的主数据是一种浪费。
根据所使用的技术，MDM可能涵盖单个域（客户，产品，位置或其他）或多个域。多域MDM的好处包括一致的数据管理经验，最小化的技术足迹，跨域共享参考数据的能力，更低的总拥有成本和更高的投资回报率。
鉴于MDM不仅仅是一个技术问题，这意味着您不能只安装一项技术并整理所有内容，那么强大的MDM程序又意味着什么呢？
在开始使用主数据管理程序之前，您的MDM策略应围绕以下6个学科构建：
治理：管理组织机构，政策，原则和质量以促进对准确的，经过认证的主数据的访问的指令。本质上，这是跨职能团队定义MDM程序各个方面的过程。
评估：您根据既定目标做得如何？测量应着眼于数据质量和持续改进。
组织：在整个MDM计划中安排合适的人员，包括主数据所有者，数据管理员和参与治理的人员。
政策： MDM程序应遵循的要求，政策和标准。
流程：整个数据生命周期中用于管理主数据的已定义流程。
技术：主数据中心和任何支持技术。
MDM程序入门
一旦为您的MDM程序获得了认可，就该开始了。尽管将MDM应用于组织中的所有主数据最有效，但在许多情况下，难以证明整个企业范围内的工作所付出的风险和费用。
专业提示：通常，从成功的关键数据源入手并吸取教训后，通常更容易从一些关键的主数据源入手并扩大工作量。
如果您从小做起，则应该对所有最终可能要包含在程序中的主数据进行分析，以免您做出设计决定或选择工具时会迫使您重新尝试合并主数据。新数据源。例如，如果您最初的客户主实施仅包括您的直接销售人员与10,000个客户打交道，则您不希望做出设计决定而无法在以后添加10,000,000个Web客户。
您的MDM项目计划将受到需求，优先级，资源可用性，时间范围和问题规模的影响。大多数MDM项目至少包括以下阶段：
识别主数据来源
识别主数据的生产者和消费者
收集和分析主数据的元数据
任命数据管理员
实施数据治理计划和数据治理委员会
开发主数据模型
选择一个工具集
设计基础架构
生成并测试主数据
修改生产和消费系统
实施维护流程
如您所见，MDM是一个复杂的过程，可以持续很长时间。像软件中的大多数事物一样，成功的关键是逐步实施MDM，以便企业在实现整个项目是一个长期过程的同时，实现一系列短期利益。
此外，没有业务用户的支持和参与，任何MDM项目都不会成功。IT专业人员不具备创建和维护高质量主数据的领域知识。任何不包括对创建，维护和验证主数据的过程进行更改的MDM项目都可能会失败。
本文的其余部分将介绍用于创建和维护主数据的技术和过程的详细信息。
您如何创建主列表？
无论您是购买MDM工具还是决定构建自己的MDM工具，都有两个基本步骤来创建主数据：
清洁和标准化数据
匹配所有来源的数据以合并重复项。
清理和标准化主数据
在开始清理和规范化数据之前，您必须了解主数据的数据模型。在建模过程中，您应该定义每个属性的内容，并定义从每个源系统到主数据模型的映射。现在，您可以使用此信息来定义清理源数据所需的转换。
清理数据并将其转换为主数据模型与用于填充数据仓库的提取，转换和加载（ETL）过程非常相似。如果您已经定义了ETL工具和转换，则可以轻松修改主数据所需的这些内容，而不用学习新的工具。以下是一些典型的数据清除功能：
标准化数据格式：使所有电话号码看起来相同，将地址转换为通用格式。
替换缺少的值：插入默认值，从地址中查找邮政编码，查找Dun＆Bradstreet Number。
标准化值：将所有度量转换为公制，将价格转换为通用货币，将零件编号更改为行业标准。
映射属性：从联系人姓名字段中解析名字和姓氏，将部件号和部件号移至部件号字段。
大多数工具会清理它们可能的数据，并将其余的数据放入错误表中以进行手工处理。根据匹配工具的工作方式，清理后的数据将被放入主表或一系列登台表中。在清理每个源时，应检查输出以确保清理过程正常进行。
匹配数据以消除重复
匹配主数据记录以消除重复是创建主数据中最困难也是最重要的步骤。错误的匹配实际上可能会丢失数据（例如，两个Acme Corporation成为一家），而丢失的匹配会降低维护公用列表的价值。
因此，MDM工具的匹配精度是最重要的购买标准之一。
有些比赛非常简单。如果您对所有客户都有社会安全号，或者所有产品都使用通用编号方案，则数据库JOIN将找到大多数匹配项。但是，这在现实世界中几乎不会发生，因此匹配算法通常非常复杂。客户可以在名称，娘家姓，昵称，地址，电话号码，信用卡号等上进行匹配，而产品在名称，说明，零件号，规格和价格上进行匹配。
专业提示：匹配项越多，匹配项越接近，MDM软件对匹配项的信心就越高。
将为每个匹配项计算该置信度，如果超过阈值，则记录匹配。通常根据错误匹配的结果来调整阈值。
例如：
您可以指定，如果置信度超过95％，则记录将自动合并；如果置信度在80％至95％之间，则数据管理员应在合并之前批准匹配。
您应该如何合并数据？
大多数合并工具会将一组输入合并到主列表中，因此最好的过程是从您最有信心的数据开始列表，然后一次合并其他源。如果您有很多数据，并且有很多问题，则此过程可能需要很长时间。
专业提示：您可能希望从合并后希望从中获得最大收益的数据开始，然后使用该数据运行一个试点项目，以确保您的流程正常运行，并看到预期的业务收益。
从那里，您可以在时间和资源允许的情况下开始添加其他资源。这种方法意味着您的项目将花费更长的时间，甚至可能花费更多，但是风险更低。这种方法还允许您从几个组织开始，并在项目证明成功时添加更多组织，而不是尝试从一开始就让所有人参与进来。
将源数据合并到主列表时要考虑的另一个因素是隐私。当客户成为客户主体的一部分时，任何有权访问客户主体的应用程序都可能看到其信息。如果客户数据是根据将其使用限制在特定应用程序中的隐私策略获得的，则您可能无法将其合并到客户主数据中。此时，如果您的目标是生成主数据列表，那么您就完成了。打印出来或将其刻录到外部硬盘驱动器上然后继续。如果您希望您的主数据在添加和更改数据时保持最新，那么您将不得不开发基础结构和流程以随着时间的推移管理主数据。
您如何维护主清单？
有许多用于管理和使用主数据的工具和技术。我们将在这里介绍三种较常见的方案：
单一副本：采用这种方法时，主数据只有一个主副本。所有添加和更改都直接对主数据进行。所有使用主数据的应用程序都将重写为使用新数据，而不是其当前数据。这种方法可以保证主数据的一致性，但是在大多数情况下不切实际。那是因为修改所有应用程序以使用具有不同架构和不同数据的新数据源至少是非常昂贵的。如果您购买了某些应用程序，则甚至不可能。
多个副本，单个维护：通过这种方法，可以在数据的单个主副本中添加或更改主数据，但是将更改发送到本地存储副本的源系统。每个应用程序都可以更新不属于主数据的数据部分，但是它们不能更改或添加主数据。
例如：
库存系统可能能够更改零件的数量和位置，但是无法添加新零件，并且无法更改产品主数据中包含的属性。这减少了所需的应用程序更改次数，但是应用程序将最低限度地必须禁用添加或更新主数据的功能。用户将必须学习新的应用程序才能添加或修改主数据，而他们通常不做的某些事情将不再起作用。
连续合并：在这种方法中，允许应用程序更改其主数据副本。对源数据所做的更改将发送到主数据库，然后在此处合并到主数据库列表中。然后，对原版的更改将发送到源系统，并应用于本地副本。这种方法几乎不需要更改源系统。如有必要，可以在数据库中处理更改传播，因此无需更改应用程序代码。表面上看，这似乎是理想的解决方案，因为可以最大程度地减少应用程序更改，并且不需要重新培训。每个人都在做自己在做的事情，但是质量更高，数据更完整。但是，此方法确实存在几个问题：
更新冲突是可能的且难以调和：如果两个源系统将客户的地址更改为不同的值会发生什么？MDM软件无法决定保留哪一个，因此需要数据管理员的干预。同时，客户有两个不同的地址。必须通过创建数据管理规则和标准操作程序来解决此问题，以确保减少或消除更新冲突。
必须重新合并其他内容：添加客户时，可能有另一个系统已经添加了该客户。为了应对这种情况，所有添加的数据都必须再次经过匹配过程，以防止母版中出现新的重复项。
保持一致的值更加困难：如果将产品的重量从磅转换为千克，然后再转换为磅，则四舍五入会改变原始重量。这可能会使输入值然后几秒钟后看到值变化的用户感到不安。
通常，所有这些事情都可以进行计划和处理，从而使用户的生活变得更轻松一些，但要以维护更复杂的基础架构为代价，并且要为数据管理员进行更多的工作。这可能是一个可以接受的折衷方案，但应该有意识地加以考虑。
关于版本和审核的几点思考
无论您如何管理主数据，重要的是能够了解数据如何达到当前状态。
例如：
如果客户记录是由两个不同的合并记录合并而成的，则在数据管理员确定记录被错误合并的情况下，您可能需要知道原始记录的样子，并且实际上应该是两个不同的客户。版本管理应包括一个简单的界面，用于显示版本并将所有或部分更改还原到以前的版本。
源代码管理系统使用的版本的正常分支和更改分组对于维护不同的派生更改并将更改组还原到先前的分支也非常有用。数据管理和合规性要求通常会包含一种确定每个更改的人和更改时间的方法。
为了支持这些要求，MDM软件应包括用于审核主数据更改的工具。除了保留审核日志之外，MDM软件还应该包括一种简单的方法来查找您要查找的特定更改。MDM软件一天可以审核数千个更改，因此审核日志的搜索和报告功能很重要。
关于层次管理的几点思考
除了主数据本身之外，MDM软件还必须维护数据层次结构，例如，产品物料清单，销售区域结构，客户的组织结构等。对于MDM软件来说，捕获这些层次结构很重要，但是对于MDM软件来说，能够独立于底层系统修改层次结构也很有用。
例如：
当员工转移到其他成本中心时，可能会对差旅和费用系统，薪资，时间报告，报告结构和绩效管理产生影响。如果MDM软件管理层次结构，则对层次结构的更改可以在单个位置中传播到所有基础系统。
也可能有原因需要在MDM软件中维护源系统中不存在的层次结构。
例如：
可能需要将收入和支出汇总到任何单一源系统中都不存在的区域或组织结构中。规划和预测还可能需要临时层次结构才能为建议的组织变更计算“假设”数量。在许多情况下，还需要历史层次结构，才能将财务信汇总到过去存在的结构中，而不是当前结构中。
由于这些原因，强大，灵活的层次结构管理功能是MDM软件的重要组成部分。
谁应该参与您的MDM计划？
现在您了解了什么以及为什么，让我们讨论谁，实际上，有几种不同的方式来考虑谁参与MDM程序。首先，让我们从高层次看一下三个核心角色：
数据治理：推动定义，需求和解决方案的个人。这些用户可以帮助管理员了解要创建的内容，数据管理员可以了解要管理的内容以及如何对其进行管理。数据治理用户指示数据管理者应如何管理数据（包括管理过程），然后让数据管理者对遵循这些要求负责。数据治理用户还指示管理员在MDM解决方案的实施过程中要创建什么，尤其是从数据匹配和质量的角度。数据治理用户还需要维护MDM软件的反馈回路，以确保一切正常。此反馈涵盖了MDM程序的测量角度，并且可能包含以下信息：
新客户需要花多长时间？
这个过程变快还是变慢？
与SLA相比，公司的情况如何？
如果有任何区域在滑移，为什么会发生这种情况？
数据匹配的效果如何？
从数据质量的角度来看，有多少个业务规则失败了？
管理员：负责设置和配置解决方案的IT人员。
数据管理员：由地面人员引导，直接在解决方案中负责修复，清理和管理数据。理想情况下，数据管理者来自整个业务部门，例如财务和营销部门。通常，数据管理用户在MDM程序中进行数据管家的活动。
其他MDM角色可以包括组织/项目类型，并且随组织/项目类型而变化：
主数据管理利益相关者：
除了执行和管理MDM策略的角色之外，成功的MDM项目的关键之一就是关键利益相关者的积极投入。典型的MDM参与的利益相关者包括代表业务和IT的利益相关者。积极的利益相关者通常包括但不限于以下角色：
商业或IT执行赞助商
IT项目负责人
受影响业务线的主题专家
数据管理员
IT交付团队
在整个组织中定义了MDM利益相关者时，确保他们的参与并致力于组织的MDM旅程至关重要。通过多种实施，Profisee确定了几个“健康”指标来帮助确定MDM利益相关者的影响：
主数据管理指导委员会
建议MDM利益相关者的管理层代表组成一个指导委员会，以促进跨职能决策。以下是有效的指导委员会的一些特点：
适当调整大小 -足够大以代表优先级利益相关者，但足够小以快速分析关键信息并制定决策。
专注于快速决策
成为消除组织障碍的工具，而不仅仅是例行会议来聆听项目团队成员的报告
不能代替动手赞助
一旦确定了利益相关者，MDM项目章程应包括成立指导委员会。在运行数百个或MDM项目的基础上，Profisee建议以下角色参加指导委员会。请注意，每个角色可能有一个以上的团队成员，或者某些角色可能不适用或公司的组织结构。
结论
尽管很容易将主数据管理视为一个技术问题，但是如果没有对业务流程和控制进行相应更改的纯技术解决方案将可能无法产生令人满意的结果。
本文介绍了采用主数据管理的原因，开发解决方案的过程，解决方案的技术实现的几个选项以及在确保程序顺利运行的过程中应涉及谁。