谈谈数据管理的核心内容和策略

一 企业数据类型

从广义上讲，企业数据可以是企业使用的任何类型的数字信息。它可能来自网络平台、移动应用程序、CRM 系统和公司使用的其他软件。

所有这些数据都可以分为三种不同的类型。事实上，它可能会被分成更多，但我们将关注最流行的——交易型、分析型和主数据。

交易数据

交易数据有助于公司的持续运营。它捕获与交易有关的信息，例如时间、地点、价格、付款方式和折扣的使用。在保险方面，交易数据可能涵盖保险理赔，而在银行机构中，交易数据可能包括有关存款、取款或信贷的信息。

这种类型的数据通常存储在企业系统中，有助于自动化销售、客户支持、采购和其他专注于日常业务活动的部门的数据处理。

分析数据

分析数据都是关于价值和指标的，它们提供有洞察力的商业智能以改进决策。通常，它存储在数据湖或数据仓库等企业存储库中，允许部署机器学习算法或执行不同类型的数据分析。

主数据

最后，主数据代表有关业务实体的信息，并为交易和日常运营提供背景信息。具体来说，它可以包括有关产品、客户、员工或供应商和合作伙伴的详细信息。

毫无疑问数据是一种有价值的信息来源，需要管理它。没有管理，数据可能会损坏或不能有效使用。

二 什么是数据管理

数据管理是一组处理公司收集或创建数据的实践，以便可以使用这些数据做出正确的业务决策。整个过程背后的核心理念是将数据视为一种有价值的资产——因为这正是它的本质。

精心设计的数据管理流程可以为业务带来以下巨大好处：

整体生产力提升。如果精心组织，数据管理可以最大限度地减少数据移动，帮助发现性能故障，并使用户能够获得所有必要的信息。

成本效益。通过适当的数据管理，公司可以避免不必要的重复，员工也不会一次又一次地进行相同的研究或完成相同的任务。

快速响应变化的能力。公司的成功在很大程度上取决于其在发生变化时迅速做出正确决策的能力。如果对市场变化或竞争对手的活动做出反应的时间太长，企业很可能会赔钱并错失良机。有组织的数据使决策者能够更快地获取重要信息并做出适当的反应。

提高决策的准确性。拥有的数据质量越高，看到的画面就越大，做出的决策就越好。反之亦然，缺乏信息或可用数据中的错误可能会导致致命的业务错误。

也就是说，让我们探索整个数据管理过程的主要组成部分。

三 数据管理的核心内容

数据管理协会 (DAMA) 定义了端到端数据管理策略中包含的几个大型知识领域。每一个都非常重要，值得专门写一篇文章。在这里，我们将仅对涉及的这些学科和专业人员进行简要概述。

数据架构：使技术与业务目标保持一致

负责领域专家：数据架构师

数据架构是任何数据管理模型的起点。它适合更广泛的企业架构，概述了如何收集、集成、转换、存储和使用数据。数据架构师专注于构建强大的基础架构，以便数据提供业务价值。

架构师的职责包括但不限于选择正确的软件和硬件解决方案，在基于云的平台和本地平台之间进行选择，以及使利益相关者能够轻松访问他们进行决策所需的信息。

数据建模：创建有用且有意义的数据实体

负责领域的专家：数据建模师、数据科学家

在其数据管理知识体系指南中，DAMA 将数据建模描述为“以称为数据模型的精确形式发现、分析、表示和传达数据需求的过程”。

数据建模师与利益相关者密切合作，找出哪些数据对公司有用，并构建代表核心业务概念（例如，产品和客户）、它们的关键属性以及它们之间关系的基本数据实体（模型）。结果，数据变成了重要的业务资产，同时可以有效地存储、检索和共享有用的数据实体。

数据存储管理：维护数据可用性

负责领域的专家：数据库管理员

数据存储管理包括管理数据库和确保数据可用性所需的一切。它包括监控数据库性能和进行必要的配置以实现可接受的查询响应时间。数据库管理员的职能范围从创建数据库设计到引入更新再到维护数据安全。他们通常使用数据库管理系统来自动执行各种管理任务。

数据集成和互操作性：将数据整合到一个视图中

负责领域专家：数据架构师、数据工程师、ETL开发人员

公司从多个来源获取数据，手动输入、物联网设备、支付处理器、CRM、CMS、电子商务平台、网络和移动分析工具、社交媒体。数据值以各种格式分散在不同的存储中，不会相互交流。

我们需要数据集成和互操作实现来系统之间的连接，并将来自不同位置的内容整合到一个数据集中以用于分析和报告。没有这一部分，就不可能获得准确的分析结果和提取有价值的业务见解。

数据集成有两种主要方法。

提取、转换、加载或 ETL 处理批处理信息并将其从源系统移动到数据仓库。用于这些操作的工具由 ETL 开发人员设计或监督。

数据虚拟化使用数据抽象创建统一的数据视图，无论数据位于何处。在这种情况下，不需要统一的格式或单独的数据库来整合来自不同来源的信息。

数据分析和商业智能：从数据中汲取洞察力

负责领域的专家：数据分析师、商业智能分析师、数据科学家、营销分析师

如果没有合适的工具来帮助理解数据，很容易迷失在收集的所有数据中。数据分析和 BI 解决方案是访问和解释数据的最佳方式，因此可以利用它来提高收益。

商业智能使用数据来更好地制定有关组织运营的决策。它总结了历史数据并以一种允许公司立即采取行动的方式将其可视化。通过聚合、可视化和仔细分析，BI 帮助公司提高当前运营的效率。

数据分析是关于开发算法以从大量数据中发现隐藏的见解。这些见解可以进一步用于确保所使用的数据安全且受到保护。

数据质量管理：维护数据的健康状态

专责领域：数据质量工程师

简单地说，数据质量管理 (DQM) 旨在确保数据符合特定的业务需求。它采用了一系列技术和方法——例如，可以使用数据质量维度来估计所采集数据的质量。为此，可以使用数据质量评估框架。

DQM具有持续性和主动性。通过持续观察、分析和改进信息，DQM 维护数据的健康状态，而不是修复有缺陷数据的后果。

数据安全：防止数据泄露

负责领域的专家：数据架构师、数据安全专家、数据库管理员

数据安全涵盖防止未经授权访问信息资产和不当使用信息资产的所有实践、流程和技术。广泛使用的数据安全技术包括

加密，

脱敏，或将敏感数据转换为称为标记的识别符号字符串，

规定谁可以使用公司数据的访问控制，

威胁检测利用分析发现公司网络中的异常情况，以及

备份以防止数据丢失。

相关的数据安全计划必须考虑仅收集所需的数据，确保其安全，并在不再需要时删除信息。当数据即将进行归档或销毁时，有必要智能地保留数据并避免冗余的归档副本。

数据治理和主数据管理：确保信息的一致和高效使用

负责领域专家：数据治理分析师

数据治理制定政策和程序，以确保数据在整个组织内保持一致并得到有效使用。它有助于避免错误、阻止对敏感数据的潜在滥用，并使业务符合数据安全法、个人信息保护法、GDPR等数据相关法规。

主数据是与客户、产品、员工、技术和材料相关的关键企业数据。主数据管理确保其一致使用，修复任何重复、不完整或有争议的数据。例如，它控制在销售、客户服务和物流部门中列出相同的客户名称。MDM 活动包括积累和清理数据，及其比较、整合和质量控制。

创建全面的数据治理策略尤为重要。否则，不同的团队可能对关键数据实体有自己的看法，从而导致争议。

四 创建企业数据管理策略的关键步骤

现在，是时候谈谈制定 企业数据管理 策略的实际过程了。请记住，以下步骤会有所不同，具体取决于在数据管理之旅中走了多远以及拥有的现有技术堆栈。某些步骤可能必须并行执行或以稍微不同的顺序执行。

然而，无论具体情况如何，都可以使用以下流程作为指导，更好地了解等待您的是什么。

1. 评估现状

通常，一切都始于评估当前的数据实践、能力和弱点。在这里，IT 团队需要清楚地了解数据如何流经您的组织、使用了哪些来源以及哪些没有但可能有益。此步骤将为有效的数据管理奠定基础。

当然，评估当前情况可能非常耗时。特别是，如果处理大量数字信息并且只是开始系统化处理它的方法。尽管如此，不要急于完成这一步，因为它将确保最终结果真正满足独特需求和挑战。

2. 定义需求和目标

在执行初始需求评估后，必须将它们与希望实现的最终目标一起记下来。这将有助于让团队保持在正确的轨道上，还可以快速确定实施企业数据管理策略是否成功。因此，请务必回答以下问题：

最终目标是什么？

是否有任何应优先考虑的紧迫问题？

运行哪种分析？

需要哪些数据以及将其存储在哪里？

谁将负责确保这项承诺的完成？

是否已经预见到挑战？

有助于衡量成功的 KPI 是什么？

当然，对于某些组织而言，实施全公司范围的数据管理策略可能需要很长时间。在这种情况下，坚持敏捷方法并定义增量可交付成果和目标。最后，它们将全部加起来，形成一个确保成功的计划。

3. 确定所需的工具

一旦明确了要达到的目标，就该确定可以帮助实现既定目标的软件了。在这里，确保花时间考虑需要什么样的硬件或软件来建立强大的数据基础架构。

或许，已经有了一些所需的解决方案，但它们需要进行微调或现代化改造。或者，可能只是在使用一些解决方案，例如 CRM、ERP 和 CMS，并准备通过使用数据仓库集中所有内容来提升它。无论情况如何，都需要确定技术堆栈中是否缺少任何解决方案，并决定如何获取它们。

想要一个定制的工具，还是想要一个开箱即用的工具？如果是前者，您更愿意将开发外包给外部供应商，还是将项目交给内部 IT 团队（如果有）？这些是在此阶段必须考虑的问题。

4.实施数据管理解决方案

最后，可以实施在上一步中确定的工具并开始利用它们带来的好处。在此阶段，如果选择了自定义路线，团队将专注于解决方案的 UI/UX 设计、后端和前端开发以及测试。

这部分过程完成后，不要忘记任何软件都需要监控和维护。否则，它可能很快就会过时并产生糟糕的结果。所以，不要忘记确保有一个团队在跟踪其绩效。

5. 建立数据治理政策

一旦一切就绪，甚至在实施所需的解决方案时，就可以开始建立数据治理策略。我们已经在上面谈到了企业数据管理策略的这个关键组成部分，但值得重申。

从本质上讲，确定整个组织将遵循的必要标准、策略和程序，以防止安全漏洞、数据损坏和丢失。此外，不要忘记考虑法规遵从性并在文档中包含必要的指南。这在金融和医疗保健等受到高度监管的行业尤其重要。

当然，如果与经验丰富的开发专家合作，企业数据管理软件可能已经合规。但是，对于政策而言，纳入适当的数据使用程序仍然至关重要。总体而言，只需重点概述如何确保数字信息处理过程中的数据质量、安全性、隐私和透明度。

6. 培训员工

最后，在改进了数据管理流程并制定了周密的策略之后，进行一些员工培训是必不可少的。没有这一步，所有的努力都将付之东流。

考虑建立一个全公司范围的培训计划，培训相关员工使用任何新软件，并解释为什么要进行某些更改。最重要的是，为团队提供持续实现企业数据管理目标所需的知识。

五 实施数据管理策略的关键点

在转向更受管理的环境时，公司必须采取某些步骤。保持数据的可管理性和可靠性对于执行合格的数据分析和得出充分的见解至关重要。因此，我们列出了一些重要的实践，它们将使数据管理顺利进行。

使数据管理与业务目标保持一致。在直接进入深层次之前，请概述希望利用公司数据实现的目标。如果了解如何处理这些信息，将能够过滤正确的数据并避免数据管理软件过度拥挤。例如，如果目标是发现客户的购买习惯，将关注与购买相关的数据。

任命数据管理角色。数据管理流程涉及范围广泛的任务、职责和技能。在资源有限的小型组织中，个别员工可能会处理这个问题。但总的来说，数据管理专业人员包括数据架构师、数据建模师、数据库管理员、数据库开发人员、数据质量分析师和工程师、数据集成开发人员、数据治理经理和数据工程师，他们与分析团队合作构建数据管道并准备数据进行分析。

确保数据可访问性。虽然仅向具有适当权限的人员授予对公司数据的访问权限，但不要将其变成授权人员的斗争。根据特定角色或请求的数据设置不同级别的权限。因此，由于高管和团队领导比分析师或销售代表需要更多访问客户数据的权限，因此他们将拥有更多权限。

管理知识文档。通过创建数据管理文档，可以与整个团队分享宝贵的技能，而不是一个一个地培训每个员工。记录数据存在的原因以及如何使用它。

形成数据文化。发展内部数据文化意味着采用使用数据改进组织的使命。形成数据文化的关键是：

灌输对数据的信心，

实现数据资产的价值，以及

形成一个社区来分享最佳数据实践。

本文来自微信公众号 “数据驱动智能”（ID：Data_0101），作者：晓晓，36氪经授权发布。