构建数据产品是驾驭复杂性的关键举措
随着业务和技术的发展，企业内部和企业之间的沟通变得更加复杂，导致来自更多来源的更多数据。这种复杂性表现为业务复杂性和技术复杂性。通过使用数据产品，我们可以系统地从数据任务中抽象出这种复杂性，从而为数据消费者创造更好的体验，并为组织创造更大的价值。
数据，数据无处不在……虽然数据生成速度呈指数级加速，但企业仍然继续采用与十年前类似的策略进行数据管理。尽管许多高管宣扬数据驱动型组织的优点，但很少有人真正认识到真正由数据“驱动”所需的演变。通常，这些高管面临着大量的技术和文化债务，使得这个过程比从头开始要困难得多。这包括：
系统碎片化导致数据孤岛
锁定 API 访问权限较差的供应商
锁定在具有复杂数据模型和过时技术的遗留系统中
采用各种技术和格式的可变结构化或非结构化数据
不合规且不受监管的数据，几乎没有访问控制
数据定义不明确或不存在，导致混乱
缺乏质量控制，导致数据质量差并削弱消费者信任
正如前文所讨论的，这会导致数据消费者无法访问他们所需的数据，从而由 IT 团队来交付这些数据。不可避免地，来自数据源的海量数据和来自消费者的请求会导致 IT 团队陷入瓶颈，从一开始就注定会失败。此外，70-90% 的企业数据仍然“处于黑暗之中”。这些数据本来可以用来推动业务成果，但却是看不见的，也没有被利用。
当我们退一步反思并提炼这个问题的本质时，它实际上归结为在一个日益数字化的世界中管理通信的复杂性，这个世界越来越依赖于技术和数据来进行运营和决策。
康威定律是科学家和程序员于 1967 年首次提出的理论，它通过指出“设计系统的组织必须生产出这些组织通信结构的副本的设计”来突出地抓住了这一点。
简而言之，组织的产出与其内部沟通方式直接相关。
随着时间的推移，随着角色的专业化和用于管理内部和相互之间通信的系统的激增，通信复杂性的挑战只会变得更加明显。下面是我们如何走到这一步的简单的描述。
为了理解数据产品的价值，我们需要更好地理解这种复杂性的本质。为此，我将采用业务和技术复杂性的概念。
业务复杂性→ 问题域固有的复杂性。它是由需要解决的问题引起的，没有什么可以完全消除它。这包括：
流程复杂性（事情完成的方式）——考虑程序顺序、业务规则等。
语义复杂性（赋予事物的含义）——同一事物的不同名称或不同事物的相同名称。
监管复杂性（政府让公司承担责任）——考虑 GDPR、HIPAA、SOX 等合规性。
突发复杂性（上述 3 个变化的速度有多快）——在技术与架构的背景下考虑上述问题。
技术复杂性→由于我们选择解决问题的方式而产生的复杂性。这种复杂性可以通过更好的工程设计不断改进。
数据源（数据在哪里）——在本地或云端，这张表或那张表。
数据处理（为什么有这么多格式）——数据重复和不一致。
管道复杂性（这个黑匣子是什么）——嵌入在大量一次性数据管道中的难以理解的数据规则。
架构复杂性（无标准模式）——导致治理复杂性和成本膨胀。
解决方法..数据产品（数据产品化）
产品管理领域为我们提供了一套强大的工具和流程，可以通过产品化过程克服复杂性。这意味着我们可以系统地从数据任务中抽象出业务和技术复杂性，为数据消费者创造更高价值的体验。简而言之：
数据产品通过抽象表示缩小业务知识和数据之间的差距，从而降低了本质的复杂性。减少这种差距可以收紧领域现实（业务）与其表示（数据）之间的反馈循环。反馈循环越紧密，表示就越接近现实。这将为操作提供更高质量的数据集，并为更好的决策提供更高保真度的现实模型。
数据产品通过实施标准化的数据管理方法来减少意外的复杂性，从而节省时间和金钱。通过使用数据目录、可重用平台组件、简化的治理工具等，管理数据的技术复杂性每年都变得更加容易。
虽然“数据产品”对于不同的人在不同的情况下有不同的含义，但所有数据产品都具有相同的 3 个原则：
他们服务于一个角色（特定目标消费者）
它们归某人所有（xyz 数据产品经理）
它们像任何其他产品一样经历产品生命周期。
从本质上讲，任何数据产品的目标都是提供抽象复杂性的方法，同时保留数据作为现实表示的最高保真度。
本文来自微信公众号“数据驱动智能”（ID：Data_0101），作者：晓晓，36氪经授权发布。
