数据编织：交易数据和分析数据的桥梁

交易数据和分析数据之间的关系总是有点紧张。通常通过他们共同的朋友——数据管道进行交流。它至少稳定了二十年。但现在不安情绪正在增长。为什么会这样？首先，数据管道可能很慢。当交易数据到达数据平台（如数据仓库或数据湖）时，它已经过时了。因此，生成的洞察力可能不再相关。在当前敏捷业务时代，实时洞察力至关重要。其次，这是一条单向路线。价值从交易世界传播到分析世界，但反之则不然。重要的是建立反馈回路，以便生成的洞察力可以直接为交易世界做出贡献。

传统的数据平台架构，如数据仓库或数据湖，都没有拉近这两个世界。它们是为分析世界而构建的。即使是新的数据湖屋架构也会有同样的缺陷。但是数据编织呢？

Gartner明确提到“数据编织涵盖交易系统和分析系统”。数据编织就是松散耦合的分布式服务集合，使正确的数据能够在正确的时间和地点以正确的形式从事务和分析性质的异构来源中获得，跨任何云和本地平台，通常通过自助服务，同时满足非功能性要求，包括成本效益、性能、治理、安全性和合规性。

但传统上，这从未在数据平台上完成过。它始终是分析数据世界独有的。我们如何解决这个问题？我们如何将交易系统置于称为数据编织的新数据平台架构下？

影响企业的两种技术趋势

两大技术趋势正在影响全球的企业。首先是云转型。许多企业已将基础架构和非业务关键型应用程序迁移到云端，从而获得了巨大的经济利益。但这才刚刚开始。现在，关键业务应用程序正在实现更新，并准备好迁移到云端。但在这种趋势中，重点始终放在应用程序和基础架构上。这些数据通常是经过深思熟虑后才出现的，有时甚至被忽略了。

第二个趋势是以数据为中心。企业正试图将自己转变为一种基于数据运行其运营和流程的状态。企业数据的原材料正在被提炼并转化为信息，然后是洞察力。我们的想法是，这些见解将推动业务决策，从而使业务收益对资产负债表的顶线和底线产生积极影响。

但这两种趋势存在于两个平行的宇宙中。第一个通常是数据编织CIO数据编织的议程，而第二个通常是由多个数据编织CXO数据编织领导的业务议程。结果，他们没有有效对接，失去了巨大的机会。

问题是我们能否在整体组织目标下将它们编织在一起？答案是肯定的。预计数据编织Data数据编织Fabric数据编织将在那里发挥关键作用。让我们看看如何。

与数据编织的融合

在云转型的当前阶段，随着关键业务应用程序的优化，出现了一个新的机会。几乎所有的应用程序都与一个或多个数据库相关联。与应用程序一样，这些数据库也很陈旧，急需更新换代。否则无法获得全部收益。然而，由于害怕出现新的问题，它们常常被忽视。与应用程序一起解决这个问题很重要。

在对这些数据库进行改造时，可以采取多项措施：

•可以刷新数据模型

•数据可以被清理

•庞大的单体数据库可以分解成更小的可管理数据库

•可以采用新的多语言技术（例如文档、键值对、图形、对象存储等），而不是使用旧的基于文件或RDBMS数据技术

这种新改造的数据库可以通过API、虚拟化、消息传递等机制分享其数据。这些风险中的每一个都可以作为数据编织中的“数据资产”或“数据产品”发布。发现和消费自然会随之而来。

数据编织搭建桥梁

通过一个例子，让我们看看事务和分析系统如何参与数据编织。

让我们考虑一个零售组织。对于初始范围，他们考虑了三个业务关键型交易系统。

•T 1是一个基于Java的自定义店面应用程序，可从移动和Web前端运行。

•T 2是零售商的财务和会计系统，采用SAP系统。

•T 3是Salesforce CRM。它还集成了Einstein以运行一些分析。

同样在分析方面，除了上面提到的Einstein之外，让我们在这个讨论中包括更多的数据和人工智能平台。

•A 1是近年建立的客户数据湖。它在Azure Databricks上运行。

•A 2是一个旧的基于Netezza设备的数据仓库，用于处理财务和监管报告目的的数据集市。

•A 3是一个新的IBM Cloud Pak for Data基于分析平台，用于开发新的人工智能用例。

虽然基本系统很好地服务于此目的，但在过去几年中，企业发现它们在市场上缺乏差异化。他们的创新在市场上并不是最好的。一个主要原因是缺乏可发现、可信赖和可使用的数据。他们的大部分数据集成都是点对点的。由于可发现性是一个问题，因此在集成和处理相同数据方面存在许多重复工作。

虽然最近CIO启动了应用程序现代化计划，但数据领域并未涵盖其中。为了解决这种情况，CIO和CDO联合发起了一个数据编织计划。开发了一个企业数据市场，所有参与的交易和分析应用程序都应该发布他们的“数据产品”。最初，上述六个系统被指定用于数据编织参与。让我们看看这些系统将如何为这种参与而进行转型。

T 1是一个古老的单一应用程序，被认为是最先进行现代化改造的应用程序之一。采用基于微服务的架构。大型Sybase数据库被分成多个数据库。主数据和参考数据主要存储在Azure Cosmos DB中。事务数据存储在SQL Server中。微服务作为API公开，供不同渠道使用。还发布了相同的API（例如，上图中的“A”、“C”）。它还在市场上将原始销售数据作为文件产品“D”发布。

T 2作为ERP，保持原样。但是，它开始通过数据市场将定期账户数据作为文件（图中的产品“E”）发布。A 2从市场中提取了这些文件。

T 3开始通过数据流式发布实时客户数据变化。这些事件在市场上作为产品“F”发布。T 1订阅了这些事件以实时反映最新的客户数据。同时，从Einstein的存储库中，Salesforce CRM的文件提取作为产品“G”发布。

A 1使用了原始销售数据 ('D')和原始客户数据 ('G')。它生成一致的客户数据和一致的销售数据，并将它们分别作为虚拟对象“H”和“I”发布在市场上。

A 2摄取“I”和“E”并生成作为文件产品“J”的对帐帐户。

在A 3中，开发了一种用于个性化产品推荐的新AI模型。它使用一致的客户和销售数据、核对账户和实时客户更新。经过训练的推理模型部署为API“K”。T 1消费“K”以向店面的顾客提供更好的个性化推荐，从而创造更好的销售。

结论

如上所述，Data Fabric在企业面前开辟了一种新的可能性，使他们的交易和分析数据更接近彼此。然而，这不仅仅是技术转型，还需要组织和文化的转变和变革。应用程序所有者和数据所有者需要在新的运营模型上合作。需要将数据视为一种产品，而不是一项复杂的技术。如果引入这样的变化，企业可以获得显着的业务收益。

本文来自微信公众号 “数据驱动智能”（ID：Data_0101），作者：晓晓，36氪经授权发布。