一文了解数据空间的架构及特点
1.概述
国际数据空间(IDS)是一个虚拟数据空间,利用现有的标准和技术以及数据经济中广泛接受的治理模式,在可信的商业生态系统中促进安全、标准化的数据交换和数据链接。它为创建智能服务场景和促进跨公司创新业务流程提供了基础,同时保证了数据所有者的数据主权。
https://t.zsxq.com/I8UYy
1.1国际数据空间的目标
数据主权是国际数据空间的核心内容。它可以定义为自然人或企业实体对其数据完全自主决定的能力。国际数据空间计划针对这一特定能力及其相关方面提出了参考架构模型,其中包括商业生态系统中安全可信数据交换的要求。
总体而言,国际数据空间计划的工作可分为三类:1)研究活动,2)标准化活动,3)为市场开发产品和解决方案的活动(见下图):
研究活动以弗劳恩霍夫开展的首个工业数据空间研究项目为基础。这些研究活动正在大量项目中大规模开展。每个项目都为 IDS-RAM、IDS 实施、IDS 用例和其他 IDS 文档做出了自己的贡献。
国际数据空间协会 (IDSA) 是一个非营利组织,旨在推广 IDS-RAM,以建立国际标准。为了实现这一目标,协会汇集了各个行业的需求,并提供用例来测试从模型实施中获得的结果。该标准旨在在 IDS-RAM 本身中实现,但也在由国际数据空间的核心技术组件 IDS 连接器促进的安全数据交换和数据共享的定义方法中实现。为了确保该计划的国际抱负,在不同国家建立了区域中心。此外,IDSA 的活动旨在支持市场采用 IDS 概念和技术。
市场参与者可以利用国际数据空间标准向市场提供软件服务和技术。这些产品和解决方案构成了运营 IDS 生态系统。由于每项产品都必须符合国际数据空间标准,因此必须经过认证过程。因此,市场需要评估和认证机构提供的产品。
图 1.1:国际数据空间的三种活动类型
国际数据空间旨在满足以下战略要求:
信任:信任是国际数据空间的基础。每个参与者在被授予进入可信商业生态系统的权限之前都要经过评估和认证。
安全性和数据主权:国际数据空间的所有组件都依赖于最先进的安全措施。除了架构规范外,安全性主要通过对国际数据空间中使用的每个技术组件进行评估和认证来确保。为了确保数据主权,国际数据空间的数据所有者在将数据传输给数据消费者之前会将使用限制信息附加到其数据上。要使用数据,数据消费者必须完全接受数据所有者的使用政策。
数据生态系统:国际数据空间的架构不需要中央数据存储功能。相反,它追求数据存储分散化的理念,这意味着数据在物理上仍保留在相应的数据所有者手中,直到转移到受信任的一方。这种方法需要全面描述每个数据源以及数据对其他公司的价值和可用性,并结合集成特定领域数据词汇的能力。此外,生态系统中的元数据代理提供实时数据搜索服务。
标准化互操作性:国际数据空间连接器是该架构的核心组件,有多种实现方式,可从不同的供应商处获得。不过,每个连接器都能够与国际数据空间生态系统中的任何其他连接器(或其他技术组件)进行通信。
增值应用程序:国际数据空间允许将应用程序注入 IDS 连接器,以便在数据交换流程之上提供服务。例如,这包括数据处理、数据格式对齐和数据交换协议等服务。此外,可以通过远程执行算法来提供数据分析服务。
数据市场:国际数据空间支持创建利用数据应用程序的新型数据驱动服务。它还通过提供清算机制和计费功能以及创建特定领域的元数据代理解决方案和市场,为这些服务培育新的商业模式。此外,国际数据空间还为参与者提供模板和其他方法支持,供他们在指定使用限制信息和请求法律信息时使用。
作为 IDSA 及其相关研究项目的核心交付成果,国际数据空间参考架构模型 (IDS-RAM) 构成了各种软件实现的基础,因而也构成了各种商业软件产品和服务的基础。
所有研究和开发活动以及与标准化相关的所有活动均遵循以下指导方针:
开放的开发过程:国际数据空间协会是根据德国协会法建立的非营利组织。每个组织都可以参与,只要它遵守共同的工作原则。
现有技术的再利用:组织间信息系统、数据互操作性和信息安全是成熟的研究和开发领域,市场上有大量技术可供选择。国际数据空间计划的工作指导思想不是“重新发明轮子”,而是尽可能地利用现有技术(例如来自开源领域的技术)和标准(例如 W3C 的语义标准)。
对标准化的贡献:国际数据空间倡议旨在建立国际标准,支持标准化架构堆栈的想法。
开放标准:IDS-RAM 及其相关规范均公开可用并开放使用。
1.2 参考架构的目的和结构
IDS-RAM 专注于创建安全“可信数据网络”所涉及的概念、功能和总体流程的概括,其抽象级别高于具体软件解决方案的常见架构模型。该文件提供了概述,并辅以专用架构规范,详细定义了国际数据空间的各个组件(连接器、元数据代理、应用商店等)。
参考架构模型遵循常见的系统架构模型和标准(例如 ISO 42010、4+1 视图模型),采用五层结构,以不同粒度级别表达各利益相关者的关注点和观点。
参考架构模型的总体结构如下图所示。该模型由五层组成:
业务层指定并分类国际数据空间参与者可以承担的不同角色,并指定与每个角色相关的主要活动和交互。
功能层定义了国际数据空间的功能需求,以及由此衍生的具体特性。
流程层指定了国际数据空间不同组件之间发生的交互;使用 BPMN 符号,它提供了参考架构模型的动态视图。
信息层定义了一个概念模型,该模型利用链接数据原理来描述国际数据空间组成部分的静态和动态方面。
系统层关注逻辑软件组件的分解,考虑这些组件的集成、配置、部署和可扩展性等方面。
此外,参考架构模型包含三个需要跨所有五层实施的视角:
安全,
认证,以及
治理。
图1.2:IDS参考架构模型的总体结构
1.3 与其他 IDSA 资产的关系
基于此参考架构模型,我们衍生出一个认证方案,用于验证参与者和组件是否符合此参考架构模型。此类组件可以作为免费开源软件或专有软件提供。数据空间实例的操作在IDSA 规则手册中根据数据空间的 BLOFT(业务、法律、运营、功能、技术)方面进行了描述。
IDSA 作为一个协会和管理机构的作用是保持这些产品的一致性,同时根据技术发展和用户需求不断更新它们。这就是图1.3.1所示的 IDSA 魔力三角。
图 1.3.1:IDSA 魔力三角
2. 国际数据空间背景
2.1数据驱动的商业生态系统
商业生态系统中经常会出现新颖的数字产品和服务,组织加入这些生态系统是为了共同满足客户的需求,而不是单打独斗。这种生态系统的出现和消亡速度比传统的价值创造网络要快得多,合作伙伴明确关注端到端的客户流程,以便共同开发创新的产品和服务。这种生态系统中的参与者可以是企业(也是直接竞争对手)、研究组织、中介机构(例如电子市场)、政府机构和客户。
生态系统的特点是,没有任何成员能够独自创造创新。相反,整个生态系统需要合作。换句话说:每个成员都必须为所有人的利益做出贡献。理想情况下,生态系统在所有成员互利的平衡状态下运作。
数据驱动的商业生态系统是一个以数据为战略资源,由成员共同创造创新价值的生态系统。成功的关键在于在这样的生态系统中共享和共同维护数据,因为只有合作伙伴合作并共同利用其数据资源,才能实现端到端的客户流程支持(如下图中的多个示例所示)。
图2.1:生态系统中的数据共享
2.2 数据主权作为关键能力
从这两个发展来看
数据转化为战略资源,
企业在商业生态系统中日益合作
结果是,数字经济的主要特征是目标之间的根本冲突:一方面,企业越来越需要在商业生态系统中交换数据;另一方面,由于数据的重要性日益增加,他们比以往任何时候都更需要保护自己的数据。企业参与一个或多个商业生态系统的程度越高,数据对整个合作努力的成功贡献的价值就越高,这种目标冲突就越严重。
数据主权是指在保护自身数据和与他人共享数据之间找到平衡。它可以被视为企业在数据经济中取得成功所必须培养的一项关键能力。
为了找到这种平衡,仔细研究数据本身非常重要,因为并非所有数据都需要相同级别的保护,并且数据的价值贡献会有所不同,具体取决于数据属于哪个类别或类别。
数据主权的定义
Data Sovereignty is the ability of a natural or legal person to exclusively and sovereignly decide concerning the usage of data as an economic asset.
2.3 数据作为经济商品
数据具有价值,数据管理会产生成本,这是毋庸置疑的。如今,数据像商品一样在市场上交易;它有价格,许多公司监控数据管理所产生的成本。然而,数据是一种无形商品,在许多属性方面与有形商品不同,其中数据的非竞争性被认为是最重要的。数据的价值随着使用而增加(在许多情况下,随着用户数量的增加而增加)。虽然这些差异阻碍了法律条款在数据管理和使用方面的采用和应用,但它们并不否认数据是一种经济商品。
根据数据的类型或归入的类别,其对创新产品和服务开发的价值可能有所不同。因此,所有数据类型和数据类别对数据保护的需求并不相同。例如,任何人都可以访问的公共数据所需的保护级别低于私人数据或俱乐部数据。
由于数据方面的这些差异和区别,迄今为止尚未形成对数据价值的普遍认可。然而,鉴于数据驱动型商业生态系统的快速发展,确定数据价值的需求日益增加。
2.4 数据交换与数据共享
借助跨组织信息系统进行跨公司数据交换并不是一个新话题,它已经存在了几十年。随着 1980 年代电子数据交换 (EDI) 的普及,随着时间的推移出现了许多不同的数据交换场景,并伴随着某些技术标准的发展。
图2.4.1:数据交换技术标准的演变
上图以汽车物流为例,展示了自 1980 年代以来数据交换技术标准的演变。数据主权是国际数据空间的主要目标之一,它体现在与数据交换和共享之前相关的“条款和条件”中。然而,这些条款和条件(如生存时间、转发权、定价信息等)尚未标准化。为了促进商业生态系统内数据交换中数据主权的建立,需要开展更多的标准化活动。
这并不意味着现有标准将会过时。相反,企业在交换和共享数据时需要遵守的整体标准需要扩展。因此,有必要区分数据交换和数据共享(另见下图):
数据交换发生在公司之间的垂直合作中,以支持、实现或优化价值链和供应链(例如物流中的 EDI 消息或医疗场景中的 HL7)。
数据共享发生在公司之间的垂直和水平合作中,以实现共同目标(例如制造业中的预测性维护场景)或通过从数据中产生额外价值来实现新的商业模式(例如在数据市场中)。此外,数据共享意味着一种合作模式,以实现合作竞争。
图 2.4.2:数据交换和数据共享
2.5 有意义的数据
明确数据的含义对于确保不同人员和系统能够准确一致地解释和使用数据至关重要。当共享数据的含义不明确时,可能会导致沟通不畅和误解,从而导致错误和决策失误。因此,处理模糊数据的组织会花费大量精力将数据映射到其 IT 系统所期望的格式和结构。由于这既耗时又费钱,缺乏共享的数据含义是数据共享的主要障碍,因此也是实现数字单一市场战略的主要障碍。
IT 系统交换具有明确、共享含义的数据的能力称为语义互操作性。语义互操作性是联合数据网络(如 IDS)的基本要求。它要求网络中的数据提供者和数据消费者使用对通用词汇的明确引用来表达他们的数据提供或需求。共性很重要;如果数据引用了接收方不熟悉的词汇,那么他们仍然需要花费集成精力。通过标准化过程,词汇变得通用(共享)。
许多行业和其他商业生态系统已转向开放标准化,作为实现其成员之间语义互操作性的一种手段。开放标准化意味着成员共同维护和开发语义标准。这是一种持续的平衡行为,一方面需要严格统一以保持数据的一致性和易于理解,另一方面需要适应不同组织对其数据的不同要求。
这意味着,所能实现的语义互操作性水平通常存在限制。商业生态系统中的每个成员都以不同的世界观运作。这些差异源于在不同的司法管辖区、不同的领域运营、执行不同的业务流程、服务不同的市场、提供不同的服务等等。商业生态系统成员之间的高度多样性意味着该社区的任何语义标准都必须具有灵活性,这意味着一些整合工作仍是必要的。低多样性允许更严格的语义标准,从而带来更多的统一性,从而实现更高效的数据共享和自动化。
无论如何,必须实施治理,以确保语义标准尽可能满足社区的需求并将继续这样做。第 4 节讨论了如何组织这些治理流程。
从技术角度来看,实现语义互操作性需要使用语义技术来创建链接数据。RDF、SHACL、OWL 和 SKOS 等语义技术使我们能够通过创建与其他数据集和词汇表的链接来丰富数据的含义,从而能够通过规则对数据进行自动推理。
2.6 工业云平台
工业云平台数量的不断增长也将推动对数据主权标准的需求。随着大量不同平台的出现——由技术提供商、软件公司、系统集成商以及现有中介机构推动——平台格局很可能变得非常多样化,至少在一段时间内如此。平台提供商将越来越需要提供在自己的平台和生态系统中的其他平台之间进行安全可信的数据交换和数据共享的能力。
此外,云平台格局可能具有多种架构模式,从高度集中化的方法(例如数据湖)到促进最大程度去中心化的概念(例如使用区块链技术的分布式应用程序)。
数据所有者或数据提供者选择哪个平台将取决于他们想要交换和共享的数据商品的业务关键性和经济价值。由于公司的数据资源由不同关键性和价值的数据组成,因此可以预期许多公司将使用不同的平台来满足不同的目的。
为了在工业案例中使用云平台并维护数据主权,必须满足几个先决条件(特别是在不同数据提供商将数据汇集到一个云环境中进行分析或使用的用例中)。对某个云环境的主权决策必须通过数据角度和底层软件角度的互操作性(即服务到不同云环境的可移植性)来实现。此外,服务和运行时的功能必须透明且可验证,以建立对要使用的云环境的信任。为了实现和维护通过云环境连接的各方之间的互操作性和信任,必须建立并执行与技术、运营和管理流程以及法律协议相关的治理模型。
2.7 大数据与人工智能
如今,企业广泛使用大数据应用。常见用例是通过附加数据(例如开放数据、来自其他公司的数据或来自数据市场的数据)补充公司内部可用的数据。通过这种方式扩展数据组合,企业可以从显著改进的分析结果或全新的使用场景中受益。
随着大数据应用的发展,人工智能 (AI) 应用也变得越来越成熟和强大。企业越来越多地使用人工智能,这已经导致并将继续导致对外部数据的需求更大(例如用于训练人工智能模型)。然而,公司通常没有足够的内部数据,这就是为什么在使用人工智能方面对数据共享的需求将会增加。
标准化的数据交换和数据共享架构将支持大数据和人工智能应用在工业领域的发展和接受。同时,有必要定义数据共享的使用政策并保留数据提供者的数据主权。
2.8 物联网和工业物联网
物联网 (IoT) 和工业物联网 (IIoT) 分别由数量不断增长的设备组成,它们产生的数据也越来越多。虽然人们主要关注的是这些数据的主要用途,但其他利益相关者也可能对此感兴趣。这不仅需要 (I)IoT 架构方面的标准化,还需要数据交换和数据共享方面的标准化——以便实现数据经济并促进数据市场的建立。(I)IoT 内产生的数据的广泛使用将带来新的、智能的和以数据为中心的服务以及新的商业模式。
2.9 区块链
国际数据空间的核心目的是实现组织之间受控的数据交换和共享——无论数据类型如何。在国际数据空间的许多用例中,这是某种形式的结构化数据(例如测量数据、产品数据或物流数据)。但也支持其他类型的(流)数据。IDS 连接器允许数据所有者和数据提供者与 IDS 生态系统中的其他参与者交换和共享他们的数据,同时随时确保数据主权。
在国际数据空间的使用案例中,可以发现两种基本的数据共享模式:
数据共享是为了提供新的数据驱动服务,比如在新应用程序、智能算法或结合了不同来源/提供商的数据的其他数字服务中使用数据。
数据共享是为了某种形式的业务流程同步,例如使用数据执行交易(例如交换订单)、实现生产(例如交换产品数据)、检查质量(例如监测易腐货物的温度)或同步流程(例如交换状态数据)。
在许多情况下,这种数据共享使得交易数据本身成为所谓的“共享数据资产”,从而导致参与组织承担责任。
两个例子:
由于易腐货物暴露在不适当的环境温度下,订购货物的公司拒绝接受。温度数据因此成为共享数据资产,可以存储在共享环境中,作为此类质量数据的可信记录保存者。
多家公司希望共享其能力,以生产某种类型的产品。在这种情况下,每家公司的能力都成为共享数据资产,存储在生态系统中所有参与者都可以访问的共享“黄页”中。
从功能角度来看,区块链技术有望在 IDS 环境中维护这些“共享数据资产”方面发挥重要作用。这将补充 IDS 架构的现有功能,以便在 IDS 连接器的帮助下共享(可能很大的)数据集。例如,共享数据资产可能包含哈希码(数据的“指纹”),可用于验证在 IDS 连接器的帮助下共享的较大文件(例如,发送订单的复杂产品设计)。就 IDS-RAM 而言,区块链技术可用于清算所或元数据代理(参见业务层)。
总体而言,区块链技术可以保证数据的一致性和透明性,结合通用的IDS方法可以实现数据主权和安全的数据交换和共享。而典型的数据湖则侧重于数据集成,以实现知识提取的目的(见下图)。
图2.9:数据交换和数据共享的通用架构模式
2.10 数据共享协议和使用条款的联合框架
IDS 提供了一个联合数据共享环境,该环境对新欧洲互操作性框架(由欧盟委员会制定)中各个层面的互操作性都提出了严格的要求;即在总体综合治理方法下,法律、组织、语义和技术的互操作性。
法律概念的互操作性适用于数据共享协议(包括法律、商业和服务水平条件)和使用条款(即由访问和使用政策组成的使用合同)。在实践中,目前出现了不同的角色和组织来提供数据共享协议和使用条款的管理和注册服务(在适当的情况下,在同一法律框架下,特别是针对某些数据共享社区)。在当前的 IDS 角色和交互模型中,尚未指定用于管理数据共享协议和使用条款的不同角色。尽管如此,在联合 IDS 环境中支持此类角色对于明确理解和达成一致以及充分确保在不同行业、国家和/或司法管辖区运营的各方之间进行的数据共享交易的合法性至关重要。由于 IDS 和 iSHARE 之间的合作,可以采取适当的步骤来应对这一挑战,方法是定义 IDS 方法来支持法律框架的联合和法律条件的语义互操作性。
2.11 通用数据保护条例
只有实施适当的技术和组织措施,才能确保组织遵守欧盟通用数据保护条例 (GDPR)。
对于参与基于 IDS 的生态系统的组织,实施 IDS-RAM 的软件提供了遵守 GDPR 所需的技术措施。但是,遵守 GDPR 的责任和义务仍然在组织本身。这意味着组织必须实施足够的组织措施来保护个人数据。这套措施可以根据对个人数据(处理)的风险评估和(如果风险水平超过某个阈值)数据保护影响评估来制定。
因此,必须考虑参与 IDS 生态系统的组织及其数据处理是否符合 GDPR 要求。因此,不能笼统地说 IDS-RAM 合规性就意味着符合 GDPR 要求。相反,IDS 在 GDPR 合规性方面的作用是支持参与组织实施技术措施并就组织措施的实施提供建议。因此,IDS 参与者能够在 IDS 技术和相关功能范围内实施适当的措施,以符合 GDPR 要求并传输个人数据。
2.12 国际数据空间对工业4.0和数据经济的贡献
通过提出一种安全数据交换和可信数据共享的架构,国际数据空间为商业和工业数字化场景中的企业架构设计做出了贡献。它通过弥合研究、工业利益相关者、政治利益相关者和标准机构之间的差距来实现这一目标。该架构的设计目标是克服自上而下方法和自下而上方法之间的差异。下图显示了数字工业企业的典型架构堆栈。国际数据空间将用于通信和基本数据服务的较低级别架构与用于智能数据服务的更抽象的架构连接起来。因此,它支持从数据源到数据使用建立安全的数据供应链,同时确保数据所有者的数据主权得到保障。
图 2.11.1:典型的企业架构堆栈
在从单个用例场景扩展到平台景观视图时,国际数据空间将自己定位为一种架构,通过安全数据交换和可信数据共享的策略和机制(或换句话说,通过数据主权原则)链接不同的云平台。
通过 IDS 连接器,国际数据空间的核心组件、工业数据云以及单个企业云、内部部署应用程序和单个连接设备可以连接到国际数据空间。
图 2.12.2:连接不同云平台的国际数据空间
凭借这一整合目标,国际数据空间倡议将自己定位于国家和国际层面的同类倡议的背景中。国际数据空间成立于德国,其活动与工业 4.0 平台紧密相关,尤其是参考架构、标准和规范工作组。
国际数据空间倡议已经并将继续与其他倡议建立联络,其中包括
物联网创新联盟,
大数据价值协会,
奥地利数据市场,
数据交易联盟
eCl@ss,
FIWARE 基金会,
盖亚-X AISBL
工业互联网联盟,
愛分享
工业价值链倡议
OPC 基金会,
工业4.0平台,
工业 4.0 标准化委员会,以及
万维网联盟。
此外,国际数据空间计划寻求与现有研究和标准化计划的合作和思想交流。通过充当自上而下和自下而上方法之间的中介,弥合研究、工业、政治和标准机构之间的差距,协调经济和社会的要求,并促进与其他计划的联系,国际数据空间可以被视为工业 4.0领域中一项独特的计划。
2.13 互联世界中的隐私
数字服务和市场
有效市场假说认为,市场会根据可用信息找到正确的价格。只有当信息对所有人免费开放或按照相同规则收集时,金融市场才会发挥作用。然而,我们必须面对这样一个事实:互联网上的信息在生态系统中并不是平等的。个人信息通过多种方式收集,在庞大的数据库中关联起来,并用可用的大数据算法进行分析。从好的方面来说,这种信息收集可以分析人类行为,从而带来社会效益。另一方面,实体可以利用这些数据在市场上获得优于竞争对手的优势,最重要的是,通过结合多个来源,可以追溯行为或将行为归因于一个人。
因此,数字市场法案旨在通过所谓的“软”隐私手段来执行隐私,这种手段基于合规、同意、控制和审计。如果用户同意某种类型的数据处理,公司会确保其提供的服务符合官方规定。服务提供商被视为“受信任”的实体。
个人数据具有利益不对称的特点。对于每个人来说,自己的数据非常重要,而且价值很高。对于公司来说,单个数据集相当无趣,但元数据却可用,可以从许多来源收集。从不同的角度来看:(协议)元数据可以以各种方式用于组合数据源并得出结论,它是目前现实中最被低估的隐私风险。因此,单个实体是否愿意将其数据出售给公司仍是值得怀疑的,因为不会支付预期的价格。出于经济原因,个人数据总是供过于求,因此可以预期每个单个数据集的价格会非常低。因此,个人将无法“出售”其数据,除非存在特殊情况(例如 VIP 人员需要额外保护)。不幸的是,对于这种特殊数据,因此非常需要采用更强大的保护手段。
对于这些情况,需要执行所谓的“硬”隐私手段,这超出了标准的GDPR法规。这些技术不会建立“受信任”实体,而是通过减少和最小化数据和受信任方来保护数据,这些方可能在加密数据和平台上工作。
共谋问题
许多数据源的根本问题在于,即使每条数据记录都经过了匿名化处理,数据的收集和关联也允许公司得出结论。这种现象被称为合谋,也是一种网络安全威胁:随着时间的推移,收集了多个来源或访问权限,最终可能导致获得比所需更多的知识,也称为“访问蔓延”。
即使对于公司来说,也存在元数据和合谋的问题:在常见的 B2B 场景中,交易受合同工作和服务条款的约束。然而,随着公司的发展,它们也变得对竞争对手等收购者具有吸引力。尽管主要业务目标仍可能受合同约束,但现在可用的元数据可能是一个有吸引力的信息来源。此外,服务条款可能会在长期内发生变化。公司能多快将其技术转向替代供应商,例如,如果供应商已被竞争对手收购?因此,我们还可以确定数据可移植性的需求,当然还有 IDSA 定义的通用规则和指南。虽然这个例子听起来可能是人为编造的,但公司有义务保护其客户的个人数据。
此外,公司不仅要保护客户的数据,员工的数据也需要保护,原因有二:首先,能够跟踪员工及其在流程中每一步的活动可以看作是一种监视模式。尽管企业需要了解其流程的运行情况,以便随着时间的推移不断改进,但不应将其归因于单个人,而应归因于群体。例如,在准备/执行网络钓鱼模拟时,必须确保结果符合欧盟的隐私法规。至少在德国,员工是由公司内部工作委员会组织的,每当收集数据并出现可能的监视场景时,该委员会都必须参与其中。
其次,保护员工的隐私也保护了客户。例如:军营之所以在互联网上被发现,是因为员工的健身追踪器的位置被映射到卡片上。定期更新显示,员工在森林中奔跑的路径通常不会发生这样的活动。此外,在网络安全环境中,服务提供商的运营商通常可以访问客户的数据。保护员工的隐私可以最大限度地减少潜在欺诈或勒索的影响。此外,良好的安全实践(如四眼原则和职责分离)可确保避免数据或资金损失。
3.参考架构模型的层次
3.1 业务层
参考架构模型的业务层定义并分类了国际数据空间参与者可能承担的不同角色。此外,它还指定了这些角色之间发生交互的基本模式。从而有助于开发创新的商业模式和数字数据驱动服务,供国际数据空间参与者使用。
虽然业务层提供了国际数据空间中角色的抽象描述,但它可以被视为其他更具技术性的层的蓝图。因此,业务层可用于验证国际数据空间的技术架构。从这个意义上讲,业务层指定了功能层要解决的要求。
3.1.1 国际数据空间中的角色
下面详细描述了参与者在国际数据空间中可以承担的每个角色以及分配给它的任务。参考架构模型区分了四个包含“业务角色”的“类别”,这些“业务角色”可以根据单个业务模型承担一个或多个“基本角色”。
国际数据空间中的基础角色
IDS 的生态系统包括由各个参与者执行的几项基本任务。这些任务的集合可以从 IDS 中的相关对象和各个生命周期中的活动中得出。IDS 中的参与者必须处理的 IDS 对象包括:
连接器:参与者加入国际数据空间所需的技术核心组件
数据:此处是数据资产的同义词,即数据提供者为交换而公开的内容
词汇:本体、参考数据模型或元数据元素,可用于注释和描述数据集、使用策略、应用程序、服务数据源等。
身份:IDS 参与者的信息
App:可在连接器内部署的应用程序。应用程序有助于数据处理工作流程。它们可能由认证机构认证,并遵循认证视角中定义的认证程序。
交易:包括在数据交换过程中执行的所有活动
服务:在连接器中运行并作为服务提供的软件(算法和计算时间)
对于每个 IDS 对象,参考架构模型都定义了生命周期中的活动。描述对象生命周期的活动集或其子集包括:
创建:创建一个对象,例如通过编程创建软件或通过读取传感器创建数据
拥有:根据当地法规拥有某物或持有相应的许可或权利
认证/验证:例如根据 IDS 认证方案认证软件或验证数据的真实性
发布:共享数据、应用程序、服务等对象的元数据。
提供:从技术上提供对象
消费:从技术上来说接收对象
使用:在不包含中介函数的业务模型中使用对象(见下文)
删除:删除、消除或关闭对象
IDS 对象生命周期中的每项活动均由 IDS 的参与者执行。参与者执行这些活动的角色称为“基本角色”。由于 IDS 对象和活动的某些组合(例如“验证数据”、“删除身份”)可能与 IDS RAM 以外的其他上下文相关,或可能在未来变得相关,因此一些潜在的基本角色被声明为(目前)“超出 IDS RAM 范围”。下表显示了 IDS 中定义的基本角色。
创建
所有者
认证/验证
发布
提供
**消耗
使用
删除
连接器
连接器创建器
连接器所有者
连接器认证员
连接器发布者
连接器提供商
(超出 RAM 范围)
连接器用户
(超出 RAM 范围)
数据
数据创建者
数据所有者
(超出 RAM 范围)
连接器/元数据代理
数据提供者
数据消费者
资料使用者
数据擦除器
词汇
词汇生成器
词汇所有者
(超出 RAM 范围)
词汇出版商
词汇提供者
词汇消费者
词汇用户
(超出 RAM 范围)
身份
身份创造者
身份所有者
身份验证器
身份出版商
身份认证器
(超出 RAM 范围)
身份用户
身份消除器
应用程序
应用程序创建者
应用程序所有者
应用程序认证
应用程序经纪人
应用程序提供商
应用程序消费者
应用程序用户
应用程序删除器(?)
交易
交易发起者
(超出 RAM 范围)
交易清算人
(超出 RAM 范围)
(超出 RAM 范围)
(超出 RAM 范围)
交易参与者
(超出 RAM 范围)
服务
服务创建者
服务所有者
认证服务
服务代理
服务提供商
服务消费者
服务用户
(超出 RAM 范围)
这些基本角色适合详细定义 IDS 中的技术任务和参与者的角色。然而,由于这个数字相当大,尤其是对于早期讨论来说,将基本角色分组为业务角色是明智的。基本角色在业务角色的适当背景下进行了解释。
国际数据空间中的商业角色
在业务层的级别上,根据用例,区分基本角色可能并不重要。例如,如果一家工业公司打算向供应链合作伙伴提供质量检查数据,则数据所有者和数据创建者之间的区别是不必要的。因此,引入了业务角色。业务角色包括一个或多个基本角色。它们所包含的基本角色的确切范围取决于参与者的个人业务模型,因为可以根据需要应用个人业务模型(包括定价模型)。例如,运营数据中心的数据中介(请参阅下文详细信息)可以作为受托人存储数据,充当元数据代理或两者兼而有之 - 具体取决于业务模型。因此,由于基本角色分配给业务角色可能会有所不同,分配用以下符号标记:
T(典型):业务角色通常承担的基本角色
M(强制性):从技术角度来看必需的角色
角色分为四类:
第一类:核心参与者
第 2 类:中介
第 3 类:软件开发人员
第四类:治理机构
第 1 类:核心参与者
每次在国际数据空间中交换数据时,核心参与者都会参与其中并被要求参与。此类别的角色包括数据供应商和数据客户。任何拥有、想要提供和/或想要消费或使用数据的组织都可以担任核心参与者的角色。
这些角色为国际数据空间的参与者带来了利益,因为他们创建、可能拥有并可能提供数据,以及接收、处理并且很可能在某个时间点删除数据。
数据供应商
数据供应商是将数据引入 IDS 生态系统的角色。根据各个业务和技术运营模型,业务角色数据供应商通常承担基本角色数据创建者、数据所有者和/或数据提供者。
数据创建者创建数据,例如通过从传感器生成数据或访问后端 IT 系统中的数据。
由于数据所有权的法律情况非常复杂(如治理视角中所述),本文档中未从法律角度使用“数据所有者”一词。参考架构模型采用运营数据管理视角,将数据所有者定义为对数据进行控制的法人或自然人。这使数据所有者能够定义数据使用策略并提供对其数据的访问权限。数据所有权至少包括两个主要概念:
拥有(技术)手段和责任来定义使用合同和使用政策,并提供数据访问权限;以及
拥有(技术)手段和责任来定义支付模式,包括第三方重用数据的模型。
数据提供商在IDS 中以技术方式提供数据,以便代表数据所有者将其传输给数据客户。为了将元数据提交给元数据代理,或与数据消费者交换数据,数据提供商使用符合国际数据空间参考架构模型的软件组件。软件开发人员和应用程序开发人员可提供兼容软件。
通常,扮演数据创建者角色的参与者会自动承担数据所有者的角色。但是,如果数据的权利或许可被赋予不同的参与者,则该参与者将承担数据所有者的角色。在这种情况下,数据所有者和数据创建者将是不同的参与者。
最初,充当数据创建者的参与者也会自动承担数据提供者的角色。但是,在某些情况下,数据提供者不是数据创建者,例如,如果数据在技术上由不同于数据创建者的实体管理。这可能是一家公司使用外部 IT 服务提供商进行数据管理,或者数据管理活动移交给数据中介(参见下文)作为数据受托人的情况。
如果数据所有者不同时充当数据提供者,则数据所有者的唯一活动是授权数据提供者将其数据提供给数据消费者使用。任何此类授权都应通过合同记录,合同中应包括所提供数据的数据使用政策信息(请参阅IDS 中的使用控制)。合同不一定是纸质文件,也可以是电子文件。
例如,在完成或部分数据交易后,数据提供商可以在清算所记录交易成功(或失败)完成的详细信息(见下文),以方便计费或解决冲突。此外,数据提供商可以使用 IDS 连接器中的应用程序以某种方式丰富或转换数据,或提高其质量。数据应用程序是可以加载到 IDS 连接器中的特定应用程序,从而链接到数据交换工作流。
数据客户
数据消费者从数据提供者处接收数据。从业务流程建模的角度来看,数据消费者是数据提供者的镜像实体;因此数据消费者执行的活动与数据提供者执行的活动类似。
如果数据由服务提供商处理(见下文),则数据客户将充当服务消费者的角色。例如,当数据所有者/提供商将使用策略附加到数据上时,可能会发生这种情况,该策略要求在将数据交给消费者之前由第三方服务(即服务提供商)处理数据。然后,数据客户既是数据消费者又是服务消费者。
与数据所有者是对其数据拥有合法控制权的法人实体类似,数据用户是拥有使用政策所规定的合法权利使用数据所有者数据的法人实体。数据用户可以与数据消费者相同。但是,在某些情况下,这些角色可能由不同的参与者承担。例如,患者可以使用基于 Web 的软件系统来管理其个人健康数据,并授予健康教练访问这些数据的权限。数据可以从医院接收。在这种情况下,健康教练将是数据用户,而基于 Web 的软件系统的提供商将是数据消费者。
在现有的、大多相当静态的关系中,数据客户和数据供应商已经相互了解并打算交换特定数据集(例如,要生产的特定部件的产能信息)。在这些情况下,数据消费者直接从数据提供者请求数据(和相应的元数据),或者数据提供者直接将数据推送给数据消费者。
如果数据客户搜索由多家供应商提供的数据类型,例如天气数据,数据消费者可以通过向充当元数据代理基本角色的数据中介机构进行查询来搜索现有数据集(参见下文)。然后,数据中介机构(元数据代理)为数据消费者提供所需的元数据,以便其连接到数据提供商。
与数据提供者一样,数据消费者可以在清算所记录成功(或不成功)的数据交换交易的详细信息,使用应用程序来丰富、转换等收到的数据,或使用元数据代理来检索数据源。
第 2 类:中介
中介机构充当受信任的实体,通常被视为“平台”。与大量数据供应商和客户相比,它们承担着相当重要的角色,尽管可能存在多个扮演相同角色的平台,尤其是竞争平台。分配给此类别的业务角色包括数据中介、服务中介、应用商店、词汇中介、清算所和身份认证机构。最有可能的是,中介机构的业务模式将导致某些业务角色的组合,例如同时充当数据中介和服务中介。
中介角色只能由受信任的组织承担。他们通过建立信任、提供元数据以及围绕其服务创建业务模型,为 IDS 中的参与者创造利益。
数据中介
数据中介机构是平台运营者,主要承担数据相关的基础角色数据提供者/数据消费者、元数据经纪人。
数据中介承担着数据提供者或数据消费者的基本角色,分别代表数据所有者或用户负责执行数据交换。因此,向数据消费者提供数据是数据提供者的主要活动。
为了方便数据消费者的数据请求,数据中介将向数据代理提供有关数据的适当元数据。作为元数据代理,数据中介存储和管理有关国际数据空间中可用数据源的信息。在国际数据空间中提供元数据代理的组织可以同时承担其他中介基本角色(例如服务代理、清算所或身份认证机构,见下文)。因此,承担更多基本角色意味着参与者必须执行更多任务。
元数据代理的活动主要集中在接收和提供元数据。元数据代理必须为数据创建者提供发送元数据的接口。元数据应存储在内部存储库中,以便数据消费者以结构化方式查询。虽然元数据模型的核心必须由国际数据空间指定(即由信息模型指定,参见信息层),但元数据代理可以扩展元数据模型以管理其他元数据元素。
元数据代理向数据消费者提供了某个数据提供者的元数据后,不再参与后续的数据交换过程。
服务中介
服务提供数据分析、数据集成、数据清理或语义丰富等功能,以提高国际数据空间中交换的数据质量。与数据中介类似,服务中介是提供服务元数据、服务本身(即包括计算时间作为受托人的应用程序)或两者的平台运营商。因此,服务中介通常主要承担服务提供商和/或服务代理的服务相关基本角色。
服务提供商从数据提供商(或另一个服务提供商)接收数据,并将计算结果返回给数据提供商或将其定向到指定的数据消费者(该消费者同时是服务消费者)。从服务中介接收处理数据的参与者可以再次成为服务中介,因为数据可以通过 IDS 中任意数量的服务实例进行路由。
为了提供服务,服务提供商在其 IDS 连接器中安装应用程序,这些应用程序可以由参与者自己开发,也可以由第三方应用程序提供商开发。服务中介就是应用程序消费者。就像数据的情况一样,服务所有者可能与服务提供商是不同的组织。然后,服务提供商代表所有者运营服务。
为了让 IDS 中的其他参与者能够检索可用的服务,服务中介也可以承担服务代理的角色。服务代理类似于元数据代理,在 IDS 中提供有关当前服务的元数据。
应用商店
App Store 的业务角色负责分发数据应用程序。与服务提供商相反,算法不在 App Store 平台上执行,而是提供给应用程序消费者的 IDS 连接器下载。如果所有者获取(购买)应用程序,但允许将其分发给服务提供商,则应用程序消费者和应用程序所有者可能不同。App Store 角色通常包括应用程序经纪人和应用程序提供商的基本角色。应用程序由应用程序创建者编程,应用程序创建者可以但不必与应用程序所有者相同(参见上面的数据所有者/创建者)。
App Store 首先负责管理有关应用程序的信息。这是元数据代理的角色。App Store 应提供发布和检索应用程序以及相应元数据的接口。在大多数情况下,App Store 其次还将承担应用程序提供商的基本角色,因为这在手机应用程序商店中很常见。然后,App Store 从技术上代表应用程序所有者提供应用程序。然而,不仅数据,而且应用程序也可能是敏感的,因此应存储在应用程序所有者的范围内。在这种情况下,应用程序代理和应用程序提供商的角色将由不同的参与者担任。
根据业务模式,应用商店也可能充当应用所有者的角色,因为商店可能拥有特定应用的许可证。由于应用商店可能对所提供应用的有效性和功能负责,因此应用商店也可以充当应用认证者。
词汇中介
词汇中介机构在技术上管理和提供词汇(即本体、参考数据模型或元数据元素)。词汇中介机构通常承担词汇发布者和词汇提供者的基本角色。词汇由相应的标准化组织拥有和管理(参见类别 4)。
词汇表可用于注释和描述数据资产。这些数据资产至少可以包括:
国际数据空间信息模型,是描述数据源的基础(参见信息层)。IDSA 管理的 IDS 中只有一个信息模型。
领域特定词汇:它们对于 IDS 的可扩展性和成功至关重要。例如,领域以非常常见的链接开放数据 (LOD) 集表示。例如,“基因本体”是生命科学部分内容的统一词汇,“GAO”是汽车行业的统一词汇,等等。
法律术语:为了描述使用政策并实现智能合约,法律术语必须以机器可读和可理解的方式进行编码。IDS 信息模型定义了开放数字版权语言 (ODRL) 来描述使用政策。不过,IDS 社区(例如(封闭的)供应链网络或特定领域的 IDS 计划)可以定义其他(补充或替代)词汇,例如将国际商业术语 (Incoterms) 描述为本体或对 iShare 方案的引用。
没有专门或排他性的角色来创建词汇表。通常,标准化组织(如 ISO、EN、IEEE 等)以及行业协会会定义可以制定为词汇表(词汇表创建者和所有者)的标准。除了 IDS 信息模型之外,还可以有多个词汇表描述相同的上下文(例如不同类型的智能合约或使用策略描述)。同一上下文的单个词汇表支持标准化,从而支持兼容性工作。多个词汇表提供了灵活性和竞争力。
要找到正确且最新的词汇,必须借助词汇发布者来检索它们。这是一个词汇元数据存储库。在大多数情况下,由于词汇通常(为了其目的)是开放的,词汇中介也将充当词汇提供者,即从技术上提供词汇以供下载。
词汇用户是所有使用词汇的实例,例如数据供应商、数据客户、服务中介、数据中介、应用商店等。词汇中介也可能使用词汇来描述词汇库。
清算所
清算所是为所有金融和数据交换交易提供清算和结算服务的中介机构。在国际数据空间中,清算活动与任何经纪服务分开,因为这些活动在技术上与维护元数据存储库不同。如上所述,清算所和其他中介角色仍有可能由同一组织承担,因为这两个角色都需要充当数据供应商和数据客户之间的可信中介。
清算所记录数据交换过程中执行的所有活动,从而承担交易清算人的角色。在完成数据交换或部分数据交换后,数据供应商和数据客户都通过在清算所记录交易详细信息(例如通过分布式账本技术)来确认数据传输。根据此记录信息,可以对交易进行计费。记录信息还可用于解决冲突(例如,澄清数据客户是否已收到数据包)。清算所还提供有关已执行(记录)交易的报告,以供计费、解决冲突等。
身份认证
身份认证机构应提供创建、维护、管理、监控和验证国际数据空间参与者身份信息的服务。这对于国际数据空间的安全运行和避免未经授权的数据访问至关重要。因此,IDS 中的每个参与者都不可避免地拥有一个身份(描述相应的参与者)并使用身份进行身份验证。
身份认证机构由一个认证机构(管理国际数据空间参与者的数字证书)、一个动态属性配置服务(DAPS,管理参与者的动态属性)和一项名为动态信任监控(DTM,用于持续监控网络的安全性和行为)的服务组成。有关身份管理的更多详细信息,请参阅安全视角。
通常,身份由身份认证机构创建,然后充当身份创建者。从目录的意义上讲,如果所有者需要,认证机构还会发布身份,尤其是提供证书、DAPS 等以用于身份验证。这些是基本角色:身份发布者和身份认证者。
第 3 类:软件开发者
此类别包括为国际数据空间参与者提供软件的 IT 公司。此类别下的角色包括业务角色应用程序开发人员和连接器开发人员。
这些角色通过向国际数据空间的参与者提供软件来创造效益。请注意,提供用于建立数据交换交易端点的软件(例如 ERP 或 MES 等企业系统或其他平台)的过程不属于国际数据空间的一部分,因为它发生在组织加入 IDS 之前。
应用程序开发人员
应用程序开发人员开发用于 IDS 连接器的数据应用程序。因此,应用程序开发人员通常涵盖基本角色应用程序创建者,并且只要数据应用程序不是由他人创建的,则涵盖应用程序所有者。
为了能够部署,数据应用程序必须符合国际数据空间的系统架构(参见系统层)。此外,数据应用程序可以通过认证机构进行认证,以增加对这些应用程序的信任(尤其是对于处理敏感信息的数据应用程序)。
数据应用程序发布后,很可能在应用商店中提供给数据客户、数据供应商或中介机构。应用程序开发人员应使用元数据(符合元数据模型)描述每个数据应用程序的语义、功能、接口等。
连接器开发人员
连接器开发者提供软件来实现国际数据空间所需的功能(即通过软件组件,如系统层中所述)。与数据应用不同,软件不是由应用商店提供的,而是通过连接器开发者通常的分销渠道交付,并根据连接器开发者与用户(例如数据客户、数据供应商或中介)之间的单独协议使用。此程序意味着部署和软件使用的协议(例如许可证)仍然不在国际数据空间的范围内。
连接器开发者通常承担基本角色:连接器创建者、连接器所有者,以及(考虑到上面描述的软件分发方式)连接器提供商。
类别 4:治理机构
IDS 中的治理机构有权力和任务来制定和执行准则,以标准化数据交换、建立信任并最终实现 IDS 的可持续运营。认证机构、评估机构、标准化组织和国际数据空间协会是治理机构类别中的业务角色。
认证机构和评估机构
国际数据空间的参与者受益于认证机构和评估机构,因为这些机构负责认证过程并颁发证书(对于想要参与的组织和要使用的软件组件而言)。
认证机构与选定的评估机构一起负责对国际数据空间的参与者和核心技术组件进行认证。这些治理机构确保只有合规的组织才能访问受信任的商业生态系统。在此过程中,认证机构监督评估机构的行动和决策。
因此,从技术角度来看,基本角色有Connector Certifier、App Certifier和服务 Certifier。
认证视角中描述了流程中应用的认证方案。
标准化组织
标准化组织管理的标准通常被描述为本体或词汇。一般来说,既没有声称标准具有排他性,也没有义务应用它。一个例子可能是国际商业术语 (Incoterms),它是物流领域的共同法律基础,但必须应用。特定领域的标准化组织例如 Odette,这是一家为汽车行业制定数据标准的欧洲组织。
因此,标准化组织的业务角色包括词汇创建者和词汇所有者这两个基本角色。
在标准化组织中,IDSA 扮演着特殊的角色,拥有唯一管理 IDS 参考架构模型和信息模型的权力。
国际数据空间协会 (IDSA)
国际数据空间协会 (IDSA) 是一个非营利组织,致力于促进国际数据空间的持续发展。更具体地说,它支持和管理参考架构模型的持续发展和参与者认证流程。国际数据空间协会目前由多个工作组组成,每个工作组都针对一个特定主题(例如架构、用例和要求或认证)。协会的成员主要是大型工业企业、IT 公司、中小企业、研究机构和行业协会。
由于国际数据空间协会不直接参与国际数据空间的数据交换活动,因此其作用将不会在其他层的部分中进一步讨论。
本文来自微信公众号“数据驱动智能”(ID:Data_0101),作者:晓晓,36氪经授权发布。