一文读懂数据工程的基础知识

对于所有数据工程新手来说，了解数据工程的基础知识至关重要。本文将是您进一步学习数据工程的跳板。

数据工程是每家数据驱动型公司的基石。从数据收集到决策，几乎所有数据使用步骤都依赖于数据工程。它堪称现代公司的血液。数据流？没错，创建数据流正是数据工程师的工作之一。但我们先别急，先从基础开始。我们先来定义一下数据工程，然后再详细讨论它的基本组成部分。

一 数据工程的定义

数据工程是设计、构建和维护系统的过程，该系统可以收集数据、存储数据、分析数据并基于数据做出决策。

这是所谓的“数据提供者”的工作之一，因为其目的是让其他数据用户（例如数据分析师、数据科学家、机器学习工程师）能够访问数据，同时确保数据质量、准确性和格式适用性。

二 数据工程的基础知识

只有了解数据工程的基本原理才能更好地理解数据工程。

基础1：数据源和数据获取

数据工程师通常从许多不同的来源提取数据，并将其存储在一个地方，例如数据仓库。这个过程称为 数据提取 。

有几种不同类型的数据源、数据提取方法和工具。

数据源类型

根据数据类型，数据源可分为以下三类之一。

1.结构化数据源

结构化是指数据遵循预定义的模式，该模式将数据组织在由行和列组成的表中。每一行代表一条数据记录，而每一列代表一个数据属性。这听起来很像关系数据库的定义，这并不奇怪，因为它们是结构化数据源的示例之一。

结构化数据适合表示对数据一致性要求较高、复杂查询效率要求高的数据。

a）关系数据库

正如我们已经提到的， 关系数据库 以表的形式组织数据。每个表存储特定实体类型的数据，例如客户、员工或订单。

对于员工表，每一行代表一名员工，而 first_name、last_name、date_of_birth 和 address 等列是员工的属性。

关系数据库中的数据由关系数据库管理系统 (RDBMS)管理，该系统采用 SQL 编程语言。

最流行的 RDBMS 是：

PostgreSQL

MySQL

SQL 服务器

甲骨文

b) 客户关系管理 (CRM) 系统

这些系统存储有关客户的详细数据，例如个人信息、联系方式、订单历史记录、状态、互动历史记录等。正如您所料，它们用于管理客户关系和销售并创建个性化促销。

CRM 的示例包括：

Salesforce

HubSpot CRM

Microsoft Dynamics 365 CRM

Zoho CRM

c) 企业资源规划（ERP）系统

ERP 的目的是整合公司内部的业务流程 。它主要收集来自财务、 生产 、人力资源、 仓储 管理和 供应 等各个部门的数据，并将其集成到一个存储库中。这样做的目的是简化运营，改善部门间的协作、数据准确性和决策能力。

流行的 ERP 有：

SAP ERP

甲骨文NetSuite

微软 Dynamics 365 ERP

Epicor ERP

2.半结构化数据源

半结构化数据采用了一定程度的数据组织方式（使用标签或标记来区分数据），但同时又不像结构化数据那样拥有固定的模式。这使得这类数据介于结构化数据和非结构化数据之间。

此类数据主要有四个来源。

a) JSON文件

JavaScript 对象表示法 (JSON) 是一种源自 C 系列语言（包括 Java）约定的数据格式，但与语言无关。JSON 文件中的数据以 名称-值对或有序值列表的 形式组织。

b) 可扩展标记语言（XML）文件

XML 文件 是灵活的文本数据源，通常用于通过互联网交换数据。Web 服务和 API 通常使用这种格式。XML 文件存储数据和元数据，并使用标签提供上下文。它们使用标记语言来提供数据结构。

c) HTML文档

这是另一种基于标记语言的数据源；这次是 HTML，即超文本标记语言 。它是创建网页的标准语言，包含有关页面布局及其内容的信息，允许 Web 浏览器将所有数据显示为您在浏览器中看到的网页。与 XML 文件一样， HTML 文档 也使用标签来构造数据。网页上要显示的内容位于这些标签之间。

d) 电子邮件

电子邮件是半结构化数据的典型代表。电子邮件的结构化元素由电子邮件协议（例如 SMTP（简单邮件传输协议）） 定义。这些元素包括发件人（From:）、收件人（To:）、主题、日期和时间、回复、邮件 ID 和附件。

电子邮件的非结构化元素包括正文、内嵌图像和媒体。

3.非结构化数据源

非结构化数据是一种缺乏预定义数据模型且没有系统组织的数据类型。

以下是一些最常见的非结构化数据源示例。

a) 文本文档

这些包括文本处理文件（例如 Word 或 Google Docs 文档）、PDF 和其他包含自由格式文本数据的来源。

b) 社交媒体帖子

Facebook、X、Instagram 或 LinkedIn 等平台的社交媒体帖子包含各种数据类型，例如文本、图像、视频、主题标签、用户提及等。

c) 视频

它们包含音频和视频内容，必须分别存储和分析。

d) 图像

其中包括照片、图形和其他视觉数据。

数据提取方法

提取数据主要有两种方式。

1.批处理

批处理 是指按预定的时间间隔（例如在一天结束时）收集和处理数据。这种方法适用于需要即时访问数据的情况。以每日批处理为例，这意味着数据用户可获得的最新数据来自前一天。

与实时数据处理相比，这种方法简单，而且效率高，因为它可以通过批量处理数据来优化资源。

信用卡账单、工资单、系统备份和财务数据都是通常批量处理的数据的例子。

2.实时流媒体

这是一种更复杂的数据处理方法，涉及持续收集数据并在数据可用时进行处理。

实时流媒体 可以立即洞察数据并提高组织对事件的响应能力。

股票市场数据、零售库存管理、IT 系统监控、欺诈检测、社交媒体信息以及 GPS 系统的位置数据都是实时流媒体的典型示例。

数据提取工具和技术

以下是一些在批量数据提取方面表现出色的工具示例：

Informatica PowerCenter—— 一个数据集成平台，支持从各种来源批量提取和处理数据

Talend—— 批量数据提取、数据迁移和同步任务

Apache Flume—— 用于收集、聚合和移动大量日志数据

Apache NiFi— 自动化数据流管理和从各种来源到多个目的地的批量数据提取

实时流式传输中常用的工具有：

Apache Kafka—— 用于构建实时数据管道和流应用程序的分布式事件流平台

Amazon Kinesis—— 允许持续捕获、处理和分析流数据

Apache Nifi—— 它也适用于实时数据流，因为它广泛支持各种数据格式和协议

Airbyte—— 通过一系列适用于不同数据源的连接器支持实时数据提取

基础2：数据存储和管理

数据被摄取后，必须存储在某个地方，为此我们使用数据存储系统。

数据存储系统

有三种主要的数据存储系统。

1.数据库

数据库是以一种允许高效数据存储、管理和查询的方式组织的数据集合。

它们非常适合交易系统（例如银行系统、CRM、电子商务平台），这些系统需要快速处理一致且高度完整的数据。

说到数据库，通常指的是关系数据库——数据使用预定义的模式存储在表中。关系数据库用于存储结构化数据。

我们已经了解到，用于管理关系数据库中数据的工具称为关系数据库管理系统 (RDBMS)，并列出了最流行的

然而，非关系型（或NoSQL）数据库也很常用。它们用于存储和管理半结构化和非结构化数据。以下是几种主要的NoSQL数据库类型和常用工具：

MongoDB 、 CouchDB—— 面向文档的 数据库

Redis 、 DynamoDB— 键值存储

Apache Cassandra 、 HBase— 列 式 存储

Neo4j 、 Amazon Neptune— 图形数据库

2.数据湖

这些是集中式数据存储库，以原始格式存储大量原始结构化、半结构化和非结构化数据。它们用于大数据分析、机器学习和人工智能。

以下是几种常见的 数据湖 ：

Amazon S3

Databricks Delta Lake

Snowflake

Google Cloud Platform (GCP)andBigLake

Azure Data Lake Storage

Starburst Data Lakehouse

Dremio

3.数据湖屋

数据 湖屋 与数据湖类似，都是集中式数据存储库。它们也整合来自各种资源的数据。然而，与数据湖不同的是，数据仓库旨在存储结构化（有时是非结构化）数据，并针对查询、分析和报告进行了优化。

上述定义使得数据仓库通常用于存储历史数据和商业智能（BI）。

选择合适的存储解决方案

最适合您需求的存储解决方案才是最佳的。在寻找最佳存储解决方案时，您应该考虑几个因素，例如所使用的数据、数据量、存储可扩展性、计划的存储用例，当然还有成本。

数据存储中的数据治理和安全

近年来，管理数据并确保其安全已成为一个日益重要的主题，并通过欧盟的 《通用数据保护条例》（GDPR） 或 《加州消费者隐私法案》（CCPA） 等法规得到认可。

数据治理是指组织内的一套政策和程序，确保数据的完整性、可用性和可用性，同时根据监管要求保护数据隐私。

有效的数据治理通常包括这些要素。

1. 数据治理框架：概述数据管理的角色、职责和流程。

2. 数据政策和程序：涵盖数据管理实践，包括数据质量、数据隐私、数据生命周期管理和数据使用。

3. 数据质量管理：确保数据质量的措施，包括数据审计、清理和验证。

数据安全是指保护数据免受未经授权的访问、安全漏洞和其他类似威胁。其目标是确保数据的机密性和可用性。

它通常涉及这些安全措施。

1. 访问控制：只有授权用户才能访问敏感数据。

2. 数据加密：通过将数据编码为只有拥有相应加密密钥的人员才能解密的格式，保护传输中和静态数据。

3. 法规合规性：确保遵守 GDPR 或 CCPA 等法规。

4. 事件响应计划：这涉及制定检测、响应和恢复安全漏洞的程序。

基础#3：数据处理和转换

你获取的数据通常不连贯、不完整且不一致。为了将其用于分析和洞察，必须对其进行处理和转换。

数据清理和预处理是其中至关重要的步骤。

数据预处理技术

数据预处理包括将数据转换为可用的格式。它通常涉及这些技术。

1. 数据清理：这意味着从数据中删除错误、不一致和不准确的信息。2. 数据规范化：这是将数值数据缩放到标准范围（例如，从 0 到 1）的过程，因此所有特征对分析的贡献都是平等的。3. 数据转换：此过程是指对数据进行数学转换（例如，使用 对数转换 ），使数据更符合正态分布。4. 编码：此技术采用分类数据并将其转换为数值格式，例如， 独热编码 或 标签编码 。它使这些数据可被 ML 算法读取。5. 数据聚合：此技术的目的是通过在多个级别（例如，每日或每月总计、客户级别、订单级别等）上聚合数据来从中获取一些见解。

虽然所有这些数据预处理技术都很重要，但数据清理通常是最耗时且最重要的。

数据清理技术

清理数据时常用几种技术。

1. 错误移除：这包括删除重复数据、NULL 值和不正确的条目，并填充缺失数据。

2. 标准化：此技术指的是标准化数据格式，例如应用一致的日期和时间格式或分类标签。

3. 异常值检测：异常值 可能会影响数据分析和洞察，因此在此阶段识别并解决异常值至关重要。

ETL（提取、转换、加载）流程

ETL 过程 指的是提取、转换和加载数据。它是数据集成中的关键过程，因为它的目的是从各种来源收集数据，将其转换为可用的格式，然后将其加载到数据存储中以供进一步使用。

数据提取是指从多个来源（例如数据库、API 和平面文件）收集数据。在此阶段，识别所需数据，在数据源中定位并检索。

ETL 过程中的数据转换是指通过数据预处理技术将数据转换为可用的格式。

加载数据意味着将数据移动到数据存储系统（数据库、数据湖或数据仓库）以供进一步使用。

数据管道在自动化数据处理中的作用

ETL 经常与数据管道 混淆。通常，ETL 是一种数据管道，即批量处理数据的管道。

数据管道是一个更广泛的概念，指的是确保数据从源头流向最终目的地的步骤。它们被设计为可扩展、可靠且实时传输数据，这使得它们对于建立自动化数据处理至关重要。

它们用于自动执行这些任务。

基础#4：数据集成和聚合

数据集成是指将来自多个来源的数据收集到单个数据源的过程。

这确保数据得到整合，使组织中的每个人都能使用相同的数据。由于这涉及数据预处理和清理，它有助于提高数据质量、可访问性和可用性。总的来说，这可以提高业务效率，尤其是其决策过程。

数据集成方法

您已经了解到 ETL 在数据集成中至关重要，但它并不是唯一的数据集成技术。

我们在单独的部分介绍了 ETL，因此我们将重点介绍其他两种数据集成方法。

数据联合意味着创建一个虚拟数据库，允许用户访问来自多个来源的数据，就像访问一个单一的数据存储库一样。这是一种提供统一数据视图的方式，无需实际的物理集成。

以下是数据联合的主要优势。

另一种数据集成方法是 API集成。API （集成编程接口）是一组规则、协议和工具，允许不同的软件应用程序相互通信。它们充当应用程序之间的桥梁，无论其底层技术如何。

API 集成的工作方式是：当一个应用程序向另一个应用程序请求数据时，它会通过API 调用进行请求。此调用会被处理，并将数据提供给请求它的应用程序。

这些是 API 集成的优势。

数据聚合和汇总策略

在数据工程中，聚合数据意味着收集来自多个来源的数据并将其组合成一个数据集。这使得数据工程师能够使数据更易于管理，以便进行分析。

有三种基本的数据聚合策略。

1. 数据分组：根据共享属性将数据组织成类别（或组）。例如，销售额可以按时间段、地区或销售人员分组。

2. 数据汇总：将数据压缩成更紧凑的形式，突出主要洞察。这是迄今为止最常见的数据聚合策略，因此我们将专门用一节来介绍它。

3. 汇总数据聚合：它以更高的粒度汇总数据。例如，销售额可以按日汇总，然后按周、月、季度和年度汇总。

数据汇总技术

汇总数据的常用技术如下所示。

1. 平均数据：计算平均值，例如每月平均销售额、每个部门的平均工资、平均订单价值等。2. 汇总数据：计算总和，例如每月总销售额、每个客户的订单总价值等。

3. 计数：这意味着计算数据的出现次数，例如每月交易次数、每周新客户数量或员工数量。4. 最小值/最大值：这指的是在数据集中查找最小值和最大值，例如最高和最低工资或最早和最新的订单。

数据集成工具

以下是一些流行的数据集成工具。

1. Apache NiFi：一种数据集成工具，可自动化不同系统之间的数据流，并支持广泛的数据源和目标。2. Talend：一种 ETL 工具，提供一套数据集成应用程序等。有了它，您可以连接、转换和管理跨系统的数据。3. Informatica：一种全面的数据集成工具，提供数据集成、质量和治理解决方案。它支持复杂的数据工作流，并与众多数据源和目标集成。4. Fivetran：一种相对简单的数据集成工具，可自动连接不同的数据源并将数据加载到数据仓库中。5. AWS Glue：亚马逊推出的一款无服务器 ETL 工具，非常适合集成数据以进行分析、机器学习和应用程序开发。6. Apache Spark：一种用于大数据处理的开源统一分析工具，以其速度和与其他大数据工具的无缝集成而闻名。

基础＃5：数据质量和验证

数据质量是一个更广泛的概念，指数据总体的准确性、完整性、一致性、可靠性和有效性。

数据验证是一个更狭窄的概念，也是确保数据质量的一种方法；它确保数据在处理之前的准确性和符合特定标准。

数据质量的重要性

数据质量对于准确的数据分析和决策至关重要。我们可以参考流行的“垃圾进垃圾出”（GIGO）原则。无论你的分析多么复杂，如果你基于不准确和不完整的数据，那么你的分析以及基于此做出的决策都将是垃圾。

数据验证和质量保证技术

数据验证技术

数据验证技术有很多种，以下是最重要的几种。

如果其中一些看起来很熟悉，那是真的——我们已经在数据清理部分提到过它们。数据验证和数据清理之间的关系是：数据验证是预防性的，因为它试图防止数据不一致和准确性问题。数据清理是一种纠正措施，因为它处理的是数据中已经存在的不一致问题。

那么，回到数据验证技术。

1. 模式验证：确保数据符合预定义的数据类型、结构和关系。2. 格式和数据类型检查：检查格式和类型可验证数据的类型（例如，日期是日期类型，而不是文本类型）和格式（例如，日期是 YYYY-MM-DD 格式，而不是 DD-MM-YYYY 格式）。3. 空值和缺失值检查：通过检查空值和缺失值来确保数据的完整性。4. 范围检查：一种数据验证技术，用于确认数据是否在指定的范围内，例如，电子商务平台用户是否年满 18 岁。5. 重复检测：此技术用于查找和删除重复数据。6. 一致性检查：检查数据在不同的数据集和系统之间是否一致，例如，检查销售数据库中的销售额是否与库存管理数据库中的相同。7. 源系统环回验证：验证从系统中提取的数据是否与原始数据匹配；例如，如果正在迁移销售数据，则应检查新系统中的销售额是否与旧系统中的销售额相匹配。

8. 持续的源到源验证：在不同系统之间比较数据的持续过程。

数据质量保证技术

这些是数据质量保证中常用的技术。

1. 自动检查：数据质量检查可以通过自动化脚本和工具实现自动化，从而降低出错的可能性。

2. 手动验证：可与自动检查结合使用，以确保发现自动检查可能遗漏的错误。

3. 数据分析：这意味着分析数据的结构、内容和质量（例如，格式、值分布、缺失值、重复值、异常值和不一致性）。它有助于在数据进入系统并对其造成影响之前识别问题。

4. 第三方验证：涉及与外部来源交叉核对数据，例如，检查客户信息是否与国家身份数据库匹配。

持续监控和维护数据质量

确保数据质量是一个持续的过程。新数据不断流入组织，并在系统之间不断移动。因此，必须使用这些技术持续监控和维护数据质量。

1. 定期审计：进行审计意味着系统地审查数据，以保持一致性、准确性和完整性。如果您定期进行审计，就能始终掌握任何潜在的数据质量问题。

2. 自动验证流程：如果将数据验证流程自动化，这将减少维护数据质量所需的手动工作量（和错误）。验证流程自动化后，它可以持续独立地处理数据质量问题，例如缺失值、重复数据和不一致问题。检测到问题后，系统会通知组织内的指定人员解决问题。

3. 监控工具：使用数据质量监控工具还可以持续监控整个组织的数据质量。这些工具为您提供实时仪表板和自动报告，显示数据质量的当前状态以及任何与既定标准的偏差。这可以立即对数据质量问题做出反应并迅速解决。

以下是一些您可以使用的工具的建议：

Great Expectations

Deequ

Monte Carlo

Anomalo

Lightup

Bigeye

Acceldata

Collibra Data Quality & Observability

Ataccama Data Quality & Governance

IBM InfoSphere Information Server for Data Quality

基础#6：数据建模和分析

数据建模技术

在对数据进行建模时，采用了三种技术。

1.概念数据建模：概述组织数据结构的高级框架。该方法基于 实体关系图 (ERD)——它们展示了实体、属性以及数据之间的关系。由于这是一个概念模型，它并不涉及数据在实践中的实际实现方式。这种方法通常用于初始阶段，即尝试理解业务数据需求时。

2.逻辑数据建模：为概念模型添加更多细节，例如定义主键、外键和约束。但是，它仍然不涉及将在其中实现该概念模型的实际关系数据库管理系统 (RDBMS)。

3.物理数据建模：它特定于数据库，处理逻辑数据模型的实际实现。在此，您将创建实际的数据库模式，并定义数据在实际关系数据库管理系统 (RDBMS) 中的表示和存储方式。该模型还考虑了性能、存储和检索机制。模型的可视化为逻辑数据模型添加了有关触发器、过程和数据类型的详细信息。

以下是数据建模中常用的一些工具：

ERwin Data Modeler

ER/Studio

IBM InfoSphere Data Architect

Oracle SQL Developer Data Modeler

PowerDesigner

Visual Paradigm

数据建模在数据库和数据系统设计中的作用

数据建模在设计和开发数据库和数据系统时发挥着三个关键作用。

作用＃1：通过在数据建模阶段明确定义数据关系和约束，有助于实现数据的一致性、完整性和安全性。

作用＃2：数据模型通过逻辑高效地组织数据，帮助确保数据库性能、可扩展性和易于维护。

作用＃3：数据模型提供了数据需求的明确且易于理解的可视化表示，弥合了业务和技术利 益相关者之间的差距并增进相互理解。

数据分析与可视化，助您洞察

数据工程师使用数据分析来清理、转换和建模数据。数据分析帮助他们确保数据的准确性和一致性。

数据可视化通过在图表、图形和仪表板上显示数据趋势、异常值和见解来帮助发现它们。

以下是数据工程师经常使用的一些数据分析和可视化工具：

Tableau

Power BI

Apache Spark

Apache Kafka

Looker Studio

最重要的是，数据工程师使用这些Python 库来分析和可视化数据：

pandas

NumPy

PySpark

Matplotlib

seaborn

Plotly

基础＃7：可扩展性和性能优化

数据工程师工作的重要部分是管理数据系统的 可扩展性 并优化其性能。

扩展数据工程解决方案的挑战

扩展涉及处理不断增加的数据量及其复杂性，同时确保系统的（高效）性能。

1. 数据量不断增长：随着数据量的不断增长，数据系统可能难以处理和存储数据。

2. 数据复杂性不断增加：随着数据量的增加，其复杂性也随之增加。这可能涉及数据源数量的增加，或者需要处理多种数据类型，例如结构化、半结构化和非结构化数据。随着数据复杂性的增加，集成数据、维护数据质量以及确保跨数据系统的一致性变得更加困难。

3. 系统性能：这里的挑战在于确保系统性能不会随着数据量和复杂性的增加而下降或大幅下降。

优化数据管道和系统性能的技术

这些是用于优化数据管道和系统性能的主要原则。

1. 分布式计算框架：Apache Hadoop 和 Apache Spark 等工具使用分布式计算，可以更高效地处理大规模数据并实现高可用性。2. 基于云的解决方案：基于云的解决方案的主要优势之一是其可扩展性和灵活性。流行的云平台有 AWS 、 Google Cloud 和 Microsoft Azure 。3. 数据索引：另一种技术是创建经常查询的列的索引。4. 数据分区：此技术涉及将数据拆分为更小的数据集。由于现在可以单独处理每个分区，因此可以减少处理时间。5. 缓存：缓存是用于存储常用数据副本的临时存储器。使用这种技术还可以提高系统的性能。6. 微服务架构：应用这种方法意味着将应用程序分解为 微服务 。这可确保一个服务中的数据量激增不会影响整个应用程序。

处理大数据

您需要属于这些类别的特殊工具来处理大数据。

1.可扩展存储系统：这些工具可以 水平扩展 ，以适应不断增长的数据量。常用的工具有：

Google Cloud Storage

Microsoft Azure Blob Storage

IBM Cloud Object Storage

Dell EMC Isilon

NetApp StorageGRID

Cloudian HyperStore

2.分布式处理：通过在多个节点上并行处理大型数据集来减少处理时间对于处理大数据至关重要。以下是一些分布式处理工具：

Apache Hadoop

Apache Spark

Apache Flink

Apache Storm

Google Cloud Dataflow

Amazon EMR

Microsoft Azure HDInsight

Presto

3. 高级分析工具：这些工具可用于实时数据流（例如 Apache Kafka ）以及数据查询和分析，例如 Amazon Redshift 或 Google BigQuery 等数据仓库。它们之所以被认为是先进的，是因为它们融合了机器学习、实时数据处理、复杂事件处理、数据整理和准备以及数据集成等技术。

以下是一些其他实时数据流工具建议：

Apache Flink

Apache Storm

Amazon Kinesis

Azure Stream Analytics

Confluent Platform

此外，除了 Amazon Redshift 和 Google BigQuery 之外，还有几种可用于数据仓库的工具：

Snowflake

Microsoft Azure Synapse Analytics

IBM Db2 Warehouse

Teradata

Oracle Autonomous Data Warehouse

三 新兴技术和趋势

数据工程的当前趋势

数据工程中最热门的趋势是将人工智能和机器学习算法融入数据工程工作流程。这些技术可以自动化数据工作流程，并比人类更快、更准确地发现数据中的模式和趋势。

此外，机器学习算法正在逐渐融入数据管道。如此一来，预测分析和决策将变得更加自动化和高效。

云计算和无服务器架构的影响

云计算已不再只是一种潮流，它已成为数据工程领域的常见应用。AWS、Azure 和 Google Cloud 等平台在存储、处理和分析大型数据集方面非常高效。这为企业提供了可扩展且灵活的解决方案。

由于采用了无服务器架构，他们的成本仅为传统本地数据基础设施的一小部分。这种架构将数据工程师从管理基础设施中解放出来，使他们能够专注于数据解决方案的开发和部署。

数据工程专业人员的未来展望

随着公司大力投资数据基础设施并专注于实时数据处理，对数据工程技能的需求预计会增加。

除了传统的数据工程技能外，未来的数据工程师还必须越来越了解人工智能和机器学习，因为他们将更加融入数据工程过程。

四 结论

数据工程是一个非常复杂的领域，本文篇幅较长，仅涵盖基础知识。

数据工程的基础包括：

• 数据源和提取
• 数据存储和管理
• 数据处理和转换
• 数据集成和聚合
• 数据质量和验证
• 数据建模与分析
• 可扩展性和性能优化

本文来自微信公众号“数据驱动智能”（ID：Data_0101），作者：晓晓，36氪经授权发布。