如何使用 Azure 数据工厂的「复制资料」活动在 MySQL 中执行 .sql 增量檔案更新？

使用「复制资料」活动在 MySQL 中执行 .sql 增量檔案的 SQL 更新

背景

管理 MySQL 数据库时，经常需要将 SQL 更新应用于增量檔案。这些檔案包含插入、删除和更新语句，必须有效且准确地应用，以维护数据库的完整性。传统上，逐条处理这些语句需要耗费大量时间和资源。

解决方案：「复制资料」活动

Azure 数据工厂（ADF）的「复制资料」活动提供了一种简便的方法来解决这一挑战。此活动允许您将增量檔案中的 SQL 语句作为整体复制到 MySQL 数据库，从而避免了逐个语句执行的开销。

步骤指南

要使用「复制资料」活动执行 .sql 增量檔案的 SQL 更新，请按照以下步骤操作：

1. 创建链接服务

• 创建 Azure Blob 储存空间链接服务以连接到储存增量檔案的 Blob 储存空间。
• 创建 MySQL 链接服务以连接到目标 MySQL 数据库。

2. 创建「复制资料」活动

• 在 ADF 中创建一个「复制资料」活动。
• 将 Blob 储存空间链接服务配置为来源。
• 将 MySQL 链接服务配置为汇入。

3. 配置复制设定

• 在「复制设定」选项卡中，选择「SQL 语句」复制方式。
• 在「SQL 语句」文字方块中，输入从增量檔案执行的 SQL 语句。

4. 执行活动

• 触发「复制资料」活动以将 SQL 语句应用到 MySQL 数据库。

SQL 语句范例

使用以下范例 SQL 语句将增量檔案中的更新应用到 MySQL 数据库：

BEGIN;
@i = 0;
WHILE (@i < ROW_COUNT()) DO
  SET @i = @i + 1;
  CALL $(DynamicContent.body);
END WHILE;
COMMIT;

• 这段 SQL 语句使用循环遍历增量檔案中的每一行。
• 每行 SQL 语句都通过动态内容调用执行。
• 事务用于确保所有 SQL 语句要么全部执行，要么全部回滚。

优势

使用「复制资料」活动执行 SQL 更新提供了以下优势：

• 效率： 避免了针对每个 SQL 语句执行活动的开销，从而提高了效率。
• 准确性： 通过使用单一事务，确保所有更新要么全部成功，要么全部失败。
• 可扩展性： 此解决方案适用于包含大量 SQL 语句的大型增量檔案。
• 易用性： 使用「复制资料」活动提供了直观的界面，简化了配置和执行过程。

常见问题解答

1. 我可以复制包含其他 SQL 语句（例如创建表）的增量檔案吗？

不，该方法仅适用于包含插入、删除和更新语句的增量檔案。

2. 我如何处理增量檔案中的错误？

在「SQL 语句」文字方块中包含错误处理逻辑。例如，您可以使用 TRY-CATCH 块来捕获和处理错误。

3. 复制过程是否需要长时间才能完成？

复制过程的持续时间取决于增量檔案的大小和 SQL 语句的数量。建议使用增量加载来优化性能。

4. 我如何监控复制过程？

使用 ADF 管控中心或 Azure 门户中的活动监视来监控复制过程。

5. 我在哪里可以找到更多信息？

有关使用「复制资料」活动的更多信息，请参阅 Microsoft 文档：https://docs.microsoft.com/en-us/azure/data-factory/copy-data-sql