如何使用Amazon DocumentDB和Amazon MSK通过Kafka连接器流式传输数据

　　【恒云阿里云国际阿里云国际云】是上海恒云阿里云国际阿里云国际信息技术有限公司旗下品牌，坐落于魔都上海，服务于全球、2019年成为阿里云代理商生态合作伙伴。与阿里云代理商、腾讯云、华为云、西部数码、美橙互联、AWS亚马逊云国际站渠道商、恒云阿里云国际阿里云国际云,长期战略合作的计划！亚马逊云国际站代理商专业的云服务商！

　　本文由亚马逊云渠道商[恒云阿里云国际阿里云国际云] [ www.4526.cn]撰写。

578b7c491675a94f783a729362a53cd.png

　　在本篇文章中，我们将为您详细介绍如何使用 Amazon DocumentDB 和 Amazon MSK 通过 Kafka 连接器流式传输数据。

　　一、什么是 Amazon DocumentDB？

　　Amazon DocumentDB 是一种完全托管的文档型数据库服务，可通过 MongoDB 应用程序代码和工具进行操作。不仅可以缩短 MongoDB 数据库的迁移和开发周期，而且还可以提高应用程序性能和可用性。

　　二、什么是 Amazon MSK？

　　Amazon MSK（Managed Streaming for Kafka）是一项完全托管的 Apache Kafka 服务，可轻松地构建和运行高可用性、安全的数据流式处理应用程序。

　　三、为什么使用 Amazon DocumentDB 和 Amazon MSK？

　　通过结合 Amazon DocumentDB 和 Amazon MSK，可以轻松地构建出稳定、高可靠的数据流式传输系统。Amazon DocumentDB 处理大量的事务性数据，而 Amazon MSK 则负责处理更快速、实时的流式数据。两种服务相互配合，可以达到最优化的处理效果，为用户提供最佳的数据流体验。

　　四、如何使用 Amazon DocumentDB 和 Amazon MSK 通过 Kafka 连接器流式传输数据？

　　在本步骤中，我们将介绍如何通过 Kafka 连接器将数据从 Amazon DocumentDB 流式传输到 Amazon MSK。

　　1.准备工作

　　在此之前，我们需要确保您正常地运行了以下内容：

　　- 已拥有 Amazon DocumentDB 和 Amazon MSK 的实例；

　　- 正确安装 Maven 和 Java。

　　2.下载源代码

　　接下来，您可以从 GitHub 上下载我们提供的基于 MongoDB Change Streams 和 Kafka 连接器的源代码。

　　3.设置 AWS 认证

　　为了使程序能够通过连接器访问 AWS 的相关服务，您需要在运行程序之前设置 AWS 认证环境变量。这些环境变量的设定取决于您在运行时所拥有的 IAM 角色和权限等级。一些常用的参数如下：

　　```

　　-Daws.accessKeyId=<your-access-key-id>

　　-Daws.secretKey=<your-secret-access-key>

　　-Daws.region=<your-preferred-region>

　　```

　　4.使用 Maven 进行构建

　　在您下载我的代码之后，您可以在项目根目录下运行以下命令：

　　```

　　$ mvn clean package

　　```

　　Maven 将会为您生成一个 JAR 文件。

　　5.运行 Kafka Connect 连接器

　　在最后一步中，可以通过连接器去连接您的 Amazon DocumentDB 和 Amazon MSK。连接器可以通过调用先前构建好的 JAR 文件来进行操作。

　　```

　　$ bin/connect-standalone.sh config/connect-standalone.properties config/documentdb-source.properties config/kafka-sink.properties

　　```

　　以上就是使用 Amazon DocumentDB 和 Amazon MSK 通过 Kafka 连接器流式传输数据的全部内容。如果您想了解更多关于如何使用 Amazon Web Services（AWS）构建可扩展性和可靠性的应用程序，请访问官方网站。