QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

实时流计算对等连接进阶

  • 2020-03-30
  • 本文字数:3234 字

    阅读完需:约 11 分钟

实时流计算对等连接进阶

为什么要有对等连接?上帝说要有路,于是有了路

大家知道,Cloud Stream 提供全托管的服务,用户将作业提交到集群运行时,无须关心后台集群的规模以及运行情况,减少运维的压力。事实上在用户不感知的情况下,Cloud Stream 在后台为每一个独享集群创建了单独的 VPC、子网,并将所创建的虚拟机绑定在这些网络平面上。


但有的同学要问了,实时流计算服务是要从数据源头读取数据,经过处理之后写入到另外一个数据端的。如果我想在流计算作业中读取属于我自己 ECS 上的数据(比如从 Kafka 输入数据),或者在实时流计算的作业中将数据写入到其他服务(RDS、DWS、DCS 等)的集群中,而往往这些节点或者服务的集群都会归属于用户自己的 VPC 或者其他账号的 VPC,Cloud Stream 能否支持这些跨 VPC 的访问呢?应该怎么做呢?



Cloud Stream 的研发小伙伴们也早早就考虑到了这个问题,并提出了通用的解决方案,那就是本文需要讲述的“对等连接”。如果大家对 VPC 服务比较了解,那么对对等连接的概念也不会陌生。



简单来说,当需要两个 VPC 互相通信时,就可以通过在 VPC 间建立对等连接来实现这一目的。


Cloud Stream 服务复用了 VPC 服务的接口,支持用户在创建的独享集群和其他 VPC 间创建对等连接,从而实现网络互通。更厉害的是,Cloud Stream 不仅支持建立实时流计算独享集群到本用户 VPC 的对等连接,也支持建立独享集群到其他账号 VPC 的对等连接。具体的操作步骤,请看下面的教程。

本账号?其他账号?条条大路通罗马

建立实时流计算集群到其他 VPC 的对等连接一般分为建立对等连接、配置路由等步骤,Cloud Stream 大大简化了页面上的基础操作,为用户提供了默认配置,并增加了连通性验证功能,提高易用性。


由于建立对等连接也需要对端 VPC 做相应的操作,而如果对端的 VPC 属于其他账号,这些操作不能由本账号进行。故我们分两个部分来讲解建立对等连接的步骤。

建立到本账号 VPC 的对等连接

  1. 通过点击“集群管理”标签页中对应的集群名称进入集群的详情页面,点击“对等连接”进入对等连接标签页,如下图所示:



  1. 点击“申请对等连接”按钮,弹出对话框,填写“名称”,默认创建与当前账号下 VPC 互通的对等连接,在下拉列表中可以选择“对端 VPC”。此处我们选择要连接的 peeringGo,如下图所示:



  1. 在创建的对等连接条目中,点击“接受请求”:



  1. 对等连接建立之后,需要创建两端的路由,保证在跨网络访问时,网络请求能被路由到相应的目的地。点击“添加路由”选项,进入创建路由的对话框:



可以看到,本端路由的目的地址和对端路由的目的地址已经由 Cloud Stream 自动填写,一般情况下使用默认的值即可。如果有定制需求的话,可以在编辑框里自行修改。用户也可以通过点击对话框上的蓝色选项来选择显示/隐藏对端或者本端的 VPC 信息。


  1. 测试连通性

  2. 到这里,创建对等连接的步骤就已经全部完成了。如果全部配置正确,那应该可以实现跨 VPC 的访问了。Cloud Stream 提供了一个功能来测试网络的连通性:


在集群详情页面,点击“测试地址连通性”按钮,在弹出框中输入需要测试的 ip 或者 ip:port 形式的地址和端口,点击确认按钮,即可以测试目标地址或者目标端口的连通性。


特别注意:测试地址连通性时,目的地址的机器不能禁 ping;测试目标端口的连通性时,需要保证目标端口开启,且安全组规则允许 Cloud Stream 集群所在的 ip 段访问此端口。


如果连通性测试不通,请参考本文最后的定位方法。

建立到其他账号 VPC 的对等连接

由于涉及到两个账号间的互相操作,建立到其他账号 VPC 的对等连接操作起来会稍微复杂一些。下面是步骤:


  1. 通过点击“集群管理”标签页中对应的集群名称进入集群的详情页面,点击“对等连接”进入对等连接标签页,如下图所示:



  1. 点击“申请对等连接”按钮,弹出对话框,填写“名称”,在第二栏选择“其他账号”,在“对端项目 ID”中填入对端的项目 ID,“对端 VPC ID”中填入对端的 VPC ID:



如何获取对端项目 ID 以及对端 VPC ID,请参考本节后附录。


  1. 我们看到创建的对等连接此时处于待接受状态,登录目的 VPC 所在的账号,进入虚拟私有云的控制台,点击“对等连接”标签,在对应的对应连接后点击“接受请求”:



4.创建对端路由


在目的 VPC 所在的账号,进入虚拟私有云的控制台,点击“对等连接”标签,点击对应的对应连接,进入详情页面。在对等连接详情页面上点击“添加本端路由”(同一个对等连接,本账号的对端路由即时目的 VPC 所在账号的本端路由),在弹出的对话框中填写目的地址(目的地址可以在实时流计算集群的集群详情页面看到):



5.创建本端路由


切换回本账号,点击集群的对等连接标签页中相应的对等连接的“添加路由”选项,进入创建路由的对话框:



在此处填入对端 VPC 的 CIDR 地址,点击确认即可。


6.测试连通性


测试连通性的方法与测试到本账号 VPC 的对等连接连通性方法相同。如果连通性测试不通,请参考本文最后的定位方法。

附录

获取对端项目 ID 以及对端 VPC ID

登录目的 VPC 所在的账号,点击右上角用户名称,在弹出的上下文菜单里选择“我的凭证”,在页面的“项目列表”中,选择对应区域的项目 ID,即是对端项目 ID:



登录目的 VPC 所在的账号,进入虚拟私有云的控制台,点击“虚拟私有云”查看所有的 VPC 列表,在对应的 VPC 条目上会显示 VPC ID,即为对端 VPC ID:


我的对等连接为何不通?倒掉鞋里的沙,轻松上路

没有配置路由

有些同学比较心急,创建完对等连接就开始使用了,但忽略了我们其实还有配置路由这个步骤。尤其是创建到其他账号的对等连接时,配置路由需要分别在本账号和其他账号中同时配置,这一步就很容易被忽略。


所以当对等连接的连通性得不到保障时,首先要排查这一点哦。

对端 VPC 的主机禁 ping

使用连通性测试目的 ip 连通性时,时常会遇到地址不可达的情况。这时候有两种可能性:一是目的主机可能出于安全的考虑设置了禁 ping,这就会导致连通性测试功能的返回接口不准确。二是目的主机没有开启 ICMP 协议的入口限制。


如果是第一个原因,则可以尝试使用 ip:port 的方式测试指定端口的连通性。如果是第二个原因,参考后文“没有设置安全组规则”的解决方法。

没有设置安全组规则

使用 ip:port 的方式测试连通性时,实时流计算集群访问的是指定主机的指定端口。而出于安全的考虑,有可能目的主机所在的安全组只允许特定的源访问特定端口。


这时就需要在目的主机所在的安全组规则中添加对实时流计算集群访问某端口的允许:



需要给安全组添加一个入方向规则,其中端口即为需要访问的端口,源地址一项选择 IP 地址,网段填写实时流计算独享集群所属的网段(在实时流计算集群的集群详情页面可以查询)。


某些情况下,使用目的地址进行连通性测试时,也有可能因为入方向没有允许 ICMP 协议的访问导致连通性测试失败。可以在入方向添加 ICMP 协议,端口设置 22,源地址的 IP 地址设置为实时流计算独享集群所属网段。

本端和对端 VPC 有网段冲突

虚拟私有云不允许在有网段重叠的 VPC 之间创建对等连接。如果对等连接的两端 VPC 有网段重叠,互相访问时路由则无法准确选择目的地址和下一跳的对应关系,导致无法访问。


所以在创建对等连接之前,一定要规划各服务网段,避免实时流计算集群所在的网段与其所直接连接的目的地址网段重叠。

对端 VPC 有多个对等连接连接到互有冲突的网段

和前一个原因类似,虽然一个实时流计算集群允许创建多个指向不同 VPC 的对等连接,但要求这些对等连接的网段不能互有冲突。当实时流计算集群的对等连接指向的 VPC 之间有网段重叠时,则从实时流计算集群发出的网络请求就无法有效地根据路由表被路由到正确的下一跳,导致网络连接失败。


另外,还有一种可能性是,实时流计算集群对等连接的对端 VPC 中创建了多个对等连接,其中有对等连接的对端 VPC 网段与实时流计算集群的网段重叠。这导致了实时流计算集群对等连接的对端 VPC 中的节点向实时流计算集群发送网络请求时,不能被正确的路由,导致网络连接失败。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/JwYmj-XPZ9KYw-LJiP9Djw


2020-03-30 10:47643

评论

发布
暂无评论
发现更多内容

如何通过1688平台API接口搭建跨境电商独立站并实现商品采集与下单

代码忍者

API 接口 pinduoduo API

史上最严数据新规落地,出海企业应如何应对这把悬在头上的“达摩克利斯之剑”?

亚马逊云科技 (Amazon Web Services)

落子全球,亚马逊云科技让中国企业出海“触手可及”

亚马逊云科技 (Amazon Web Services)

央国企“严选”!天翼云夺得IaaS+PaaS市场桂冠!

天翼云开发者社区

云计算 云服务 天翼云

淘宝API接入全攻略:从零开始的实战指南

代码忍者

pinduoduo API

Neo4j×Milvus:手把手教你搭建GraphRAG Agent

Zilliz

neo4j 图数据库 Milvus 向量数据库 GraphRAG Agent

Taro 鸿蒙技术内幕系列(二):如何让 W3C 标准的 CSS跑在鸿蒙上

京东零售技术

taro 鸿蒙 前端

极狐GitLab X 某清洁能源高科技企业,助力零碳技术开创更加美好的零碳世界

极狐GitLab

gitlab cicd geo

【教程】第三章:任务数据管理 —— 运筹帷幄,轻松上手

NocoBase

开源 低代码 教程 无代码

软件测试丨标准、高效的管理测试用例和活动

测试人

软件测试

为什么说ERP系统在国内用不起来?

积木链小链

数字化转型 数字化 ERP

鸿蒙原生游戏再添力作!《蔚蓝档案》HarmonyOS NEXT版上架华为游戏中心

最新动态

出海正当时,亚马逊云科技深度赋能中国生物医药企业全球化战略

亚马逊云科技 (Amazon Web Services)

Netty 如何自动探测内存泄露的发生

不在线第一只蜗牛

Java 内存泄露 Netty

汽车线束行业MES系统主要功能

万界星空科技

mes 万界星空科技 汽车线束行业 汽车线束mes

【GreatSQL优化器-01】const_table

GreatSQL

ColPali: 基于 PaliGemma-3B 和 ColBERT 策略的视觉检索器

吴脑的键客

人工智能 搜索算法

干货来袭 | 博睿数据《2024IT运维最佳实践白皮书》请查收!

博睿数据

分析时序数据:如何从 InfluxQL 迁移到 SQL

Greptime 格睿科技

sql 时序数据库 InfluxQL

利用京东API接口实现商品详情数据获取与表格化展示

代码忍者

API 接口 pinduoduo API

2025世亚软博会(北京展)正式开启预定

AIOTE智博会

软件展会 软博会 世亚软博会 北京软博会

事件管理革命:监控系统中统一日志和指标

Greptime 格睿科技

日志 时序数据库 指标

为何选择向日葵IT精英版?打造高效独立的个人远程IT支持方案

科技热闻

实时流计算对等连接进阶_文化 & 方法_华为云产品与解决方案_InfoQ精选文章