无处不在的AWS云计算

2022 年 1 月 20 日 CSDN
作者 | 范桂飓

混合云与分布式云


早在 2017 年的时候,云计算行业开始意识到了多云和混合云将会是未来发展的主流趋势。因为随着浩浩荡荡的第一波上云浪潮翻过以后,企业用户开始意识到单纯的公有云或私有云都无法很好的满足企业生产业务需求的方方面面,而混合云结合了私有云与公有云的优势,逐渐成为了企业 IT 能力适应企业业务发展的积极方向。最典型的方面就是 “数据安全” 与 “成本效益” 的两全其美。
到 2019 年,根据 RightScale 发布的云状态年度报告中的数据也得到了进一步的证实,报告中指出:“有 85% 的受访企业采用了多云战略。其中,使用混合云的企业比例继续提高,由 2018 年的 51% 增长到 2019 年的 58%。”
在 17 年那时候,笔者也曾粗浅的在《从 2017 OpenStack Days China 看国内云计算的发展现状》中就混合云落地提出过 3 个问题。
1、如何让虚拟资源在异构虚拟化资源池之间灵活高效的进行迁移?
2、如何统一云平台的资源管理界面?
3、如何降低私有云和公有云之间通信的网络成本?
简单总结,就是 “数据迁移、网络互联、多云管理” 这 3 个方面。直至今天,笔者依旧认为 CMP(多云管理平台)虽然能够从运营层面带来成本效益(节流),但真正激活创新(开源)的关键还是在与如何打通不同朵云之间的 “虚拟网络切片”,继而实现高效的数据迁移,和部署(Deployment)迁移。
只是在前几年,主流的虚拟化技术还是虚拟机,在 “灵巧迁移” 方面表现不佳,一方面阻碍了企业混合云部署的进展,另一方面也没有刺激对网络增强的诉求。好在,近几年随着 Kubernetes 容器编排技术和 SDN/SD-WAN 技术的成熟,两者分别解决了“数据(只需要迁移相对少量的业务数据,而不需要迁移运行环境数据)”和“网络(低成本高质量的跨 DC/Cloud 接入)”的困难。到 2021 年前后,容器混合云逐渐被实践证明是一种能够规模化商业落地的混合云方式,正逐渐被大型的 ToC 互联网企业接受。回顾这些年间,各大公有云厂商也都在不遗余力的争夺着云原生社区的话语权以及 SD-WAN 的魔力象限。这或许可以作为背景因素之一。
笔者在今年(2021)夏天的时候有幸受邀参加了亚马逊云科技中国峰会(上海站)的“开发者之家《观点碰撞》”活动,与诸位亚马逊云科技的技术专家以及行业朋友们共同探讨了关于“混合云未来”的话题,希望共同推广容器混合云的价值理念,详见《你想知道的容器混合云问题,答案都在这里!》。
在其间,笔者主要希望探讨容器混合云在 5G MEC 场景中的应用。容器混合云所包含的两个基本特征:“不可变基础设备” 和“云网融合”,恰好与边缘原生的技术需求是非常匹配的。目前我们在国外市场中,也越来越多的遇见了由公有云服务提供商推出的 5G MEC 解决方案。
与之相应的,自 2020 年以来,随着 5G 和边缘计算的兴起,分布式云正在成为一种新的趋势。分布式云的定义是,将公有云服务(硬件 + 软件)分布到不同的物理位置(中心、区域、边缘),使服务更靠近客户希望的位置。而服务的所有权,以及运营、治理、更新、演进,仍然由原始公有云提供商负责。Gartner也作出了预测,到 2025 年,超过 50% 的组织将选择使用分布式云。
目前来看,企业用户对分布式云的主要诉求有 2 点:
1、混合云和多云带来的复杂度与成本成正相关,并在不断攀升,这与云计算降本增效的初衷向背。
2、分布式云解决了客户对 “低延迟、降低数据成本、安全数据驻留” 等应用场景的需求,以适应 5G 时代的新兴业务类型。
分布式云的特点就在于在靠近数据源的位置交付公有云服务,并且也是由公有云服务商负责运维,让客户在本地享有和公有云(集中式部署)同等的服务。可以预见的,混合云或多云的下一个演进方向就是分布式云和分布式边缘云,而多云互联网络对云计算发展的推动作用将会提升至一个新的高度。
基于这一点观察,也使得笔者格外关注今年的 AWS re:Invent 大会,看看业界公认的“云计算灯塔”又是怎样来理解分布式云的。结果不负期待,AWS CTO Dr. Werner Vogels 在 Keynote 中(视频链接:https://www.youtube.com/watch?v=8_Xs8Ik0h1w)为大家逐一介绍了 AWS Region、VPC、Local Zone、Wavelength、Outposts、Snow Series、Direct Connect、Cloud WAN 等产品,讲述了 AWS 对 Everywhere Cloud 的理解。令人惊叹的是 AWS Everywhere Cloud 已经跨越了 Skyline(地平线),开始飞向太空!
下面不妨让我们继续展开,看看 AWS 是如何重塑混合云,向分布式云进军的。

AWS 重塑混合云,向分布式云进军


首先,给到笔者印象最深刻的体会是,在业内还普遍认为 “混合云 = 私有云 + 公有云” 时,AWS 却对 Cloud、Local、Edge 这 3 者之间的关系进行了反思。AWS 对本地的定义不再仅限于 Local Data Center 或 Private Cloud,而是将 Network Edge(运营商网络边缘)、园区、旅店、偏远地区等等都归纳为本地。
由此,AWS 对混合云的定义被重塑成为了 “公有云 + 各种边缘”,即:将公有云的能力扩展至任何有 IT 需求的物理空间,并提供与公有云一致的企业用户/开发者体验,包括:服务、软件堆栈、API、Tools 以及运维能力。在核心理念上,是与分布式云相契合的。
在翻阅了这几年间 AWS 陆续推出的一系列产品矩阵后,也更加的验证了笔者的想法。可以说,AWS 目前已经构建出了面向 5G 时代的分布式云架构的战略蓝图。要理解 AWS 是如何重塑混合云的,我们首先需要了解这些产品的应用场景以及所能带来的效益。
1. AWS VPC
2. AWS Outposts
3. AWS Local Zone
4. AWS Wavelength
5. AWS Snow Series
6. AWS Direct Connect
AWS VPC
VPC(Virtual Private Cloud,虚拟私有云)是一个容易让人误解的称谓,是云?是网?让人迷惑。其实,从服务的角度来看是云;而从技术的角度来看是一种网络模式。
AWS VPC 最早由 AWS 在 2009 年提出,不过 VPC 的一些组成元素(网络、存储、计算)在其提出之前就已经存在。VPC 只是将这些元素以私有云的视角重新包装了一下,单一用户的云主机只能使用 VPC 内部的元素。所以 VPC 的本质是公有云服务商以打包的形式提供服务。
用户可以在公有云上创建一个或者多个 VPC,每个部门一个 VPC,对于需要连通的部门创建 VPC 连接。同时,用户也可以通过 VPN 将自己内部的数据中心与公有云上的 VPC 连接,构成混合云。不论哪种用例,VPC 都以更加直观形象让用户来设计如何在公有云上存放自己的数据。
从服务的角度来看 VPC 是一种服务
VPC 是一种运行在公有云上,将一部分公有云资源为某个用户隔离出来,给这个用户私有使用的资源的集合。它由公有云管理,但是保证每个用户之间的资源是隔离,用户在使用的时候不受到其他用户的影响,用户可以要求享受管理面、数据面、故障面的三重隔离,感觉就像是在使用自己的私有云(孤岛)一样。
VPC 有两种硬件租用模式,共享(Shared)和专属(Dedicated)。前者指 VPC 中的虚拟机运行在共享的硬件资源上;后者是指 VPC 中的虚拟机运行在专属的硬件资源上,不同 VPC 中的虚拟机在物理上是隔离的,同时 VPC 还帮助实现了网络上的隔离。专属模式相当于用户直接向公有云服务商租用物理主机,适合对数据安全比较敏感的用户。
专属 VPC 与私有云的多租户隔离有本质的区别,多租户隔离是为了 “共享” 底层基础架构的物理资源,只能做到管理面和数据面的隔离,做不到故障面的隔离(因为物力资源是共享的)。
从技术的角度来看 VPC 是一种网络模式
在 VPC 内,有多个 AZ。用户可以自由定义 Subnet 划分、IP Address 和路由策略,可提供网络 ACL 及安全组的访问控制。以 AWS VPC 为例,一个 VPC 会提供一个 Internet GW,用于 NAT、LB、VxLAN Routing。还会提供一个 VPC GW,用于 IPSec 接入。
VPC 是基于 “重叠网技术” 实现的虚拟化网络服务。重叠网的核心思想是利用隧道封装协议在底层网络上构建虚拟网络,底层网络负责提供转发通道,虚拟网络作为业务网络对外呈现。虚拟网络和物理网络分层解耦,虚拟网络按需部署业务,物理网络一次性配置完成后不再变化。常用的隧道封装协议包含 VxLAN 等。
简而言之,VPC 是用户专属的一个二层网络,是一个构建在 L3 之上的 L2 Overlay 网络。VPC 的数据封装与 VxLAN 之类的 Overlay 网络技术很类似,原始的二层帧,被 VPC 标签封装,之后再封装到另一个 IP 数据包内。
VPC 虽然指的是专有二层网络,但是跟网络配套的资源有很多,这些网络资源都是以 VPC 作为单位划分。定义在一个 VPC 内的网络资源,只能被这个 VPC 内的虚机使用。这些网络资源包括:Security Group、Subnet、Network ACL、Routing Table、Router。
AWS Outposts
2018 年推出,被业界认为是 AWS 进入混合云市场的信号。AWS Outpost 具备 “低延时、数据驻留和本地处理、一致的混合云体验” 3 大特征。
1、低延时:有些应用对低延时要求更高。
2、数据驻留和本地处理:有些工厂和边缘端无法上云。
3、一致的混合云体验:有些是为了无缝衔接 AWS 上的应用程序或服务。
AWS Outposts 打包了:
  • 硬件层面:根据客户订单配置相应的服务器和交换机硬件设备,运送到客户机房后,连通电源和网络即可使用。

  • 软件层面:可提供与 AWS Region 一致的的 AWS 基础设施、AWS 服务、API 和工具到几乎任何数据中心、主机托管空间或本地设施,以实现真正一致的混合体验。

值得注意的是,虽然 AWS Outposts 在物理上是部署在客户机房的软硬一体化机柜,但其本身是 AWS 公有云服务的一部分,客户对 AWS Outposts 设备本身不享有产权,也不需要负责设备的维护。
在今年的 AWS re:Invent 中,我们还如期地看见了网传已久的 1U 和 2U 这两种小型的 Outposts 设备,用于空间受限的物理位置。1U 的尺寸甚至就像 Pizza 一般大小,体积比原来缩小了 1/40,但功能和经典型号一模一样。小尺寸的 Outposts 可以很好地适应医院、饭馆、商店、工厂等等,这些 IT 设备空间受限的场所。
AWS Local Zone
2019 年推出,将特定的 AWS 服务部署在非常靠近用户的、特定的地理区域,面向对网络延迟有严格要求的用户。AWS Local Zone 一般会部署在人口密集的大都市中,第一个 AWS Local Zone 部署在美国洛杉矶,旨在为从洛杉矶的用户提供低至几毫秒延迟的网络响应。
企业用户需要选择加入指定的 Local Zone 之后,才能使用其资源。例如:选择加入 Local Zone 后,才可以使用其 VPC 功能,包括:Subnet、路由表、安全组、ACL 等。用户在启动 EC2 实例和其他资源时,可以选择指定的 Local Zone。
至今为止 AWS 已经开服了 Los Angeles、Boston、Chicago、Dallas 等 13 个站点,并计划于 2022 年部署至 30 个站点。
AWS Wavelength
对于 AWS 而言,即使今天的 5G 网络已经商用落地,但 UE 在通过 Internet 访问部署在 AWS 上的应用程序时,仍然需要跨越多个网络跃点(即:UE => gNB => 接入环 => 汇聚环 => 骨干环 => 核心网 => Internet => AWS),无法充分利用 5G 网络特性进行应用创新。
为此,2019 年末推出,面向 5G 应用开发者提供的边缘计算解决方案。AWS Wavelength 通过与电信运营商合作,使用部署在 Network Edge 的基础设施,在 5G RAN / UPF 站点部署 AWS 的计算和存储资源以支持 5G 应用。这样,AWS Wavelength 可以最大限度地为 UE(用户终端)提供毫秒级低延时的 5G 应用服务(即:UE => gNB => 接入环 => AWS Wavelength)。
AWS 目前已经与 AT&T、Verizon、Vodafone、日本 KDDI、韩国 SK 电信达成合作。截止到 2020 年 12 月,AWS 共推出 8 个 AWS Wavelength Zone(区域)。
值的留意的是,AWS Wavelength 还可以为开发者在跨越多个电信运营商之间提供了一致的开发体验,能够轻松地在不同的 5G 网络中部署同一个 5G 应用。也就是说,开发者不再需要额外地去适配多家电信运营商不同的资源/服务管理接口。
AWS Snow Series
2020 年推出,系列组成有 AWS Snowcone、AWS Snowball 和 AWS Snowmobile,为需要在严峻的非数据中心环境中,以及在缺乏一致网络连接的站点提供 IT 运算能力。
1、AWS Snowcone:是尺寸最小的设备,可以在很多室外/室内场景中使用 Snowcone 来收集、处理数据,并且支持 AWS DataSync 在线方式或人工运输离线方式将数据迁移到 AWS Region。
2、AWS Snowball:是一种用于进行数据迁移或提供边缘计算的设备,具有两种细分类型:计算优化和存储优化。可以使用 Snowball 在网络连接质量较差的环境中(e.g. 工厂、列车、海运)进行数据收集和处理,同样支持在线和离线两种方式将数据迁移到 AWS Region。
3、AWS Snowmobile:是一个可迁移高达 100PB 数据的集装箱卡车,非常适合数 PB 级或 EB 级的数据迁移的场景(e.g. 数据中心迁址)。值得一提的是 Snowmobile 卡车还配备了防盗、防水、消防、GPS 跟踪、警报监控、温度控制、安保人员、全天候视频监控等安防手段。不得不说,安全感十足了。
AWS Direct Connect
可以感受到,以上众多的基础设置就像是计算/存储容量大小不一的 “脑单元”,在不同的物理空间提供 IT 能力,那么如何将这些 “脑单元” 有机的连接起来成为一个泛在计算的回路呢?答案就是各种各样的 Gateway。
其中,最值得关注的是 AWS Direct Connect Gateway。AWS Direct Connect 是一种 Internet 连接的替代方案,由 AWS 或 AWS Direct Connect 的 APN(Amazon 合作伙伴网络)提供服务。可以理解为 AWS 的 Private Backbone(私有骨干网)。使用 AWS Direct Connect,用户可以在 Local Network 与 AWS Cloud 之间建立 SLA 保障的私有的网络连接。
目前,全球共有 108 个 AWS Direct Connect Location 站点以及超过 50 个 AWS Direct Connect 交付合作伙伴。提供了 50Mbps、100Mbps、200Mbps、300Mbps、400Mbps、500Mbps、1Gbps、10Gbps、100Gbps 等多种速率的 SLA 网络连接服务。
通过 AWS Direct Connect,企业用户可以有机的将分布在不同空间的基础设施连接起来成为一个整体,SLA 保障的网络连接,使得数据迁移的完整性和安全性得到了保障,是分布式云架构至关重要的一个环节。
需要注意的是,AWS Direct Connect Location 与地理位置最近的 AWS Region 具有关联关系,需要根据具体的 Region 所在的位置来选择 AWS Direct Connect Location。


结尾


在看完了以上眼花缭乱的产品后,我们不妨再回顾一下分布式云的定义:将公有云服务(硬件 + 软件)分布到不同的物理位置(中心、区域、边缘),使服务更靠近客户希望的位置。而服务的所有权,以及运营、治理、更新、演进,仍然由原始公有云提供商负责。
可以说,分布式云是公有云服务提供商进军混合云市场后必然的发展趋势,由于公有云自身软件堆栈的延续性,即提供了混合云的优势,又可以有效降低企业客户的运营、运维、集成等诸多方面的 IT 成本。
笔者认为,分布式云无疑会是云计算行业的下一个战场。就让我们拭目以待吧。
登录查看更多
2

相关内容

由亚马逊云平台提供的一种信息服务。
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
40+阅读 · 2022年4月15日
数据中心产业图谱研究报告,41页pdf
专知会员服务
53+阅读 · 2022年1月31日
腾讯:2022年十大数字科技应用趋势
专知会员服务
80+阅读 · 2022年1月13日
2021年中国云原生AI开发平台白皮书
专知会员服务
53+阅读 · 2021年12月4日
专知会员服务
33+阅读 · 2021年10月17日
专知会员服务
67+阅读 · 2021年10月10日
专知会员服务
79+阅读 · 2021年7月28日
专知会员服务
57+阅读 · 2021年5月20日
数据库技术新版图-Serverless数据库 | Q推荐
从托管到原生,MPP架构数据仓库的云原生实践
阿里技术
1+阅读 · 2022年1月21日
容器会取代虚拟机吗?
InfoQ
0+阅读 · 2022年1月13日
如何降低云计算基础设施的复杂度?
InfoQ
0+阅读 · 2022年1月4日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Search-based Methods for Multi-Cloud Configuration
Arxiv
0+阅读 · 2022年4月20日
Arxiv
2+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月16日
Arxiv
13+阅读 · 2018年4月18日
VIP会员
相关VIP内容
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
40+阅读 · 2022年4月15日
数据中心产业图谱研究报告,41页pdf
专知会员服务
53+阅读 · 2022年1月31日
腾讯:2022年十大数字科技应用趋势
专知会员服务
80+阅读 · 2022年1月13日
2021年中国云原生AI开发平台白皮书
专知会员服务
53+阅读 · 2021年12月4日
专知会员服务
33+阅读 · 2021年10月17日
专知会员服务
67+阅读 · 2021年10月10日
专知会员服务
79+阅读 · 2021年7月28日
专知会员服务
57+阅读 · 2021年5月20日
相关基金
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员