腾讯科技讯 大数据年代带来的数据活动性,对承当数据活动的网络技能带来了新应战。11月7日,在腾讯云主办的首届Techo开发者大会现场,腾讯云对下一代高功能网络技能进行了揭秘。
数据中心网络带宽演进的三个阶段
跟着5G、AI、云核算的遍及和场景运用,渐渐的变多的设备被衔接,数据激流随时随地发生和共享,对网络架构和处理数据的才能提出了新需求,而腾讯云关于高功能网络软件架构的考虑,也阅历了数据中心网络带宽演进的三个阶段:
第一阶段,公有云数据中心的服务器接入带宽在2014年从千兆迈入万兆。这个阶段一切的网络虚拟化软件经过内核模块完成, 经过横向扩展来满意网关的功能需求, 因为内核结构本身功能的局限性,完成的功能指标今日看起来很差,可是可以很好的满意其时的客户诉求。
第二阶段,2017年跟着视频职业和游戏加快职业的鼓起,云网络逐渐开端从10G向25G搬迁,这些职业上云对虚拟化网络提出了百万等级安稳的包处理才能需求,对VM的网络互访时延及时延的安稳性要求也愈加严苛。
在这种布景下, 虚拟化网络的技能打破点是DPDK,整个虚拟网络的架构并没实质改变,仅仅虚拟网络软件用dpdk从头完成,提高了单台机器的功能。
第三阶段,估计到2020年末公有云数据中心的服务器接入带宽行将到达100G。首要驱动力来自于虚拟化密度的提高。事实上,在今年末已有196核的CPU问世,虚拟化密度直接翻倍,可预期的未来,4HT的技能会呈现,虚拟化密度会继续大幅度提高,对网络根底设施架构的才能会带来十分大的应战。
明显,不同的网络带宽年代,对虚拟化网络的软件架构会有不一样的要求。尤其是跟着腾讯内部自研事务的很多上云,内网互访流量十分的大,overlay拜访underlay的支撑服务流量可以百T计,大流量的冲击下,集中式网关的资源问题和scale才能成为一个十分大的问题。
下一代腾讯云高功能网络技能两大打破口
关于腾讯云来说,下一代高功能网络技能打破有两个:超稳虚拟化渠道、网关的演进。乍一看,两者好像关系不大,但想要建立下一代高功能网络技能就像是建房子,超稳虚拟化渠道是支撑房子的地基,而网关则是贯穿房子墙面的的钢筋骨架。
“网络架构的元素会简化,要削减集中式网关的运用,中心是鸿沟的高功能网关,以及高功能安稳的虚拟化底层渠道”, 金峰现场说道。
金峰表明,超稳虚拟化渠道,腾讯云内部有一个专门的云基项目去支撑。这个项目对网络虚拟化,存储虚拟化和核算虚拟化都做了很多的重构和优化,核算虚拟化大幅度优化KVM功能损耗,为社区贡献了超越100个中心patch,在全球的互联网厂商中都独占鳌头,可以确保在大多数场景下完成虚拟化比较物理机单核功能损耗在5%以内。
网络虚拟化优化了各种不同场景的处理功能,不局限于优化快转表的功能,关于朴实的包转发形式也做了很多的查询匹配优化,功能能做到2M PPS以上,此外vswitch可以主动判别每个数据包应该选用的转发形式,别离运用包转发,根据软件的快转表转发,和根据硬件的快转表转发, 为每种不同场景供给最适合的转发形式来保证功能。云基项目支撑的高稳虚拟化渠道在腾讯内部的自研上云事务中大规划运用,支撑了QQ,微信等中心事务的严苛功能要求。值得一提的,业界支撑自研上云大多运用baremetal计划,腾讯云彻底用虚拟化支撑了中心事务的自研上云。
有了超稳虚拟化这个厚实的房子地基,作为“钢筋骨架网络”的网关就可以继续演进,体现在三个方面:1、事务网关NFV;2、内部服务去网关;3、鸿沟网关硬件化。
首要,根据超稳的虚拟化渠道,腾讯云可以将LB, NAT等事务网关放在虚拟化渠道上,复用虚拟化渠道本身的资源池优势,无感知调度搬迁,高功能网络,优先级QOS等才能,保证本身的功能和安稳性。此外集中式网关变为涣散的虚拟化网关,毛病域大大缩小,对全体的可用性也有很大的收益。
其次,去除物理网关。关于用户拜访目标存储,数据库等根底服务,此前会有一个有状况网关来做overlay-underlay转化,自研上云之后,几百T的内网带宽让这种集中式有状况网关的本钱和可用性难以承受,将overlay和underlay的鸿沟从网关移到每台供给根底服务的物理服务器上,每台物理服务器刺进一个内核模块,供给VPC的被迫拜访接入才能。
第三,便是鸿沟网关的硬件化,腾讯云已经在和一些合作伙伴进行这方面的预研,一台硬件网关可以供给5-10个100G软件网关集群供给的功能,在大网络吞吐年代关于鸿沟网关的规划可控具有十分大的含义。
金峰表明,除了VPC网络之外,100G网络当时最大的场景来自于大数据、AI带来的低推迟高吞吐网络需求,这关于RDMA网络有十分激烈的诉求。
腾讯云采纳VPC overlay + rdma underlay双网络的方法来承载根据GPU direct的AI多机练习事务;现在100G rdma网络已经在腾讯的云上GPU算力渠道上得到运用,服务了腾讯内部的许多AI类事务。
“下一代的高功能网络,腾讯云希望是一个结构相对比较简单的网络,它并不一定是肯定数值最好的,可是一定是对客户有保证的,可以很好的满意客户各种不同场景的功能和可用性诉求”, 腾讯云IAAS专家工程师金峰总结道。