新闻中心

NEWS CENTER

2024-08-23

流量“野蛮生长”之下,互联网算法该如何调节?

随着我国数字经济的飞速发展,固定宽带接入用户规模和移动互联网流量都呈现持续增长态势,带来了互联网流量连续多年的持续增长。互联网流量的增长既是数字经济高速发展的基础条件,也是通信业发展带来的必然结果。但流量的高速增长并不意味着收入和投资的同步增长,受诸多条件限制,互联网的收入和投资事实上出现了负增长。

为了在有限的投入产出现实条件下确保互联网的正常运行,对流量分布的合理调节显得越来越重要。本文分析了在互联网流量增长过程中网络管理面临的困难,提供了一种对互联网流量分布进行调节的思路和方法,经实践证明对流量的分布起到了有效调节作用。

01互联网业务发展情况

互联网业务稳步增长


工信部发布的数据显示,截至2024年5月末,我国固定宽带接入用户规模稳步增长,千兆用户数持续增加。三大基础电信企业5月固定互联网宽带接入用户总量为6.52亿户,比上年末净增1534万户。其中,100Mbit/s及以上接入速率的固定互联网宽带接入用户达6.17亿户,占总用户数的94.6%;1000Mbit/s及以上接入速率的固定互联网宽带接入用户达1.83亿户,比上年末净增1996万户,占总用户数的28.1%,占比较上年末提升2.4个百分点。

移动互联网流量增长较快,5月DOU值处于高位。1—5月,移动互联网累计流量达1323亿GB,同比增长12.7%。截至5月末,移动互联网用户数达15.45亿户,比上年末净增2078万户。5月当月户均移动互联网接入流量(DOU)达到18.54GB/户·月,同比增长7.4%。需要说明的是,自2024年2月起中国广电的移动业务数据纳入行业汇总数据,上年同期数据进行同步调整。

1—5月我国通信业数据表明,无论固定互联网用户还是移动互联网用户都保持增长趋势,移动互联网流量更是保持了两位数增长。

互联网业务收入稳中有降


工信部数据显示,2023年移动互联网接入流量达3015亿GB,较上年增长15.2%。移动数据流量业务收入达6368亿元,较上年下降0.9%。

数据表明,2022年和2023年移动互联网流量保持两位数增长,年增长率分别为18.14%和15.16%,增速有所下降。与此同时,移动数据流量业务收入增长率由正转负,年增长率分别为0.71%和-0.9%。可见,流量与收入的增长出现了背离。

互联网投资明显下降


在三大运营商发布的2023年度财报中,选取中国移动的连接类开支、中国电信的移动网和宽带网开支、中国联通相关数据,并对其市场份额进行估算,近似得出三大运营商在移动网、宽带网的投资情况。分析发现,2024年较2023年三大运营商在移动网投资方面下降13.5%,宽带网投资下降11.2%。在互联网流量增长的情况下,三大运营商不约而同地缩减了网络的投资,且幅度超过10%。

从以上数据可以看出,固定互联网的用户数保持增长,移动互联网的流量保持两位数增长,但是三大运营商的互联网收入、投资都出现了负增长,显然与业务需求增长的趋势相悖。

投资的减少势必导致网络容量不会十分宽裕,长此以往将影响网络的质量。因此,在资金有限的条件下,需要精打细算将“好钢用到刀刃”上,才能满足流量增长的需求。为此,需要采取必要的调节措施,对互联网进行调节和均衡,从而保障网络的整体质量。互联网引入流量调节策略如图1所示。

图1 互联网引入流量调节策略


02互联网流量调节的难点

众所周知,互联网遵循TCP/IP协议,流量根据协议进行自动计算选路,一般不需要人为干预。运营商作为互联网的建设者和运营者,以保障网络通畅为第一要务。随着网民数量超过10亿户,各种互联网应用层出不穷,互联网规模越来越庞大,运营商对互联网流量的调节变得越来越困难,主要表现在以下四个方面。

一是网络规模的不断扩大增加了调节难度。通常来说,如果要对互联网流量进行调节,在不影响感知的情况下,需要有一条通道疏通被干预的流量。网络投资的减少使得网络没有足够的冗余疏导大流量,这就导致互联网流量的调节变得越来越难,通常只能在网络故障时进行必要的疏通。

二是流量业务多头管理所产生的矛盾难以调和。随着互联网用户规模的扩大、业务需求的增加,各类互联网应用业务层出不穷。互联网流量的使用方涵盖了不同的用户群体,包括个人、家庭、商务用户、企业用户等。互联网流量也涵盖了不同的业务,传统业务包括宽带、专线等;新兴业务包含云、物联网等。对于运营商来说,互联网流量业务的管理分属于不同的业务部门,互联网流量的调节牵动各个部门,往往存在管理和利益冲突,协调难度很大。

三是区域间“各自为政”,导致流量不均衡。互联网流量是在一张网络上流动,但由于运营商对互联网实行分级分域管理,尤其是省、市级运营商作为经营主体,为了本区域的收入往往对互联网流量进行非理性争抢,“以邻为壑”的现象层出不穷。高流量并不必然对应于高需求、高质量,而是受到低价格的影响,由此导致了流量的不合理、不均衡分布。

四是外部新业态增加流量调节难度。随着P2P技术的升级,个人到个人的业务形态被PCDN厂家用作商业CDN服务,销售给需要CDN的用户,导致了城域网流量激增。同时,各互联网厂商、云服务商、CDN服务商普遍利用“95计费规则”,对流量进行跨机房、跨区域的调度。上述因素使得运营商无法正确判断流量的增长及流动趋势,还要为满足这些大流量和非常态的调度进行扩容,导致网络资源的极大浪费。

以上内外部错综复杂的因素,使得互联网流量长期处于自由生长状态。如果放任流量的“野蛮增长”、投入产出的长期不匹配,势必将导致网络质量下降,最终无以为继。


03互联网流量分布调节算法

为了解决互联网流量野蛮生长带来的问题,需要研究一套切实可行的流量调节方法。在实际生产中,运营商曾经采用过直接干预网络的方法,包括路由策略、封堵策略等,但会引起投诉、考核等一系列问题,不能常态化使用。运营商既要保障网络通畅,又要保障服务质量,为了确保宝贵的网络资源有效支持互联网的高速发展,需要突破常规的网络思维,即不从网络入手,而是通过市场化的手段疏导互联网流量。实际生产中的流量调节复杂模型如图2所示。

图2 实际生产中流量调节复杂模型

图2中的A、B既可以表示区域,例如北京、上海两个城市,也可以表示业务种类,如IDC业务、城域网业务。A、B可根据需要进行扩充,例如扩充到某个省的所有10个地市;或者扩充到IP网上的所有业务类别,如IDC、城域网、CDN、物联网等。

假设以A表示I地区城域网,B表示I地区IDC,C表示II地区城域网,D表示II地区IDC,则可以通过设置f(A-B)、f(B-A)、f(A-C)、f(C-A)、f(A-D)、f(D-A)、f(B-C)、f(C-B)、f(B-D)、f(D-B)、f(C-D)、f(D-C)相关的12个基础门限参数和12个单价参数,对相互之间的流量进行调节。

例如,如果希望A区域/业务的流量向外流出,则设置流出A的流量基础门限尽可能大,流入A的单价尽可能高。

事实上,为了便于管理,上述模型需要简化以降低复杂度。如区域内部的流量若不进行结算则不需要调节,即A-B、C-D之间互不结算,则设置f(A-B)、f(B-A)、f(C-D)、f(D-C)对应的基础门限和单价为0;如区域间流量仅需要管理B-D,则仅针对f(B-D)、f(D-B)的基础门限和单价进行设置,其余均设为0。

这种方法相当于为流量增加了成本概念,使得流量的使用方需要考虑流量在业务间、区域间流动的成本,这样就可以有针对性地对流量进行调节,从而部分解决流量无序流动带来的不合理分布、资源浪费问题。


04互联网流量调节算法实践应用

某运营商于2023年着手开展流量调节的实践,经过近半年对算法的推演和调整,从模拟测算的数据看出已经取得了初步成效。

I域和M域流量调节情况


根据互联网流量分布的正常逻辑,M域流出流量应远小于I域流出流量。I域和M域分别代表了两种互联网业务区域。因为绝大部分内容源部署在I域,流量主要从I域流向M域。M域流出流量正常占比应在20%~30%之间。

但根据2023年6月的统计数据发现,M域流量占比超过40%。为了调节I域与M域流量的分布,设定I域流向M域流量的价格高于M域流向I域的价格。

经过近半年时间的实践,可以看出流量分布发生了较明显的变化,即I域流出流量占比上升,M域流出流量占比下降,达到了调节预期。I域M域调节前后对比如图3所示。

图3 I域、M域流出流量调节前后对比

G域与F域流量调节情况


G域和F域分别代表了两种互联网地理区域。根据互联网流量分布的正常逻辑,F域流出流量应远小于G域流出流量,因为内容源应该部署在G域,服务G域及周边用户。但是根据2023年6月的统计数据发现,F域流入G域的流量为G流到F域的4倍多,此现象说明本应部署在G域的资源舍近求远部署在了F域,造成了网络资源的极大浪费。为了调节G域与F域流量的分布,设定G域流向F域流图3 I域、M域流出流量调节前后对比图4 G域与F域流出流量调节前后对比量的价格高于F域流向G域的价格。

经过近半年的实践,可以看出F域流向G域的流量下降了近50%,达到了调节预期。G域与F域调节前后流量对比如图4所示。

图4 G域与F域流出流量调节前后对比

05调节策略不影响整体流量分布

流量调节策略是针对部分不合理流量进行调整,因此对流量的总体布局不应产生影响。如果把互联网流量按照东西向、南北向进行划分,则东西向流量反映了流量供给方的情况,南北向流量反映了供给、分发方与使用方交互的情况。东西向流量按数据中心之间的流量计算,南北向流量按非数据中心间流量计算。观察半年时间流量情况发现,东西向流量占比保持在15%左右,南北向流量保持在85%左右,整体分布基本没有变化。因此可以看出,调节策略对整体流量的总体分布没有影响。

近年来,互联网流量保持每年两位数的增长,在收入、投资无法跟随需求同步增长时,需要对互联网流量进行合理调节,从而避免流量“野蛮生长”带来的资源浪费。这种调节互联网流量分布的算法对流量的调整起到了显著作用,确保了互联网流量分布的合理性与均衡性,是一种切实可行的方法,对互联网的健康运行和发展将起到积极作用。

返回列表