admin
中国农业银行在通过基础设施云推进数字化转型的过程中，面临着集团化、互联网化、运维复杂化等诸多挑战。
中国农业银行数据中心专家 许青邦
骨干网总体规划
2019年末，农业银行与华为签订了SRv6联合创新协议，明确了用SRv6升级ABC ONE“智能分段骨干承载网”模块的目标，输出了DSCP+SRv6 Policy两级引流，以及动态Segment List和UCMP相结合的调优机制等研究成果，并于2020年11月成功在骨干网上部署基于SRv6 Policy的 SDN WAN 3.0技术架构，开创了金融行业SRv6实践的先河，总体骨干网如图1所示。
图1 总体骨干网示意
骨干网分为核心骨干网和一级骨干网两级，前者由三个核心节点组成，两两通过高速OTN线路互联，融合承载多中心间WEB/AP、DB、存储等前中后端全业务流量；后者由数十个一级节点组成，通过OTN/MSTP线路上联核心节点，承载分行内外部用户访问总行数据中心的流量。
骨干网采用控制器+转发器的标准两层SDN技术架构，两者之间通过南向协议交互，具体如下。
➣ 控制器，相当于中央处理器，掌握全网拓扑、实时流量、SRv6 SID等信息，负责将用户意图翻译成SRv6 Policy，并通过南向协议下发给转发器；
➣ 转发器，负责路由计算和SRv6 Policy封装转发，一方面要运行ISIS计算Underlay路由及SID，运行BGP EVPN计算Overlay路由及SID，并将Overlay路由迭代到合适的SRv6 Policy上，另一方面还要向控制器报告Underlay网络和SRv6 Policy状态；
➣ 南向协议，控制器和转发器之间运行多种南向协议，最重要的是BGP-LS和BGP SR Policy，前者负责将转发器的链路状态转换成BGP-LS消息，以及SRv6 Policy的状态上报给控制器，后者将控制器编排好的SRv6 Policy下发给转发器。
通过以上技术的整合，打造了一个集中优化、分布式智能的SDN WAN网络架构，实现了用户意图驱动、智能流量调度、全方位可视化等一系列功能。
软切片和自动引流设计
骨干网采用了基于SRv6 Policy的软切片技术，相比常规的QoS策略，网络切片可以更好地隔离和保护不同类型的业务流量。以核心骨干网为例，定义了定义了STORAGE、INTRANET、EXTRANET三类软切片即Color1 SRv6 Policy，用于承载存储、内网、外网三大类业务VPN和流量，切片之间路径独立，尽可能避免流量冲突，每个切片内部又分为高低优先级两种Color2 SRv6 Policy，用于承载同一VPN内部不同服务等级的业务流量。
骨干网的PE节点同时又是接入网的核心，对外提供总分行服务域和用户域的接入，入口PE采用DSCP+SRv6 Policy两级精细流量调度技术，先根据BGP EVPN路由的<color, nexthop>，与软切片<color1, endpoint>相匹配，再根据用户报文的DSCP值，映射到软切片内的Color2 SRv6 Policy上智能转发，为用户提供更为细致的流量调度和服务体验。以INTRANET切片为例，自动引流过程如图2所示。
图2 INTRANET软切片自动引流示意
智能流量调度实现机制
SDN WAN控制器是智能流量调度决策的大脑，会根据用户意图计算各切片Policy的具体转发路径即分段列表，并下发给头端PE节点，通过SRH扩展头携带路径信息，就像自带导航系统的汽车一样，一上路便已知晓全程路线，中间节点无需维护任何状态信息，可以支持任意大小的组网规模。
当前骨干网采用了基于UCMP(Unequal Cost Multiple Path)的智能调度机制，以INTRANET软切片的NORMAL SRv6 Policy为例，具体实现如图3 所示。
图3 INTRANET软切片UCMP调度示意
➣ 控制器计算NORMAL SRv6 Policy的初始分段列表，在满足用户带宽需求的前提下最短路径优先和广域线路带宽利用率尽可能接近，输出SL1-2，权重比为50:50；
➣ 假设广域线路1利用率超阈值，会触发控制器的全局调优，尝试修改NORMAL SRv6 Policy SL1-2的权重比，通过UCMP非等价负载均衡将部分流量迁移至低利用率线路上；
➣ 如果效果不佳，则进一步分裂出次优路径上的分段列表SL3，在更大范围内进行UCMP，最终实现会话级别的精确流量调度效果。
上述UCMP调度算法的前提条件是业务数据流比较均匀，确保分配权重和实际占用带宽基本一致，但现实流量模型中，老鼠流和大象流比比皆是，导致权重与带宽严重失衡，而且调整权重或分裂出新路径会干扰原有哈希关系，调度效果难以预测。为此笔者提出一种混合调度机制，综合SR-MPLS TE Tunnel和SRv6 Policy两种技术的优势，实现可预测的调度结果，还是以INTRANET软切片的NORMAL SRv6 Policy为例，具体见图4。
图4 INTRANET软切片混合调度示意
➣ 固化NORMAL SRv6 Policy的分段列表数量和权重值，比如SL1-8，权重全部为常数12；
➣ 控制器计算初始分段列表组SLG1(Weight=50)、SLG2(Weight=50)，转换成标准SRv6 Policy，SLG1=SL1-4，SLG2=SL5-8，用SLG1、SLG2路径信息分别更新SL1-4、SL5-8，并通过BGP SR Policy顺序下发SL1-8至头端PE节点；PE定期上报SL1-8流量统计信息，控制器根据实际流量调整SLG1、SLG2权重比，比如60:40；
➣ 假设广域线路1利用率超阈值，控制器设定SLG1、SLG2权重比目标为50:50，计算结果为迁移SL4至SLG2，SLG1=SL1-3，SLG2=SL4-8；或者裂化出SLG3，SLG1、SLG2、SLG3权重比目标为40:30:30，计算结果为迁移SL4至SLG3，SLG1=SL1-3，SLG2=SL5-8，SLG3=SL4；最后通过BGP SR Policy更新头端PE节点路径信息，但五元组与SL哈希关系始终维持不变。
SRv6 Policy应用成效
目前全部核心和一级节点均已完成SRv6 Policy部署，形成了闭环的SDN WAN 3.0骨干网架构，实现了总行间和总分间多维度的智能流量调优，也带来了多方面益处，可以概括为“三升两降”，具体如下。
➣ 提升了业务体验，通过骨干网控制器的集中优化和智能流量调度能力，提高了整体带宽利用率，规避了持续局部拥塞的可能性，保障了关键业务的SLA(Service Level Agreement)，另外通过路由层面的TI-LFA FRR(Topology Independent LFA Fast Rerouting)，将NRO(Network Recovery Object)降到了毫秒级；
➣ 提升了业务能力，覆盖全行的骨干网+接入网架构，为内外用户提供就近安全和多租户接入，“一跳入云”访问数据中心的各类云计算服务，并通过6VPE支持IPv4/v6流量的共享传输；
➣ 提升了运维能力，使用Telemetry透视网络状态，轻松达成故障定位和恢复业务的运维目标，而全SDN的组网，将VPN边界上移到骨干网路由器，通过广域网控制器就能一键开通端到端的VPN业务和配套网络服务，交付时间缩短到分钟级；
➣ 成本降低，骨干网部署SRv6 Policy SDN后，在确保同等冗余度和服务质量的前提下，所需广域网络带宽显著减少，每年可节省线路租金2000万以上；
➣ 风险降低，骨干网架构中融入灾备能力，有线无线一体化达到常灾结合，同时对于重要内外部机构提供多站点接入，自如应对网络故障和区域灾难，降低对业务连续性的影响。
未 来 展 望
在未来的网络建设过程中，农业银行还将在ABC ONE技术框架指导下，持续优化骨干网架构和挖掘潜能，不断融入新技术元素和设计理念。一方面在SRv6 Policy智能选路的基础上，进一步研究利用网络切片、iFit(In-situ Flow Information Telemetry)、APN6(Application-aware IPv6 Networking)、AI智能运维等新技术，打造功能更完备的IPv6+骨干网体系；另一方面要继续推进ABC ONE三个技术模块的有机融合，从转发层面的端到端Overlay无缝衔接，到控制层面的多控制器协同或者超级控制器，合力打造一个面向未来、应用驱动型的“ABC ONE+”智能网络平台。