慧敏应用交付网关集群部署方法

下载相关pdf文件 综述
慧敏配置指导
Cisco路由设备配置ECMP指导
华为路由设备配置ECMP指导
华三路由设备配置ECMP指导
Arista路由设备配置ECMP指导
通过集群实现单服务1万亿比特率吞吐
综述

慧敏应用交付网关提供多种自身高可用配置方式,其中包括:

1. 主备模式(Active Standby):部署两台慧敏相同型号设备,其中一台为主,另外一台为备的部署方法。

2. 多主模式(Active N):多台设备同时部署,实现互为主备,将不同的Virtual Server(虚拟服务器)以主的方式部署在不同的应用交付网关上,实现多主模式部署。

3. 集群模式(Cluster):为一个虚拟服务器(Virtual Server) 部署多台慧敏应用交付网关实现均为主模式的集群方式部署。

在一般情况下,单台慧敏应用交付网关足以满足客户的流量处理需求。然而,在特定情况下,我们需要多台慧敏设备构建集群为一个虚拟服务(Virtual Service) 提供应用交付功能。这种情况主要为:单一应用带宽要求超过120Gbps 或者在线会话数量超过10亿等超大规模访问压力的情况。针对这样的需要,我们通过三层交换机所提供的OSPF路由协议实现等价路由(ECMP),从而实现慧敏应用交付网关集群部署。多个慧敏应用交付网关采用标准单机部署,通过OSPF路由协议将业务VIP等价宣告到OSPF域中,利用ECMP特性引导外部客户端访问分担到不同的慧敏设备上,实现业务系统集群(多活)的部署。

ECMP原理

ECMP指达到同一个目的地址段中,在路由表中存在多条等价的路径,英文意为:Equal Cost Multipath,即多重等价路径,可以简单描述成等价路由。关于等价路由最大的支持情况,依据产品不同而不固定,例如,思科低端路由器支持最大6条路径的等价的路由,高端产品甚至可以支持多达32条。Arista 甚至提供高达128条路径的等价路由配置能力。

ECMP的部署拓扑环境

慧敏集群方式部署如下图所示:

 
1) 整个区域全部为area 0,在路由交换机(R1)中查看,可以看到通往VIP段有二条等价路由;
2) 这两台负载均衡分别命名为:ADC5000_121,ADC5000_122;
3) 两台负载均衡连接路由器的MAC地址分别为:28:51:32:0f:38:a3和28:51:32:0f:09:3b;
4) 部署方式中,负载均衡的VLAN配置方式推荐采用文档描述的配置方式,建议将VIP的地址段和通往R1的地址段配置在同一个VLAN中,即从同一口进;
5) 在负载均衡中,可以支持宣告32位VIP地址到OSPF进程中,可以支持基于VS的状态和动态的自动收敛路由到R1;
6) 在负载均衡通往R1的端口,如果出现故障,则业务数据流量自动切换至另外一台负载均衡器中;
7) 所有负载均衡器中的OSPF的route-id设置,如果部署ECMP环境,需要保证设置值的唯一性;
慧敏配置指导

两台负载均衡设备配置依据1.2章节拓扑图进行配置。

ADC5000_121配置:

A.进入【网络管理】->【VLAN管理】:添加VLAN和IP地址:192.168.12.3/24和172.16.88.121/24

B.进入【网络管理】->【VLAN管理】:添加VLAN2和IP地址:192.168.10.121/24

C.进入【网络管理】->【路由管理】->【OSPF路由】,配置网络和area,如下图所示

 

D.进入【应用池管理】,添加真实服务器:192.168.10.180

 
 

E.进入【虚拟服务器管理】,添加虚拟服务器:172.16.88.60,配置如下图所示

 
 

ADC5000_122配置:

A.进入【网络管理】->【VLAN管理】:添加VLAN1和IP地址:192.168.13.4/24和172.16.88.122/24

B.进入【网络管理】->【VLAN管理】:添加VLAN2和IP地址:192.168.10.122/24

C.进入【网络管理】->【路由管理】->【OSPF路由】,配置网络和area,如下图所示

 
 

D.进入【应用池管理】,添加真实服务器:192.168.10.181

 

 

F.进入【虚拟服务器管理】,添加虚拟服务器:172.16.88.60,配置如下图所示

 

 
Cisco路由设备配置ECMP指导
Cisco路由器负载均衡概述

基于目的地的负载均衡允许路由器将使用多条路径来均衡负载。对于某一源/目标主机,数据包转发采用同一路径,即使有多个路径可用,也将这样处理。对于到达不同目的地的数据包则可以采用不同的路径。当启用CEF时,基于目的地的负载均衡功能缺省被启用。大多数情况下,都采用这种负载均衡方法。

因为基于目的地的负载均衡是依赖于对数据流的统计来分布信息的,所以随着“源/目的地对”个数的增加,负载均衡会变得更加有效。

本次ECMP环境部署,我们主要采用基于目的地的负载均衡的模式,启用该模式,需要进入路由器接口模式下,输入如下命令:

ip load-sharing per-destination

同时,思科还提供另外一种基于数据包的负载均衡模式,是按照数据包的方式,在所有等价路由中进行按序转发,相当于我们慧敏负载均衡的轮循算法,配置入下:

ip load-sharing per-packet

路由器配置

1. 首先进入接口模式,配置所有接口IP地址:

R1#conf t

R1(config)#int e1/0

R1(config-if)#ip add 192.168.12.1 255.255.255.0

R1(config-if)#no sh

2. R1的三个接口配置完成后,可以看到如下配置:

interface Ethernet1/0

ip address 172.16.90.1 255.255.255.0

!

interface Ethernet1/1

ip address 192.168.12.1 255.255.255.0

!

interface Ethernet1/2

ip address 192.168.13.1 255.255.255.0

3. 之后,进行动态路由配置:

R1(config)#router os 1

R1(config-router)#router-id 1.1.1.1

R1(config-router)# network 172.16.90.0 0.0.0.255 area 0

R1(config-router)# network 192.168.12.0 0.0.0.255 area 0

R1(config-router)# network 192.168.13.0 0.0.0.255 area 0

4.查看OSPF邻居关系,如果关系建立正确,可以看到如下描述:

Neighbor ID Pri State Dead Time Address Interface

192.168.10.122 1 FULL/DR 00:00:30 192.168.13.5 Ethernet1/2

192.168.10.121 1 FULL/DR 00:00:31 192.168.12.2 Ethernet1/1

5.思科产品使用的转发机制为思科私有的CEF技术,该配置缺省即为开启状态,关于路由器转发机制的详细配置步骤如下:

R1(config)# ip cef

R1(config)#int e1/0

R1(config-if)#ip load-sharing per-destination

6.配置全部完成后,show run可以看到如下完整配置:

hostname R1

!

boot-start-marker

boot-end-marker

!

logging message-counter syslog

!

no aaa new-model

ip source-route

ip cef

!

!

!

!

no ip domain lookup

no ipv6 cef

!

multilink bundle-name authenticated

!

voice dsp waitstate 0

!

memory-size iomem 0

archive

log config

hidekeys

!

interface FastEthernet0/0

no ip address

shutdown

!

interface Ethernet1/0

ip address 172.16.90.1 255.255.255.0

!

interface Ethernet1/1

ip address 192.168.12.1 255.255.255.0

ip load-sharing per-destination

!

interface Ethernet1/2

ip address 192.168.13.1 255.255.255.0

ip load-sharing per-destination

!

router ospf 1

router-id 1.1.1.1

log-adjacency-changes

network 172.16.90.0 0.0.0.255 area 0

network 192.168.12.0 0.0.0.255 area 0

network 192.168.13.0 0.0.0.255 area 0

实现分析

1. 基于目的地负载环境实施测试:

A.客户端源IP地址为:172.16.88.14,wget请求后,命中负载均衡:ADC5000_121;

B.客户端源IP地址为:172.16.88.44,wget请求后,命中负载均衡:ADC5000_122;

C.客户端源IP地址为:172.16.88.54,wget请求后,命中负载均衡:ADC5000_122;

D.客户端源IP地址为:172.16.88.74,wget请求后,命中负载均衡:ADC5000_121;

在客户端执行wget请求,在负载均衡抓包,之后使用Wireshark软件打开pcap文件,过滤方式为:eth.addr == 28:51:32:0f:38:a3 || eth.addr == 28:51:32:0f:09:3b and !icmp and !tcp.port == 10443 and ip.addr == 172.16.90.14,即可打开详细的数据报文交互过程

2. 通过多次执行步骤A操作,使其产生压力流程,抓包后,可以看到请求一直固定命中负载均衡:ADC5000_121;因为对于某一源/目标主机,数据包转发采用同一路径,即使有多个路径可用,也将这样处理。

3. 通过更换客户端主机,多台主机均产生访问虚拟服务器的业务流程,由于基于目的地的负载均衡是依赖于对数据流的统计来分布信息的,所以随着“源/目的地对”个数的增加,负载均衡会变得更加有效,从负载均衡虚拟服务器【查看运行状态】可以看到两台负载均衡均有业务流量。

华为路由设备配置ECMP指导
华为路由设备配置

华为ECMP(Equal-Cost Multiple Path),是指到达同一目的地有多条等价链路,流量在这些等价链路上平均分配,不会考虑链路带宽的差异。等价链路是指到达目的地的cost值相等的链路/路径。配置IP报文转发的负载分担方式主要有两种:包括按照逐包和逐流两种方式,对报文进行负载分担。流量在这些等价路径上平均分配,不会考虑链路带宽的差异。

当按流flow进行负载分担时,进行报文转发时会根据报文的源IP地址及掩码、目的IP地址及掩码、源端口范围和目的端口范围等采用Hash计算出一个值,根据这个值选择一条链路进行转发。华为路由器默认使用逐流方式的负载分担。配置命令如下,进入全局模式:

[Quidway]load-balance flow

当按包packet进行负载分担时,转发的报文会从多条链路中按包选择不同链路进行转发。缺省情况下,IP报文转发按流flow进行负载分担。【注意】:由于逐包方式可能导致报文乱序,对报文顺序非常敏感的语音、视频等关键业务不建议使用逐包方式。

路由器配置

1. 进入接口模式,配置所有接口IP地址:

<Quidway>system-view

[Quidway]interface Vlanif100

[Quidway-Vlanif100]ip address 172.16.90.1 255.255.255.0

[Quidway]interface Vlanif200

[Quidway-Vlanif200] ip address 192.168.12.1 255.255.255.0

[Quidway-Vlanif200]interface Vlanif300

[Quidway-Vlanif300] ip address 192.168.13.1 255.255.255.0

2.将接口划进VLAN中:

[Quidway]interface GigabitEthernet0/0/20

[Quidway-GigabitEthernet0/0/20] port link-type access

[Quidway-GigabitEthernet0/0/20] port default vlan 100

[Quidway]interface GigabitEthernet0/0/21

[Quidway-GigabitEthernet0/0/21] port link-type access

[Quidway-GigabitEthernet0/0/21] port default vlan 200

[Quidway]interface GigabitEthernet0/0/22

[Quidway-GigabitEthernet0/0/22] port link-type access

[Quidway-GigabitEthernet0/0/22] port default vlan 300

3.配置OSPF路由协议:

[Quidway]ospf 1 router-id 1.1.1.1

[Quidway-ospf-1] area 0.0.0.0

[Quidway-ospf-1-area-0.0.0.0] network 192.168.12.0 0.0.0.255

[Quidway-ospf-1-area-0.0.0.0] network 192.168.13.0 0.0.0.255

[Quidway-ospf-1-area-0.0.0.0] network 172.16.90.0 0.0.0.255

4.查看OSPF邻居关系,如果关系建立正确,可以看到如下描述:

[Quidway]dis ospf peer

    OSPF Process 1 with Router ID 1.1.1.1

            Neighbors

Area 0.0.0.0 interface 192.168.12.1(Vlanif200)'s neighbors

Router ID: 192.168.10.121  Address: 192.168.12.2

  State: Full Mode:Nbr is  Master  Priority: 1

  DR: 192.168.12.2  BDR: 192.168.12.1  MTU: 1500

  Dead timer due in 40  sec

  Retrans timer interval: 5

  Neighbor is up for 64:52:20

  Authentication Sequence: [ 0 ]

        Neighbors

Area 0.0.0.0 interface 192.168.13.1(Vlanif300)'s neighbors

Router ID: 192.168.10.122  Address: 192.168.13.122

  State: Full  Mode:Nbr is  Master  Priority: 1

  DR: 192.168.13.122  BDR: 192.168.13.1  MTU: 1500

  Dead timer due in 30  sec

  Retrans timer interval: 5

  Neighbor is up for 64:52:16

  Authentication Sequence: [ 0 ]

5.配置华为负载均衡方式,目前我们S5700支持基于流和包两种负载分担方式,配置方式如下:

<Quidway>system-view

[Quidway]load-balance ?

flow    Load balance per flow

packet    Load balance per packet

6.我们实验采取基于flow 的配置方式:

[Quidway]load-balance flow

7.华为路由器OSPF路由协议,最大支持等价路由为4条,设置命令如下:

[Quidway]ospf 1 router-id 1.1.1.1

[Quidway-ospf-1]maximum load-balancing

8.配置全部完成后,show run可以看到如下完整配置:

[Quidway]dis current-configuration

#

!Software Version V100R005C01SPC100

  sysname Quidway

#

  vlan batch 100 200 300

#

  drop illegal-mac alarm

#

aaa

  authentication-scheme default

  authentication-scheme sinogrid

  authorization-scheme default

  authorization-scheme sinogrid

  accounting-scheme default

  domain default

  domain default_admin

  local-user admin password simple sinogrid

  local-user admin privilege level 3

  local-user admin service-type telnet terminal ssh web http

#

interface Vlanif100

  ip address 172.16.90.1 255.255.255.0

#

interface Vlanif200

  ip address 192.168.12.1 255.255.255.0

#

interface Vlanif300

  ip address 192.168.13.1 255.255.255.0

#

interface GigabitEthernet0/0/20

  port link-type access

  port default vlan 100

#

interface GigabitEthernet0/0/21

  port link-type access

  port default vlan 200

#

interface GigabitEthernet0/0/22

  port link-type access

  port default vlan 300

#

interface NULL0

#

ospf 1 router-id 1.1.1.1

  area 0.0.0.0

    network 192.168.12.0 0.0.0.255

    network 192.168.13.0 0.0.0.255

    network 172.16.90.0 0.0.0.255

#

  snmp-agent

  snmp-agent local-engineid 000007DB7F00000100006183

  snmp-agent sys-info version v3

#

  stelnet server enable

  ssh user admin

  ssh user admin authentication-type password

  ssh user admin service-type all

#

user-interface con 0

  idle-timeout 0 0

user-interface vty 0 4

  authentication-mode aaa

  user privilege level 15

  set authentication password simple sinogrid

  protocol inbound all

#

Return

实现分析

1. 基于flow负载环境实施测试:

A.客户端源IP地址为:172.16.88.14,第一次wget请求后,命中负载均衡:ADC5000_121;

B.客户端源IP地址为:172.16.88.14,第二次wget请求后,命中负载均衡:ADC5000_122;

C.客户端源IP地址为:172.16.88.14,第三次wget请求后,命中负载均衡:ADC5000_122;

D.客户端源IP地址为:172.16.88.14,第四次wget请求后,命中负载均衡:ADC5000_121;

在客户端执行wget请求,在负载均衡抓包,之后使用Wireshark软件打开pcap文件,过滤方式为:eth.addr == 28:51:32:0f:38:a3 || eth.addr == 28:51:32:0f:09:3b and !icmp and !tcp.port == 10443 and ip.addr == 172.16.90.14,即可打开详细的数据报文交互过程

2. 通过多次执行步骤ABCD操作,使其产生压力流程,抓包后,可以看到请求分布命中负载均衡:ADC5000_121和ADC5000_122;由于采用四元组计算Hash出一个值,根据这个值选择一条链路进行转发。

3. 从负载均衡虚拟服务器【查看运行状态】可以看到两台负载均衡均有业务流量。

华三路由设备配置ECMP指导
华三路由设备配置

华三ECMP(Equal-Cost Multiple Path),是对同一路由协议来说,允许配置多条目的地相同且开销也相同的路由。当到同一目的地的路由中,没有更高优先级的路由时,这几条路由都被采纳,在转发去往该目的地的报文时,依次通过各条路径发送,从而实现网络的负载分担。华三路由设备不能配置IP报文转发的负载分担方式,默认为按照逐流的方式,对报文进行负载分担。流量在这些等价路径上平均分配,不会考虑链路带宽的差异。

路由器配置

1.进入接口模式,配置所有接口IP地址:

<H3C>system-view

[H3C]vlan 18

[H3C]interface Vlan-interface18

[H3C-Vlan-interface18]ip address 172.16.90.1 255.255.255.0

[H3C]vlan 19

[H3C]interface Vlan-interface 19

[H3C-Vlan-interface19] ip address 192.168.12.1 255.255.255.0

[H3C]vlan 20

[H3C]interface Vlan-interface 20

[H3C-Vlan-interface20] ip address 192.168.13.1 255.255.255.0

2.将接口划进VLAN中:

[H3C] interface Ethernet 1/0/18

[H3C-Ethernet1/0/18] port link-type access

[H3C-Ethernet1/0/18] port access vlan 18

[H3C] interface Ethernet 1/0/19

[H3C-Ethernet1/0/19] port link-type access

[H3C-Ethernet1/0/19] port access vlan 19

[H3C] interface Ethernet 1/0/20

[H3C-Ethernet1/0/20] port link-type access

[H3C-Ethernet1/0/20] port access vlan 20

3.配置OSPF路由协议:

[H3C]ospf 1 router-id 1.1.1.1

[H3C-ospf-1] area 0.0.0.0

[H3C-ospf-1-area-0.0.0.0] network 192.168.12.0 0.0.0.255

[H3C-ospf-1-area-0.0.0.0] network 192.168.13.0 0.0.0.255

[H3C-ospf-1-area-0.0.0.0] network 172.16.90.0 0.0.0.255

4.查看OSPF邻居关系,如果关系建立正确,可以看到如下描述:

[H3C]dis ospf peer

    OSPF Process 1 with Router ID 1.1.1.1

        Neighbor Brief Information

Area: 0.0.0.0

Router ID    Address        Pri    Dead-Time Interface    State

0.0.0.100 192.168.12.3 1 35 Vlan19 Full/DR

0.0.0.100 192.168.13.4 1 33 Vlan20 Full/DR

5.华三路由器OSPF路由协议,不同设备支持的最大支持等价路由数量都不相同,本文以实验的设备S3600v2为例,此设备最大支持8条,当设置num为1时,表示不进行负载分担,设置命令如下:

[H3C]ospf 1 router-id 1.1.1.1

[H3C-ospf-1]maximum load-balancing num

6.配置全部完成后,dis current-configuration可以看到如下完整配置:

[H3C]dis current-configuration

#

  version 5.20, Release 2108P01

#

  sysname H3C

#

  irf mac-address persistent timer

  irf auto-update enable

  undo irf link-delay

#

  domain default enable system

#

  ipv6

#

  ip ttl-expires enable

#

  undo ip http enable

#

  password-recovery enable

#

vlan 1

#

vlan 18 to 20

#

domain system

  access-limit disable

  state active

  idle-cut disable

  self-service-url disable

#

user-group system

  group-attribute allow-guest

#

local-user h3c

  password cipher $c$3$Ysz5BKX3jtRfQ/Y3myUNb9WG32rBlw==

  authorization-attribute level 3

  service-type ssh

#

interface NULL0

#

interface Vlan-interface1

  ip address dhcp-alloc client-identifier mac Vlan-interface1

#

interface Vlan-interface18

  ip address 172.16.90.1 255.255.255.0

#

interface Vlan-interface19

  ip address 192.168.12.1 255.255.255.0

#

interface Vlan-interface20

  ip address 192.168.13.1 255.255.255.0

#

interface Ethernet1/0/18

  port link-mode bridge

  port access vlan 18

#

interface Ethernet1/0/19

  port link-mode bridge

  port access vlan 19

#

interface Ethernet1/0/20

  port link-mode bridge

  port access vlan 20

#

ospf 1 router-id 1.1.1.1

  area 0.0.0.0

    network 192.168.12.0 0.0.0.255

    network 192.168.13.0 0.0.0.255

    network 172.16.90.0 0.0.0.255

#

ssh server enable

  ssh user h3c service-type all authentication-type password

  ssh client authentication server 192.168.22.1 assign publickey 192.168.22.1

#

  load xml-configuration

#

  load tr069-configuration

#

user-interface aux 0

user-interface vty 0 4

  authentication-mode scheme

  protocol inbound ssh

user-interface vty 5 15

#

return


实现分析

1. 基于flow负载环境实施测试:

A.客户端源IP地址为:172.16.90.30,第一次wget请求后,命中负载均衡:ADC5000_121;

B.客户端源IP地址为:172.16.90.30,第二次wget请求后,命中负载均衡:ADC5000_122;

C.客户端源IP地址为:172.16.90.30,第三次wget请求后,命中负载均衡:ADC5000_122;

D.客户端源IP地址为:172.16.90.30,第四次wget请求后,命中负载均衡:ADC5000_121;

在客户端执行wget请求,在负载均衡抓包,之后使用Wireshark软件打开pcap文件,过滤方式为:eth.addr == 28:51:32:0f:38:a3 || eth.addr == 28:51:32:0f:09:3b and !icmp and !tcp.port == 10443 and ip.addr == 172.16.90.30,即可打开详细的数据报文交互过程

2. 通过多次执行步骤ABCD操作,使其产生压力流程,抓包后,可以看到请求分布命中负载均衡:ADC5000_121和ADC5000_122。

3. 从负载均衡虚拟服务器【查看运行状态】可以看到两台负载均衡均有业务流量。

Arista路由设备配置ECMP指导
Arista路由器负载均衡概述

ECMP(Equal-Cost Multi Path Routing)等价多路径,存在多条不同链路到达同一目的地址的网络环境中,如果使用传统的路由技术,发往该目的地址的数据包只能利用其中的一条链路,其它链路处于备份状态或无效状态,并且在动态路由环境下相互的切换需要一定时间,而等值多路径路由协议可以在该网络环境下同时使用多条链路,不仅增加了传输带宽,并且可以无时延无丢包地备份失效链路的数据传输。

路由器配置

1.首先进入接口模式,配置所有接口IP地址:

R1#conf t

R1(config)#int e2

R1(config-if)#ip add 192.168.12.1 255.255.255.0

R1(config-if)#no sh

2.R1的三个接口配置完成后,可以看到如下配置:

interface Ethernet1

    no switchport

    ip address 172.16.90.1/24

!

interface Ethernet2

    no switchport

    ip address 192.168.12.176/24

!

interface Ethernet3

    no switchport

    ip address 192.168.13.176/24

3.之后,进行动态路由配置:

R1(config)#router os 1

R1(config-router)#router-id 192.168.10.176

R1(config-router)# network 172.16.90.0 0.0.0.255 area 0

R1(config-router)# network 192.168.12.0 0.0.0.255 area 0

R1(config-router)# network 192.168.13.0 0.0.0.255 area 0

4.查看OSPF邻居关系,如果关系建立正确,可以看到如下描述:

Neighbor ID Pri State Dead Time Address Interface

Neighbor ID VRF Pri State Dead Time Address Interface

192.168.10.122 default 1 FULL/BDR 00:00:38 192.168.13.3 Ethernet3

192.168.10.121 default 1 FULL/BDR 00:00:31 192.168.12.2 Ethernet2

5.配置完成后,查看路由表:

R1#sho ip route

Codes: C - connected, S - static, K - kernel,

            O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,

            E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,

            N2 - OSPF NSSA external type2, B I - iBGP, B E - eBGP,

            R - RIP, I - ISIS, A B - BGP Aggregate, A O - OSPF Summary,

            NG - Nexthop Group Static Route

Gateway of last resort is not set

  C        12.12.12.0/24 is directly connected, Loopback1

  O        172.16.88.0/24 [110/20] via 192.168.12.2, Ethernet2

              via 192.168.13.3, Ethernet3

  C        172.16.90.0/24 is directly connected, Ethernet1

  C        192.168.12.0/24 is directly connected, Ethernet2

  C        192.168.13.0/24 is directly connected, Ethernet3

6.配置全部完成后,show run可以看到如下完整配置:

hostname R1

!

ip load-sharing arad hash 2

!

spanning-tree mode mstp

!

no aaa root

!

username admin role network-admin secret 5 $1$3euPxSeH$vURRO4BtEn8.8ss20NbwE1

!

interface Ethernet1

  no switchport

  ip address 172.16.90.1/24

!

interface Ethernet2

  no switchport

  ip address 192.168.12.176/24

!

interface Ethernet3

  no switchport

  ip address 192.168.13.176/24

!

……

interface Ethernet52

!

interface Loopback1

  ip address 12.12.12.12/24

!

interface Management1

!

interface Management2

!

ip load-sharing petraA 1

!

ip routing

!

router ospf 1

  router-id 192.168.10.176

  network 172.16.90.0/24 area 0.0.0.0

  network 192.168.12.0/24 area 0.0.0.0

  network 192.168.13.0/24 area 0.0.0.0

  max-lsa 12000

!

management ssh

  idle-timeout 86400

!

!

end

实现分析

1.基于目的地负载环境实施测试:

A.客户端源IP地址为:172.16.90.1,wget请求后,命中负载均衡:ADC5000_121;

B.客户端源IP地址为:172.16.90.1,wget请求后,命中负载均衡:ADC5000_122;

C.客户端源IP地址为:172.16.90.1,wget请求后,命中负载均衡:ADC5000_122;

D.客户端源IP地址为:172.16.90.1,wget请求后,命中负载均衡:ADC5000_121;

在客户端执行wget请求,在负载均衡抓包,之后使用Wireshark软件打开pcap文件,过滤方式为:eth.addr == 28:51:32:0f:38:a3 || eth.addr == 28:51:32:0f:09:3b and !icmp and !tcp.port == 10443 and ip.addr == 172.16.90.14,即可打开详细的数据报文交互过程。

2.通过多次执行步骤A操作,由于采用hash算法,流量被自动分担到两个负载均衡上。

通过集群实现单服务1万亿比特率吞吐
慧敏负载均衡集群概述

传统负载均衡器,通过在业务层进行负载,对后端真实服务器进行流量调度,通过增加后端真实服务器,对业务层面整体系统来提升吞吐量,但受到负载均衡硬件性能的限制,吞吐流量随着真实服务器的增多,会达到一个吞吐率上限,慧敏应用交付网关通过ECMP集群架构部署,来实现为单一应用服务提供1Tera bps的业务吞吐流量的处理能力。

集群部署网络环境

我们以ADC-10000 为例,ADC-10000 单机吞吐率在40Gbps。我们通过部署25台ADC-10000 加上Arista 73XX系列交换机,真实服务器采用25台万兆速率服务器,实现了为单一的虚拟应用服务(Virtual Server) 提供万亿比特率的吞吐速率(1 Tera bps)。

 

1. 整个区域全部为area 0;
2. 所有负载均衡VIP全部为:172.16.88.60:80;
3. 每台设备接入4个10G光模块,IP规划4个IP用于光模块接口IP,最后一个IP为管理口IP,即一台负载均衡占用5个地址段,例如192.168.10.2 - 192.168.14.2;
4. 本集群部署环境采用25台负载均衡器,一台负载均衡器接入4个10G模块,实现1Tbps的吞吐流量;
5. 慧敏负载均衡配置参考第二章节,每台负载均衡配置除IP和router-id以外,大体上相同;
6. 客户端采用为X86架构机器,网卡为万兆口;同样,路由器的客户端接入口配置IP地址范围为:172.16.0.1-172.16.100.1。

路由器配置

1. 首先进入接口模式,配置所有与负载均衡直连接口IP地址:

R1#conf t

R1(config)#int e1

R1(config-if)# no switchport

R1(config-if)#ip add 192.168.10.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e2

R1(config-if)# no switchport

R1(config-if)#ip add 192.168.11.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e3

R1(config-if)# no switchport

R1(config-if)#ip add 192.168.12.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e4

R1(config-if)# no switchport

R1(config-if)#ip add 192.168.13.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e5

R1(config-if)# no switchport

R1(config-if)#ip add 192.168.14.1 255.255.255.0

R1(config-if)#no sh

2. 循环配置,一直配置到第100口:

R1(config)#int e100

R1(config-if)# no switchport

R1(config-if)#ip add 192.168.134.1 255.255.255.0

R1(config-if)#no sh

3. R1的负载均衡直连口配置完成后,可以看到如下配置:

interface Ethernet1

  no switchport

  ip address 192.168.10.1/24

!

interface Ethernet2

  no switchport

  ip address 192.168.11.1/24

!

interface Ethernet3

  no switchport

  ip address 192.168.12.1/24

        中间配置省略

interface Ethernet3

  no switchport

  ip address 192.168. 134.1/24

4.之后配置所有与客户端直连接口IP地址:

R1#conf t

R1(config)#int e150

R1(config-if)# no switchport

R1(config-if)#ip add 172.16.0.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e151

R1(config-if)# no switchport

R1(config-if)#ip add 172.16.1.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e152

R1(config-if)# no switchport

R1(config-if)#ip add 172.16.2.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e153

R1(config-if)# no switchport

R1(config-if)#ip add 172.16.3.1 255.255.255.0

R1(config-if)#no sh

R1(config)#int e154

R1(config-if)# no switchport

R1(config-if)#ip add 172.16.4.1 255.255.255.0

R1(config-if)#no sh

5. 循环配置,一直配置到第100口:

R1(config)#int e250

R1(config-if)# no switchport

R1(config-if)#ip add 172.16.100.1 255.255.255.0

R1(config-if)#no sh

6. R1的负载均衡直连口配置完成后,可以看到如下配置:

interface Ethernet150

  no switchport

  ip address 172.16.0.1 255.255.255.0

!

interface Ethernet151

  no switchport

  ip address 172.16.1.1 255.255.255.0

!

interface Ethernet152

  no switchport

  ip address 172.16.2.1 255.255.255.0

        中间配置省略

interface Ethernet250

  no switchport

  ip address 172.16.100.1 255.255.255.0

7. 之后,进行动态路由配置:

R1(config)#router os 1

R1(config-router)#router-id 192.168.10.176

R1(config-router)# network 172.16.0.0/17 area 0.0.0.0

R1(config-router)# network 192.168.0.0/17 area 0.0.0.0

8. 查看OSPF邻居关系,可以看到已经成功建立100条邻居关系:

Neighbor ID Pri State Dead Time Address Interface

Neighbor ID VRF Pri State Dead Time Address Interface

192.168.10.2 default 1 FULL/DR 00:00:38 192.168.13.3 Ethernet1

192.168.11.2 default 1 FULL/DR 00:00:31 192.168.12.2 Ethernet2

192.168.12.2 default 1 FULL/DR 00:00: 192.168.13.3 Ethernet3

192.168.13.2 default 1 FULL/DR 00:00:34 192.168.12.2 Ethernet4

一直到第100个邻居:

192.168.134.2 default 1 FULL/DR 00:00:34 192.168.12.2 Ethernet100

9. 配置完成后,查看路由表:

R1#sho ip route

Codes: C - connected, S - static, K - kernel,

            O - OSPF, IA - OSPF inter area, E1 - OSPF external type 1,

            E2 - OSPF external type 2, N1 - OSPF NSSA external type 1,

            N2 - OSPF NSSA external type2, B I - iBGP, B E - eBGP,

            R - RIP, I - ISIS, A B - BGP Aggregate, A O - OSPF Summary,

            NG - Nexthop Group Static Route

Gateway of last resort is not set

C        12.12.12.0/24 is directly connected, Loopback1

O        172.16.88.0/24 [110/20] via 192.168.10.2, Ethernet1

        via 192.168.11.2, Ethernet2

        中间省略:

        via 192.168.134.2, Ethernet100

C        172.16.90.0/24 is directly connected, Ethernet1

C        192.168.12.0/24 is directly connected, Ethernet2

C        192.168.13.0/24 is directly connected, Ethernet3

10. 配置全部完成后,show run可以看到路由协议配置如下:

!

ip load-sharing petraA 1

!

ip routing

!

router ospf 1

router-id 192.168.10.176

network 172.16.0.0/17 area 0.0.0.0

network 192.168.0.0/17 area 0.0.0.0

max-lsa 12000

!

management ssh

idle-timeout 86400

!

总结

通过ECMP 协议,慧敏应用交付网关集群与主流三层交换机结合实现了单一应用虚拟服务达到甚至超过一万亿比特率的超高性能。

了解更多信息

关注官方微信

电话:(8610)8580 4799

传真:(8610)8580 4800

咨询热线:400 610 0319