1. Linux 下的流量控制原理

通過(guò)對(duì)包的排隊(duì)，我們可以控制數(shù)據(jù)包的發(fā)送方式。這種控制，稱(chēng)之為數(shù)據(jù)整形，shape the data，包括對(duì)數(shù)據(jù)的以下操作:

• 增加延時(shí)
• 丟包
• 重新排列
• 重復(fù)、損壞
• 速率控制

在 qdisc-class-filter 結(jié)構(gòu)下，對(duì)流量進(jìn)行控制需要進(jìn)行三個(gè)步驟:

• 創(chuàng)建 qdisc 隊(duì)列

上面提到 Linux 是通過(guò)包的排隊(duì)進(jìn)行流量的控制，那么首先得有一個(gè)隊(duì)列。

• 創(chuàng)建 class 分類(lèi)

class 實(shí)際上，就是劃分流量策略分類(lèi)。比如劃分兩檔流量限速 10MBps、20MBbs。

• 創(chuàng)建 filter 過(guò)濾

雖然創(chuàng)建了 class 分類(lèi)，但是并沒(méi)有將任何的 IP、Port 綁定到 class 上，此時(shí)并不會(huì)有控制作用。還需要?jiǎng)?chuàng)建 filter 將指定的 IP、Port 綁定到 class 上，才能使流量控制 class 生效于資源。

TC 是 Linux 下提供的流量控制工具，也是 Cilium/eBPF 等網(wǎng)絡(luò)組件的核心基礎(chǔ)設(shè)施之一。

2. 限制指定 IP、Port 對(duì)本機(jī)的訪(fǎng)問(wèn)速度

2.1 查看網(wǎng)卡

ifconfig

eth0:flags=4163mtu1500
inet1.1.1.1netmask255.255.254.0broadcast1.1.1.1
inet61:11prefixlen64scopeid0x20
ether111:1txqueuelen1000(Ethernet)
RXpackets2980910bytes2662352343(2.4GiB)
RXerrors0dropped0overruns0frame0
TXpackets1475969bytes122254809(116.5MiB)
TXerrors0dropped0overruns0carrier0collisions0

2.2 配置 qdisc-class-filter

• 創(chuàng)建 qdisc 根隊(duì)列

tcqdiscadddeveth0roothandle1:htbdefault1

• 創(chuàng)建第一級(jí) class 綁定所有帶寬資源

注意這里的單位是 6 MBps，也就是 48 Mbps。

tcclassadddeveth0parent1:0classid1:1htbrate6MBpsburst15k

• 創(chuàng)建子分類(lèi) class

可以創(chuàng)建多個(gè)子分類(lèi)，對(duì)資源的流量進(jìn)行精細(xì)化管理。

tcclassadddeveth0parent1:1classid1:10htbrate6MBpsceil10MBpsburst15k

這里 ceil 設(shè)置的是上限，正常情況下限速為 6MBps，但網(wǎng)絡(luò)空閑時(shí)，可以達(dá)到 10 MBps。

• 創(chuàng)建過(guò)濾器 filter，限制 IP

tcfilteradddeveth0protocolipparent1:0prio1u32matchipdst1.2.3.3flowid1:10

這里對(duì) 1.2.3.4 進(jìn)行限制帶寬為 1:10，也就是 6MBps。當(dāng)然，你也可以直接給網(wǎng)段 1.2.0.0/16 加 class 策略。

2.3 查看并清理配置

• 查看 class 配置

tcclassshowdeveth0

classhtb1:10parent1:1leaf10:prio0rate48Mbitceil80Mbitburst15Kbcburst1600b
classhtb1:1rootrate48Mbitceil48Mbitburst15Kbcburst1590b

• 查看 filter 配置

tcfiltershowdeveth0

filterparent1:protocolippref1u32chain0
filterparent1:protocolippref1u32chain0fh800:htdivisor1
filterparent1:protocolippref1u32chain0fh800::800order2048keyht800bkt0flowid1:10not_in_hw
match01020303/ffffffffat16

• 清理全部配置

tcqdiscdeldeveth0root

3. 限制本機(jī)對(duì)指定 IP、Port 的訪(fǎng)問(wèn)速度

由于排隊(duì)規(guī)則主要是基于出口方向，不能對(duì)入口方向的流量（Ingress）進(jìn)行限制。因此，我們需要將流量重定向到 ifb 設(shè)備上，再對(duì) ifb 的出口流量（Egress）進(jìn)行限制，以最終達(dá)到控制的目的。

3.1 啟用虛擬網(wǎng)卡

• 將在 ifb 設(shè)備

modprobeifbnumifbs=1

• 啟用 ifb0 虛擬設(shè)備

iplinksetdevifb0up

3.2 配置 qdisc-class-filter

• 添加 qdisc

tcqdiscadddeveth0handleffff:ingress

• 重定向網(wǎng)卡流量到 ifb0

tcfilteradddeveth0parentffff:protocolipu32matchu3200actionmirredegressredirectdevifb0

• 添加 class 和 filter

tcqdiscadddevifb0roothandle1:htbdefault10
tcclassadddevifb0parent1:0classid1:1htbrate6Mbps
tcclassadddevifb0parent1:1classid1:10htbrate6Mbps
tcfilteradddevifb0parent1:0protocolipprio16u32matchipdst1.2.3.4flowid1:10

3.3 查看并清理配置

• 下面是限速本機(jī)對(duì)指定 IP 訪(fǎng)問(wèn)的監(jiān)控圖

進(jìn)入的流量被限制在 6 MBps 以下，而出去的流量不被限制。

• 查看 class 配置

tcclassshowdevifb0

classhtb1:10parent1:1prio0rate48Mbitceil48Mbitburst1590bcburst1590b
classhtb1:1rootrate48Mbitceil48Mbitburst1590bcburst1590b

• 查看 filter 配置

tcfiltershowdevifb0

filterparent1:protocolippref16u32chain0
filterparent1:protocolippref16u32chain0fh800:htdivisor1
filterparent1:protocolippref16u32chain0fh800::800order2048keyht800bkt0flowid1:10not_in_hw
match01020304/ffffffffat16

• 清理全部配置

tcqdiscdeldeveth0ingress
tcqdiscdeldevifb0root
modprobe-rifb