15 KiB

Raw Blame History Unescape Escape

iperf

说明

iperf可以测试TCP和UDP带宽质量。iperf可以测量最大TCP带宽，具有多种参数和UDP特性。iperf可以报告带宽，延迟抖动和数据包丢失利用iperf这一特性，可以用来测试一些网络设备如路由器，防火墙，交换机等的性能

各安装包区别

# 通过perfSONAR安装,最好设置tcp拥塞算法为net.ipv4.tcp_congestion_control = htcp
yum install -y http://software.internet2.edu/rpms/el7/x86_64/latest/packages/perfSONAR-repo-0.9-1.noarch.rpm
yum install -y perfsonar-tools  # 仅包含运行按需测量所需的命令行客户端，owamp twamp nuttcp iperf3 iperf

: << comment
包括perfsonar-tools包中的所有内容以及以下所需的软件：
* 定期自动运行测试
* 参与集中管理的测试
* 发布测量节点的存在
comment
yum install -y perfsonar-testpoint

: << comment
perfsonar-core bundle install包括perfsonar-testpoint bundle install中的所有内容以及用于存储结果的esmond测量存档。这对于希望在
本地存储结果但不希望安装perfSONAR Toolkit的专用测量主机来说非常理想。换句话说，他们不想使用Web界面，并希望灵活地选择默认安全性和调整设置
comment
yum install -y perfsonar-core

: << comment
包含perfsonar-core bundle中的所有内容：
用于管理测试的Web界面
脚本用于应用系统范围的默认调整和安全设置
此捆绑包适用于那些希望安装perfSONAR Toolkit ISO中包含的全套工具但在现有Linux系统上的工具包
comment
yum install -y perfsonar-toolkit

: << comment
perfsonar-centralmanagement捆绑包独立于上面的捆绑包，并安装集中管理大量主机并显示其结果所需的工具。这包括esmond测量存档，用于发布
任务模板的工具和用于显示结果的仪表板软件(MaDDash)
comment
yum install -y perfsonar-centralmanagement

网络吞吐量工具比较

建议使用iperf3，而不要使用较早版本的iperf2，因为TCP重传和CWND报告对于故障排除非常有用。iperf2.0.8及更高版本现在通过'-e'标志支持此功能

注意：三个工具都在开发阶段，此处有可能随着时间推移有所变动未及时修改

		工具特征比较
版本	iperf2.0.5	iperf2.0.8 +	iperf3.1.5 +	nuttcp 8.x
多线程	-P	-P
JSON输出			--json
CSV输出	-y	-y
FQ-based pacing			--fq-rate
多播支持	--ttl	--ttl		-m
双向测试	--dualtest	--dualtest
转发和CWND报告		-e	默认开启	-br/-bc
跳过TCP慢启动			--omit
设置TCP拥塞控制alg	-Z	-Z	--congestion
零拷贝(sendfile)			--zerocopy
UDP burst模式				-Ri#/#
MS Windows支持	是	是	没有	没有

用途建议如下

将iperf2用于并行流，双向或基于MS Windows的测试
使用nuttcp进行高速UDP测试
否则使用iperf3。特别是如果你想要详细的JSON输出

iperf2和iperf3常见问题

# iperf2
对于800Mbps以上的UDP，iperf 2.0.5结果不一致。此问题已在iperf2.0.8中修复。此版本包括新的“ -e”选项，以输出TCP重传和CWND信息

# iperf3
iperf3是单线程的，而iperf2是多线程的。建议将iperf2用于并行流，将iperf3用于并行流参考：
https://fasterdata.es.net/performance-testing/network-troubleshooting-tools/iperf/multi-stream-iperf3/

UDP速率低于100Kbps时，需要减少默认数据包长度，使用-l100选项
使用-fq-rate选项时，需要内核配置修改net.core.default_qdisc = fq

iperf选项

客户端与服务器共用选项
-f, --format [bkmaBKMA]	格式化带宽数输出。支持的格式有： 'b' = bits/sec 'B' = Bytes/sec 'k' = Kbits/sec 'K' = KBytes/sec 'm' = Mbits/sec 'M' = MBytes/sec 'g' = Gbits/sec 'G' = GBytes/sec 'a' = adaptive bits/sec 'A' = adaptive Bytes/sec 自适应格式是kilo-和mega-二者之一。除了带宽之外的字段都输出为字节，除非指定输出的格式，默认的参数是a。 注意：在计算字节byte时，Kilo = 1024， Mega = 1024^2，Giga = 1024^3。通常，在网络中，Kilo = 1000， Mega = 1000^2， and Giga = 1000^3，所以，Iperf也按此来计算比特（位）。如果这些困扰了你，那么请使用-f b参数，然后亲自计算一下
-i, --interval #	设置每次报告之间的时间间隔，单位为秒。如果设置为非零值，就会按照此时间间隔输出测试报告。默认值为零
-l, --len #[KM]	设置读写缓冲区的长度。TCP方式默认为8KB，UDP方式默认为1470字节
-m, --print_mss	输出TCP MSS值（通过TCP_MAXSEG支持）。MSS值一般比MTU值小40字节。通常情况
-p, --port #	设置端口，与服务器端的监听端口一致。默认是5001端口，与ttcp的一样
-u, --udp	使用UDP方式而不是TCP方式。参看-b选项
-w, --window #[KM]	设置套接字缓冲区为指定大小。对于TCP方式，此设置为TCP窗口大小。对于UDP方式，此设置为接受UDP数据包的缓冲区大小，限制可以接受数据包的最大值
-B, --bind host	绑定到主机的多个地址中的一个。对于客户端来说，这个参数设置了出栈接口。对于服务器端来说，这个参数设置入栈接口。这个参数只用于具有多网络接口的主机。在Iperf的UDP模式下，此参数用于绑定和加入一个多播组。使用范围在224.0.0.0至239.255.255.255的多播地址。参考-T参数
-C, --compatibility	与低版本的Iperf使用时，可以使用兼容模式。不需要两端同时使用兼容模式，但是强烈推荐两端同时使用兼容模式。某些情况下，使用某些数据流可以引起1.7版本的服务器端崩溃或引起非预期的连接尝试
-M, --mss #ip头减去40字节。在以太网中，MSS值 为1460字节（MTU1500字节）。许多操作系统不支持此选项
-N, --nodelay	设置TCP无延迟选项，禁用Nagle's运算法则。通常情况此选项对于交互程序，例如telnet，是禁用的
-V (from v1.6 or higher)	绑定一个IPv6地址。 服务端：$ iperf -s –V 客户端：$ iperf -c -V 注意：在1.6.3或更高版本中，指定IPv6地址不需要使用-B参数绑定，在1.6之前的版本则需要。在大多数操作系统中，将响应IPv4客户端映射的IPv4地址
服务器端专用选项
-s, --server	Iperf服务器模式
-D (v1.2或更高版本)	Unix平台下Iperf作为后台守护进程运行。在Win32平台下，Iperf将作为服务运行
-R(v1.2或更高版本，仅用于Windows)	卸载Iperf服务（如果它在运行）
-o(v1.2或更高版本，仅用于Windows)	重定向输出到指定文件
-c, --client host	如果Iperf运行在服务器模式，并且用-c参数指定一个主机，那么Iperf将只接受指定主机的连接。此参数不能工作于UDP模式
-P, --parallel #	服务器关闭之前保持的连接数。默认是0，这意味着永远接受连接
客户端专用选项
-b, --bandwidth #[KM]	UDP模式使用的带宽，单位bits/sec。此选项与-u选项相关。默认值是1 Mbit/sec
-c, --client host	运行Iperf的客户端模式，连接到指定的Iperf服务器端
-d, --dualtest	运行双测试模式。这将使服务器端反向连接到客户端，使用-L 参数中指定的端口（或默认使用客户端连接到服务器端的端口）。这些在操作的同时就立即完成了。如果你想要一个交互的测试，请尝试-r参数
-n, --num #[KM]	传送的缓冲器数量。通常情况，Iperf按照10秒钟发送数据。-n参数跨越此限制，按照指定次数发送指定长度的数据，而不论该操作耗费多少时间。参考-l与-t选项
-r, --tradeoff	往复测试模式。当客户端到服务器端的测试结束时，服务器端通过-l选项指定的端口（或默认为客户端连接到服务器端的端口），反向连接至客户端。当客户端连接终止时，反向连接随即开始。如果需要同时进行双向测试，请尝试-d参数
-t, --time #	设置传输的总时间。Iperf在指定的时间内，重复的发送指定长度的数据包。默认是10秒钟。参考-l与-n选项
-L, --listenport #	指定服务端反向连接到客户端时使用的端口。默认使用客户端连接至服务端的端口
-P, --parallel #	线程数。指定客户端与服务端之间使用的线程数。默认是1线程。需要客户端与服务器端同时使用此参数
-S, --tos #	出栈数据包的服务类型。许多路由器忽略TOS字段。你可以指定这个值，使用以"0x"开始的16进制数，或以"0"开始的8进制数或10进制数。 例如，16进制'0x10' = 8进制'020' = 十进制'16'。TOS值1349就是： IPTOS_LOWDELAY minimize delay 0x10 IPTOS_THROUGHPUT maximize throughput 0x08 IPTOS_RELIABILITY maximize reliability 0x04 IPTOS_LOWCOST minimize cost 0x02
-T, --ttl #	出栈多播数据包的TTL值。这本质上就是数据通过路由器的跳数。默认是1，链接本地
-F (from v1.2 or higher)	使用特定的数据流测量带宽，例如指定的文件。 $ iperf -c -F
-I (from v1.2 or higher)	与-F一样，由标准输入输出文件输入数据

iperf3选项

iperf和iperf3基本命令对比


服务器端
iperf -s / iperf3 -s	在默认端口上启动服务器
iperf -s -w 32M -D / iperf3 -s -D	使用较大的TCP窗口并以守护程序模式启动服务器
iperf -i1 -u -s -p 5003 / iperf3 -s -p 5003	在端口5003上启动UDP服务器，并给出1秒的间隔报告。请注意，对于iperf3，-u选项从客户端传递到服务器
客户端
iperf/iperf3 -c remotehost -i 1 -t 30	运行30秒测试，每1秒给出一次结果
iperf/iperf3 -c remotehost -i 1 -t 20 -r	从remotehost到localhost运行测试
iperf/iperf3 -c remotehost -i 1 -t 20 -w 32M -P 4	使用4个并行流和32M TCP缓冲区运行测试
iperf/iperf3 -c remotehost -u -i 1 -b 200M	运行200 Mbps UDP测试

iperf3添加了许多其他功能。例如：-i模式现在报告TCP重传信息（默认情况下处于启用状态），而详细模式提供了大量有关CPU使用率的有用信息等新选项包括如下：


客户端	新iperf3选项命令
iperf3 -c remotehost -i.5 -0 2	收集结果之前，请运行测试2秒钟，以完成TCP慢启动。（省略模式）
iperf3 -Z -c remotehost	将sendfile（）系统调用用于“零复制”模式。这会在较旧的硬件上使用更少的CPU
iperf3 -c 192.168.12.12 -T s1 & iperf3 -c 192.168.12.13 -T s2	一次对多个接口运行测试，并标记行以指示哪个测试是哪个
iperf3 -c remotehost -J	以JSON格式输出结果，以便于分析
iperf3 -A 4,4 -c remotehost	设置发送方和接收方的CPU关联性(核心从0开始编号)，这与在客户端和服务器上执行“numactl -C 4 iperf3”具有相同的影响
iperf3 -c 10.20.1.20 -A2,2 -T "1" & ; iperf3 -c 10.20.1.20 -p 5400 -A3,3 -T "2" &	在2个不同的内核上运行2个流，并使用“ -T”标志标记每个流

iperf3通常用于衡量内存对内存的性能，但是您也可以使用最新版iperf3的-F选项来确定网络或磁盘是否是瓶颈

iperf3 -s   # server端执行此命令
iperf3 -c testhost -i1  # 测试内存到内存(客户端)[传输带宽测试]

iperf3 -s   # server端执行此命令
iperf3 -c testhost -i1 -F filename   # 磁盘到内存(客户端)[磁盘读取测试，当吞吐量比上门测试慢时说明受磁盘限制而不是网络瓶颈]

iperf3 -s -F filename  # server端执行此命令
iperf3 -c testhost -i1 -t 40 # 测试内存到磁盘(客户端)[磁盘写入测试，对于磁盘写测试，利用-t选项运行更长的测试来排除网络缓冲问题]

# 最慢的测试结果将显示瓶颈，值得注意的是：第二次运行时，文件已经被缓存，需要以root用户执行以下命令
sync;echo 3> /proc/sys/vm/drop_caches

: << comment
# 在40Gbps及以上的高速主机使用iperf3测试
iperf3 -s -p 5101&; iperf3 -s -p 5102&; iperf3 -s -p 5103 & # 服务端开启多个进程
# 然后运行多个客户端，使用-T选项标记输出
iperf3 -c hostname -T s1 -p 5101 &;  
iperf3 -c hostname -T s2 -p 5102 &; 
iperf3 -c hostname -T s3 -p 5103 &;

# 40或100G主机参考Linux主机调整部分，TCP默认自动调整参数可能不能容纳40G，并且尝试使用-w选项将窗口设置的更大(如128M),必须检查IRQ设置
# 详细参考：https://fasterdata.es.net/host-tuning/linux/100g-tuning/
comment

# iperf3使用--logfile选项时，实时查看文件输出，使用--forceflush标志

nuttcp

nuttcp -S   # 服务器端执行此命令
nuttcp -i1 server_hostname  # 客户端

nuttcp -i1 -r server_hostname   # 测试相反的方向

# UDP突发模式，从6.2.8开始支持udp的突发模式，对于查找没有足够缓冲的受网络设备约束的路径很有用
nuttcp -u -Ri300m/20 -i 1 -T5 nettest.lbl.gov # 20个数据包的突发发送300 Mbps UDP，持续5秒

nuttcp -l8972 -T30 -u -w4m -Ri300m/100 -i1 server_hostname

其他网络性能测试工具

# Scamper是结合了路由跟踪和MTU发现
https://www.caida.org/tools/measurement/scamper/

# owing是一种检查由于拥塞或不良光纤造成的数据包丢失的简单工具(包含在perfsonar-tools中)
owping -c 10000 -i .01 hostname # 10 ms的间隔发送10000个测试数据包

https://fasterdata.es.net/performance-testing/network-troubleshooting-tools/tcpdump-tcptrace/

实例

# 网络性能故障排除参考：https://fasterdata.es.net/performance-testing/troubleshooting/

iperf -u -s # 带宽测试通常采用UDP模式，因为能测出极限带宽、时延抖动、丢包率。在进行测试时，首先以链路理论带宽作为数据发送速率进行测试
# 例如，从客户端到服务器之间的链路的理论带宽为100Mbps，先用`-b 100M`进行测试，然后根据测试结果（包括实际带宽，时延抖动和丢包率），再以
# 实际带宽作为数据发送速率进行测试，会发现时延抖动和丢包率比第一次好很多，重复测试几次，就能得出稳定的实际带宽

iperf -u -c 192.168.1.1 -b 100M -t 60   # udp模式下，以100Mbps数据发送速率，客户端到服务器192.168.1.1上传带宽测试，测试时间60秒
iperf -u -c 192.168.1.1 -b 5M -P 30 -t 60   # 客户端同时向服务器端发起30个连接线程，以5Mbps为数据发送速率
iperf -u -c 192.168.1.1 -b 100M -d -t 60    # 以100M为数据发送速率，进行上下行带宽测试

iperf -c 192.168.1.1 -t 60  # 在tcp模式下，客户端到服务器192.168.1.1上传带宽测试，测试时间为60秒
iperf -c 192.168.1.1 -p 80 -P 30 -t 60   # -P客户端同时向服务器端发起30个连接线程,-p代表端口
iperf -c 192.168.1.1  -d -t 60  # 进行上下行带宽测试

15 KiB Raw Blame History Unescape Escape