linux – SSD磁盘和10 Gbe网络的iSCSI性能不佳

iSCSI目标 @H_502_2@Ubuntu14.04(Trusty Tahr)具有16 gb ram和16核cpu作为LVM支持的iSCSI目标,使用三个三星SSD磁盘,每个磁盘使用带有板载缓存的LSI 6 Gbit / s控制器可以达到65k IOPs.

@H_502_2@目标SSD磁盘基准测试：

fio --filename=/dev/sdd --direct=1 --sync=1 --rw=write --bs=4k --numjobs=10 --iodepth=1 --runtime=60 --time_based --group_reporTing --name=ssd-max

iops=65514

@H_502_2@使用三个Samsung 850 EVO SSD在硬件RAID 0中配置sdd的位置.

@H_502_2@引发剂

@H_502_2@我在具有32 GB RAM和8个核心cpu的Ubuntu 14.04客户端上导出了500G LUN.

@H_502_2@导出LUN的基准测试

fio --filename=/dev/sdg --direct=1 --sync=1 --rw=write --bs=4k --numjobs=10 --iodepth=1 --runtime=60 --time_based --group_reporTing --name=client-max

iops=2400

@H_502_2@在进行DAS和通过网络时,性能显着下降,我预计至少有10k IOPs.

@H_502_2@目标和启动器之间的通信小于1毫秒,而iperf显示网络吞吐量为9.2 Gbit / s.

@H_502_2@我知道4k写入会对性能产生影响,因为每个数据在写入磁盘之前必须通过启动器和目标的网络堆栈,但这是从65k到2k的不可接受的下降.

@H_502_2@问题出在哪里？我在目标和启动器之间有一个10Gbit/s Ethernet NIC.有任何想法吗？