NFS v4 с быстрым сетевым и средним диском IOPS. Увеличение загрузки при большой передаче файлов

Question

NFS v4 с быстрым сетевым и средним диском IOPS. Увеличение загрузки при большой передаче файлов. Проблема, кажется, IOPS.

Тестовый пример:

/etc/exports 
server# /mnt/exports 192.168.6.0/24(rw,sync,no_subtree_check,no_root_squash,fsid=0) 
server# /mnt/exports/nfs  192.168.6.0/24(rw,sync,no_subtree_check,no_root_squash) 

client# mount -t nfs 192.168.6.131:/nfs /mnt/nfstest -vvv 
(or client# mount -t nfs 192.168.6.131:/nfs /mnt/nfstest -o nfsvers=4,tcp,port=2049,async -vvv) 

Он работает «синхронизации» флаг хорошо Витс но transger капель формы 50MB/с до 500Кб/с

http://ubuntuforums.org/archive/index.php/t-1478413.html этой теме, кажется, решена за счет сокращения wsize to wsize = 300 - небольшое улучшение, но не решение.

Простой тест с дд:

client# dd if=/dev/zero bs=1M count=6000 |pv | dd of=/mnt/nfstest/delete_me 




server# iotop 
    TID PRIO USER  DISK READ DISK WRITE SWAPIN  IO> COMMAND                          
1863 be/4 root  0.00 B/s 14.17 M/s 0.00 % 21.14 % [nfsd] 
1864 be/4 root  0.00 B/s 7.42 M/s 0.00 % 17.39 % [nfsd] 
1858 be/4 root  0.00 B/s 6.32 M/s 0.00 % 13.09 % [nfsd] 
1861 be/4 root  0.00 B/s 13.26 M/s 0.00 % 12.03 % [nfsd] 

server# dstat -r --top-io-adv --top-io --top-bio --aio -l -n -m 
--io/total- -------most-expensive-i/o-process------- ----most-expensive---- ----most-expensive---- async ---load-avg--- -NET/total- ------memory-usage----- 
read writ|process    pid read write cpu|  i/o process  | block i/o process | #aio| 1m 5m 15m | recv send| used buff cach free 
10.9 81.4 |init [2]    1 5526B 20k0.0%|init [2] 5526B 20k|nfsd   10B 407k| 0 |2.92 1.01 0.54| 0  0 |29.3M 78.9M 212M 4184k 
1.00 1196 |sshd: root@pts/0  1943 1227B1264B 0%|sshd: root@1227B 1264B|nfsd   0 15M| 0 |2.92 1.01 0.54| 44M 319k|29.1M 78.9M 212M 4444k 
    0 1365 |sshd: root@pts/0  1943 485B 528B 0%|sshd: root@ 485B 528B|nfsd   0 16M| 0 |2.92 1.01 0.54| 51M 318k|29.5M 78.9M 212M 4708k 

Знаете ли Вы каким-либо образом ограничить нагрузку без больших изменений в конфигурации?

Я рассматриваю ограничение скорости сети с помощью wondershaper или iptables, хотя это не приятно, так как другой трафик также будет поврежден.

Кто-то предложил группы - возможно, стоит решить - но это все еще не мой «фэн-шуй» - я бы надеялся найти решение в конфигурации NFS - так как проблема здесь, было бы неплохо иметь in-one- местечки решения.

Если бы можно было увеличить скорость синхронизации до 10-20 МБ/с, которой было бы достаточно для меня.

Answer 1

Я думаю, что я прибил его:

На сервере, изменение диска scheduller:

for i in /sys/block/sd*/queue/scheduler ; do echo deadline > $i ; done 

дополнительно (небольшое улучшение - найти самое лучшее значение для Вас):

/etc/default/nfs-kernel-server 
# Number of servers to start up 
-RPCNFSDCOUNT=8 
+RPCNFSDCOUNT=2 

рестарта услуги

/etc/init.d/rpcbind restart 
/etc/init.d/nfs-kernel-server restart 

---

пс: Мои текущие конфиги

сервер:

/etc/exports 
/mnt/exports 192.168.6.0/24(rw,no_subtree_check,no_root_squash,fsid=0) 
/mnt/exports/nfs  192.168.6.0/24(rw,no_subtree_check,no_root_squash) 

клиент:

/etc/fstab 
192.168.6.131:/nfs /mnt/nfstest nfs rsize=32768,wsize=32768,tcp,port=2049 0 0