10GbE で iSCSI の速度が出ない件、まさかの解決策だった。
■Kernel チューニング
ほんとは、いろいろチューニング試していきたかったけど、時間がなかったので、いくつかのドキュメントを読んでみた。
・Configuring and tuning HP ProLiant Servers for low-latency applications
http://www8.hp.com/h20195/v2/GetPDF.aspx/4AA5-9666ENW.pdf
・Performance Tuning Guidelines for Mellanox Network Adapters
http://www.mellanox.com/related-docs/prod_software/Performance_Tuning_Guide_for_Mellanox_Network_Adapters.pdf
・HP NCシリーズMellanoxアダプターパフォーマンスチューニングガイド
http://h50146.www5.hp.com/lib/products/servers/proliant/manuals/601717-191-j.pdf
・Red Hat Enterprise Linux 6 – High Performance Network with MRG – MRG Messaging: Throughput & Latency 1-GigE, 10-GigE and 10 Gb InfiniBand
https://www.redhat.com/f/pdf/MRG-Messaging-1Gig-10Gig-IB-Xeon-v2.pdf
ふむふむなるほど時間がないってことで、あまり影響が出ないカーネルパラメータのうち、次の値をチョイス。
net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_sack = 0 net.core.netdev_max_backlog = 250000 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.core.rmem_default = 16777216 net.core.wmem_default = 16777216 net.core.optmem_max = 16777216 net.ipv4.tcp_mem = 16777216 16777216 16777216 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216
とりあえず 10GbE の iSCSI で速度出るようになったぞう。
でも、パフォーマンスのぶれ幅が多すぎる。
というわけで、あいつの出番！
■kernel-rt 突っ込んでみた
このためってわけじゃないけど、過去にビルドした Enterprise Linux 向けの kernel-rt を突っ込んでみた。
複数サーバで同時に vdbench を回して試験してたが、まさかの Peak 値までほぼ同一。
さすが Realtime Kernel だ・・・。
ずっと考えている宅内ファイルサーバのストレージ用OSに採用してもいいんじゃないかな・・・？これｗ
■もっとチューニングしたい
ただ、忙しすぎていろいろやる時間が取れない、残念。
近々、もう一回チューニングの値を見直してみよう。
