<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">Hi&nbsp;Raghavendra Talur,<div><br></div><div>1. I found that use the smb.conf test with iozone, it shows some difference in results:</div><div>smb.conf:</div><div>-----------</div><div><div>[root@localhost ~]# testparm&nbsp;</div><div>Load smb config files from /etc/samba/smb.conf</div><div>rlimit_max: increasing rlimit_max (1024) to minimum Windows limit (16384)</div><div>Processing section "[homes]"</div><div>Processing section "[printers]"</div><div>Processing section "[cifs]"</div><div>Processing section "[raw]"</div><div>Processing section "[gvol]"</div><div>Loaded services file OK.</div><div>Server role: ROLE_STANDALONE</div><div>Press enter to see a dump of your service definitions</div><div><br></div><div><div>[global]</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>workgroup = MYGROUP</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>server string = DCS Samba Server</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>log file = /var/log/samba/log.vfs</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>max log size = 500000</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>max protocol = SMB2</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>min receivefile size = 262144</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>max xmit = 262144</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=262144 SO_SNDBUF=262144</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>idmap config * : backend = tdb</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>aio read size = 262144</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>aio write size = 262144</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>aio write behind = true</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>write cache size = 268435456</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>cups options = raw</div></div><div>…….</div><div><br></div><div>[raw]</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>path = /dcsdata/d0</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>read only = No</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>guest ok = Yes</div><div><br></div><div>[gvol]</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>comment = For samba export of volume &nbsp;test</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>path = /</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>read only = No</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>guest ok = Yes</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>vfs objects = glusterfs</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>glusterfs:volume = soul</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>glusterfs:volfile_server = localhost</div></div><div>-----------</div><div>iozone test with cmd :&nbsp;&nbsp;iozone -s 10G -r 1m -i0 -t 4</div><div>-----------</div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; Run began: Thu Aug 22 16:11:40 2013</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; File size set to 10485760 KB</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Record Size 1024 KB</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Command line used: iozone -s 10G -r 1m -i0 -t 4</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Output is in Kbytes/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Time Resolution = 0.000000 seconds.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Processor cache size set to 1024 Kbytes.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Processor cache line size set to 32 bytes.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; File stride size set to 17 * record size.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Throughput test with 4 processes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Each process writes a 10485760 Kbyte file in 1024 Kbyte records</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for &nbsp;4 initial writers &nbsp;= &nbsp;147008.14 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4 initial writers &nbsp; = &nbsp;146846.43 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36750.59 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36754.97 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36752.04 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10484736.00 KB</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for &nbsp;4 rewriters &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;147494.85 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4 rewriters &nbsp; &nbsp; &nbsp; &nbsp; = &nbsp;147310.95 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36871.96 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36877.09 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36873.71 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10484736.00 KB</div><div><br></div><div>iozone test complete.</div></div><div>-----------</div><div><br></div><div>The results of rewrite show some difference, with your recommend smb.conf, the rewite and write diff in iozone docs :</div><div>
                
        
        
                <div class="page" title="Page 3">
                        <div class="layoutArea">
                                <div class="column"><p><span style="font-size: 10.000000pt; font-family: 'TimesNewRomanPS'; font-weight: 700">Write</span><span style="font-size: 10.000000pt; font-family: 'TimesNewRomanPSMT'">: This test measures the performance of writing a new file. When a new file is written not
only does the data need to be stored but also the overhead information for keeping track of where the data
is located on the storage media. This overhead is called the “metadata” It consists of the directory
information, the space allocation and any other data associated with a file that is not part of the data
contained in the file. It is normal for the initial write performance to be lower than the performance of re-
writing a file due to this overhead information.
</span></p><p><span style="font-size: 10.000000pt; font-family: 'TimesNewRomanPS'; font-weight: 700">Re-write</span><span style="font-size: 10.000000pt; font-family: 'TimesNewRomanPSMT'">: This test measures the performance of writing a file that already exists. When a file is
written that already exists the work required is less as the metadata already exists. It is normal for the
rewrite performance to be higher than the performance of writing a new file.&nbsp;</span></p><div>but use iozone test with 4 threads, the rewrite performs much better than write,&nbsp;</div><div>i thought rewite:180MB/s &nbsp;vs write:150MB/s is reasonable, but rewrite:400MB/s vs 140MB/s is out of my expectation.</div></div></div></div></div><div><br></div><div><br></div><div><br></div><div>thanks</div><div>-kane</div><div><br><div><div>在 2013-8-22,下午4:06,kane &lt;<a href="mailto:stef_9k@163.com">stef_9k@163.com</a>&gt; 写道:</div><br class="Apple-interchange-newline"><blockquote type="cite"><meta http-equiv="Content-Type" content="text/html charset=utf-8"><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">Hi&nbsp;Raghavendra Talur,<div><br></div><div>1. My samba version is:</div><div><div>[root@localhost ~]# smbd -V</div><div>Version 3.6.9-151.el6</div><div><br></div><div>2. Sorry in the first mail list, I forgot to tell, when use win7 client mount the server raw xfs backend with a raid5 disk,</div><div>it shows good write performance with same smb.conf in samba vfs&nbsp;glusterfs 3.4 test show next in point 3:</div><div>$&nbsp;./iozone -s 10G -r 128k -i0 -t 4</div><div><span style="white-space: pre-wrap;">----------------</span></div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; Run began: Thu Aug 22 15:59:11 2013</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; File size set to 10485760 KB</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Record Size 1024 KB</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Command line used: iozone -s 10G -r 1m -i0 -t 4</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Output is in Kbytes/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Time Resolution = -0.000000 seconds.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Processor cache size set to 1024 Kbytes.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Processor cache line size set to 32 bytes.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; File stride size set to 17 * record size.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Throughput test with 4 processes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Each process writes a 10485760 Kbyte file in 1024 Kbyte records</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for &nbsp;4 initial writers &nbsp;= &nbsp;566996.86 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4 initial writers &nbsp; = &nbsp;566831.18 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;141741.52 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;141764.00 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;141749.21 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10482688.00 KB</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for &nbsp;4 rewriters &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;432868.28 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4 rewriters &nbsp; &nbsp; &nbsp; &nbsp; = &nbsp;420648.01 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;108115.68 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;108383.86 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;108217.07 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10460160.00 KB</div><div><br></div><div><br></div><div><br></div><div>iozone test complete.</div></div><div><span style="white-space: pre-wrap;">----------------</span></div><div><span style="white-space: pre-wrap; "><br></span></div><div><span style="white-space: pre-wrap;">3. With your recommended conf added in smb.conf, t</span>his is testparm result:</div><div><div><div>[root@localhost ~]# testparm&nbsp;</div><div>Load smb config files from /etc/samba/smb.conf</div><div>rlimit_max: increasing rlimit_max (1024) to minimum Windows limit (16384)</div><div>Processing section "[homes]"</div><div>Processing section "[printers]"</div><div>Processing section "[cifs]"</div><div>Processing section "[raw]"</div><div>Processing section "[gvol]"</div><div>Loaded services file OK.</div><div>Server role: ROLE_STANDALONE</div><div>Press enter to see a dump of your service definitions</div><div><br></div></div><div><div>[global]</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>workgroup = MYGROUP</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>server string = DCS Samba Server</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>log file = /var/log/samba/log.vfs</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>max log size = 500000</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>max protocol = SMB2</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>max xmit = 262144</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=262144 SO_SNDBUF=262144</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>stat cache = No</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>kernel oplocks = No</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>idmap config * : backend = tdb</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>aio read size = 262144</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>aio write size = 262144</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>aio write behind = true</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>write cache size = 268435456</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>cups options = raw</div><div>……</div><div><br></div><div>[cifs]</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>path = /mnt/fuse</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>read only = No</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>guest ok = Yes</div><div><br></div><div>[raw]</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>path = /dcsdata/d0</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>read only = No</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>guest ok = Yes</div><div><br></div><div>[gvol]</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>comment = For samba export of volume &nbsp;test</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>path = /</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>read only = No</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>guest ok = Yes</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>vfs objects = glusterfs</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>glusterfs:volume = soul</div><div><span class="Apple-tab-span" style="white-space: pre; ">        </span>glusterfs:volfile_server = localhost</div></div></div><div><br></div><div>the iozone&nbsp;test result with cmd:&nbsp;iozone -s 10G -r 1m -i0 -t 4</div><div>-------------</div><div><div>&nbsp; &nbsp; &nbsp; &nbsp; Run began: Thu Aug 22 15:47:31 2013</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; File size set to 10485760 KB</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Record Size 1024 KB</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Command line used: iozone -s 10G -r 1m -i0 -t 4</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Output is in Kbytes/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Time Resolution = -0.000000 seconds.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Processor cache size set to 1024 Kbytes.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Processor cache line size set to 32 bytes.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; File stride size set to 17 * record size.</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Throughput test with 4 processes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Each process writes a 10485760 Kbyte file in 1024 Kbyte records</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for &nbsp;4 initial writers &nbsp;= &nbsp;135588.82 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4 initial writers &nbsp; = &nbsp;135549.95 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 33895.92 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 33900.02 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 33897.20 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10484736.00 KB</div><div><br></div><div>&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for &nbsp;4 rewriters &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;397494.38 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4 rewriters &nbsp; &nbsp; &nbsp; &nbsp; = &nbsp;387431.63 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 99280.98 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 99538.40 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 99373.59 KB/sec</div><div>&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10459136.00 KB</div><div>--------------</div><div><br></div></div><div><br></div><div><br></div><div><br></div><div><div>在 2013-8-22,下午3:31,RAGHAVENDRA TALUR &lt;<a href="mailto:raghavendra.talur@gmail.com">raghavendra.talur@gmail.com</a>&gt; 写道:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div dir="ltr">Hi Kane,<div><br></div><div>1. Which version of samba are you running?</div><div><br></div><div>2. Can you re-run the test after adding the following lines to smb.conf's global section and tell if it helps?<br>
</div><div>kernel oplocks = no<br></div><div>stat cache = no</div><div><br></div><div>Thanks,</div><div>Raghavendra Talur</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Aug 21, 2013 at 3:48 PM, kane <span dir="ltr">&lt;<a href="mailto:stef_9k@163.com" target="_blank">stef_9k@163.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto; "><div style="word-wrap:break-word">Hi&nbsp;Lala,&nbsp;thank you for reply this issue.<div><div><br></div><div>this is our smb.conf:</div>
<div>--------</div><div><div>[global]</div><div>&nbsp; &nbsp; &nbsp; &nbsp; workgroup = MYGROUP</div><div>&nbsp; &nbsp; &nbsp; &nbsp; server string = DCS Samba Server</div><div>&nbsp; &nbsp; &nbsp; &nbsp; log file = /var/log/samba/log.vfs</div><div>&nbsp; &nbsp; &nbsp; &nbsp; max log size = 500000</div>
<div># &nbsp; &nbsp; &nbsp; log level = 10</div><div># &nbsp; &nbsp; &nbsp; max xmit = 65535&nbsp;</div><div># &nbsp; &nbsp; &nbsp; getwd cache = yes</div><div># &nbsp; &nbsp; &nbsp; use sendfile = yes&nbsp;</div><div># &nbsp; &nbsp; &nbsp; strict sync = no&nbsp;</div><div># &nbsp; &nbsp; &nbsp; sync always = no&nbsp;</div><div># &nbsp; &nbsp; &nbsp; large readwrite = yes&nbsp;</div>
<div>&nbsp; &nbsp; &nbsp; &nbsp; aio read size = 262144</div><div>&nbsp; &nbsp; &nbsp; &nbsp; aio write size = 262144</div><div>&nbsp; &nbsp; &nbsp; &nbsp; aio write behind = true</div><div># &nbsp; &nbsp; &nbsp; min receivefile size = 262144&nbsp;</div><div>&nbsp; &nbsp; &nbsp; &nbsp; write cache size = 268435456</div>
<div># &nbsp; &nbsp; &nbsp;oplocks = yes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; security = user</div><div>&nbsp; &nbsp; &nbsp; &nbsp; passdb backend = tdbsam</div><div>&nbsp; &nbsp; &nbsp; &nbsp; load printers = yes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; cups options = raw</div><div>&nbsp; &nbsp; &nbsp; &nbsp; read raw = yes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; write raw = yes</div>
<div>&nbsp; &nbsp; &nbsp; &nbsp; max xmit = 262144</div><div>&nbsp; &nbsp; &nbsp; &nbsp; read size = 262144</div><div>&nbsp; &nbsp; &nbsp; &nbsp; socket options = TCP_NODELAY IPTOS_LOWDELAY SO_RCVBUF=262144 SO_SNDBUF=262144</div><div>&nbsp; &nbsp; &nbsp; &nbsp; max protocol = SMB2</div></div><div><div>
<br></div><div>[homes]</div><div>&nbsp; &nbsp; &nbsp; &nbsp; comment = Home Directories</div><div>&nbsp; &nbsp; &nbsp; &nbsp; browseable = no</div><div>&nbsp; &nbsp; &nbsp; &nbsp; writable = yes</div><div><br></div><div><br></div><div>[printers]</div><div>&nbsp; &nbsp; &nbsp; &nbsp; comment = All Printers</div>
<div>&nbsp; &nbsp; &nbsp; &nbsp; path = /var/spool/samba</div><div>&nbsp; &nbsp; &nbsp; &nbsp; browseable = no</div><div>&nbsp; &nbsp; &nbsp; &nbsp; guest ok = no</div><div>&nbsp; &nbsp; &nbsp; &nbsp; writable = no</div><div>&nbsp; &nbsp; &nbsp; &nbsp; printable = yes</div><div><br></div><div>[cifs]</div><div>&nbsp; &nbsp; &nbsp; &nbsp; path = /mnt/fuse</div>
<div>&nbsp; &nbsp; &nbsp; &nbsp; guest ok = yes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; writable = yes</div><div><br></div><div>[raw]</div><div>&nbsp; &nbsp; &nbsp; &nbsp; path = /dcsdata/d0</div><div>&nbsp; &nbsp; &nbsp; &nbsp; guest ok = yes</div><div>&nbsp; &nbsp; &nbsp; &nbsp; writable = yes</div><div><br></div><div>[gvol]</div>
<div>&nbsp; &nbsp; &nbsp; &nbsp; comment = For samba export of volume &nbsp;test</div><div>&nbsp; &nbsp; &nbsp; &nbsp; vfs objects = glusterfs</div><div>&nbsp; &nbsp; &nbsp; &nbsp; glusterfs:volfile_server = localhost</div><div>&nbsp; &nbsp; &nbsp; &nbsp; glusterfs:volume = soul</div><div class="im"><div>
&nbsp; &nbsp; &nbsp; &nbsp; path = /</div><div>&nbsp; &nbsp; &nbsp; &nbsp; read only = no</div><div>&nbsp; &nbsp; &nbsp; &nbsp; guest ok = yes</div></div></div><div>--------</div><div><br></div><div>our win 7 client hardware:</div><div>Intel® Xeon® <span style="white-space:pre-wrap">        </span>E31230 @ 3.20GHz</div>
<div>8GB RAM</div><div><br></div><div>linux client hardware:</div><div>Intel(R) Xeon(R) CPU &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; X3430 &nbsp;@ 2.40GHz</div><div>16GB RAM</div><div><br></div><div>pretty thanks</div><div><br></div><div>-kane</div><div><br>
<div><div>在 2013-8-21,下午4:53,Lalatendu Mohanty &lt;<a href="mailto:lmohanty@redhat.com" target="_blank">lmohanty@redhat.com</a>&gt; 写道:</div><div><div class="h5"><br><blockquote type="cite">
  
    
  
  <div bgcolor="#FFFFFF" text="#000000">
    <div>On 08/21/2013 01:32 PM, kane wrote:<br>
    </div>
    <blockquote type="cite">
      
      
      Hello:
      <div><br>
      </div>
      <div><span style="white-space:pre-wrap"> </span>We
        have used glusterfs3.4 with the lasted&nbsp;samba-glusterfs-vfs lib
        to test samba performance in windows client.</div>
      <div><br>
      </div>
      <div>two glusterfs server nodes export share with name of "gvol":</div>
      <div>hardwares:</div>
      <div><span style="white-space:pre-wrap"> </span>brick
        use a raid 5 logic disk with 8 * 2T SATA HDDs</div>
      <div><span style="white-space:pre-wrap"> </span>10G
        network connection</div>
      <div><br>
      </div>
      <div>one linux client mount the "gvol" with cmd:</div>
      <div>[root@localhost current]#&nbsp;&nbsp;mount.cifs //<a href="http://192.168.100.133/gvol" target="_blank">192.168.100.133/gvol</a>
        /mnt/vfs -o user=kane,pass=123456</div>
      <div><br>
      </div>
      <div>then i use iozone to test the write performance in mount dir
        "/mnt/vfs":</div>
      <div>
        <div>[root@localhost current]# ./iozone -s 10G -r 128k -i0 -t 4</div>
        <div>…..</div>
        <div><span style="white-space:pre-wrap"> </span>File
          size set to 10485760 KB</div>
        <div><span style="white-space:pre-wrap"> </span>Record
          Size 128 KB</div>
        <div><span style="white-space:pre-wrap"> </span>Command
          line used: ./iozone -s 10G -r 128k -i0 -t 4</div>
        <div><span style="white-space:pre-wrap"> </span>Output
          is in Kbytes/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Time
          Resolution = 0.000001 seconds.</div>
        <div><span style="white-space:pre-wrap"> </span>Processor
          cache size set to 1024 Kbytes.</div>
        <div><span style="white-space:pre-wrap"> </span>Processor
          cache line size set to 32 bytes.</div>
        <div><span style="white-space:pre-wrap"> </span>File
          stride size set to 17 * record size.</div>
        <div><span style="white-space:pre-wrap"> </span>Throughput
          test with 4 processes</div>
        <div><span style="white-space:pre-wrap"> </span>Each
          process writes a 10485760 Kbyte file in 128 Kbyte records</div>
        <div><br>
        </div>
        <div><span style="white-space:pre-wrap"> </span>Children
          see throughput for &nbsp;4 initial writers <span style="white-space:pre-wrap"> </span>=
          &nbsp;487376.67 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Parent
          sees throughput for &nbsp;4 initial writers <span style="white-space:pre-wrap"> </span>=
          &nbsp;486184.67 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Min
          throughput per process <span style="white-space:pre-wrap"> </span>= &nbsp;121699.91 KB/sec&nbsp;</div>
        <div><span style="white-space:pre-wrap"> </span>Max
          throughput per process <span style="white-space:pre-wrap"> </span>= &nbsp;122005.73 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Avg
          throughput per process <span style="white-space:pre-wrap"> </span>= &nbsp;121844.17 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Min
          xfer <span style="white-space:pre-wrap"> </span>=
          10459520.00 KB</div>
        <div><br>
        </div>
        <div><span style="white-space:pre-wrap"> </span>Children
          see throughput for &nbsp;4 rewriters <span style="white-space:pre-wrap"> </span>= &nbsp;491416.41 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Parent
          sees throughput for &nbsp;4 rewriters <span style="white-space:pre-wrap"> </span>= &nbsp;490298.11 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Min
          throughput per process <span style="white-space:pre-wrap"> </span>= &nbsp;122808.87 KB/sec&nbsp;</div>
        <div><span style="white-space:pre-wrap"> </span>Max
          throughput per process <span style="white-space:pre-wrap"> </span>= &nbsp;122937.74 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Avg
          throughput per process <span style="white-space:pre-wrap"> </span>= &nbsp;122854.10 KB/sec</div>
        <div><span style="white-space:pre-wrap"> </span>Min
          xfer <span style="white-space:pre-wrap"> </span>=
          10474880.00 KB</div>
      </div>
      <div>
        <div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
<br>
          </div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
linux client mount
            with cifs , write performance reach 480MB/s per client;</div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
<br>
          </div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
but when i use win7
            client mount the "gvol" with cmd:</div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
net use Z: <a>\\192.168.100.133\gvol</a>
            123456 /user:kane</div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
<br>
          </div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
then also use
            iozone test in dir Z, even with write block 1Mbyte :</div>
          <div style="text-align:-webkit-auto;text-indent:0px;word-wrap:break-word">
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; File size set to 10485760 KB</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Record Size 1024 KB</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Command line used: iozone -s
              10G -r 1m -i0 -t 4</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Output is in Kbytes/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Time Resolution = -0.000000
              seconds.</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Processor cache size set to
              1024 Kbytes.</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Processor cache line size set
              to 32 bytes.</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; File stride size set to 17 *
              record size.</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Throughput test with 4
              processes</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Each process writes a
              10485760 Kbyte file in 1024 Kbyte records</div>
            <div style="word-wrap:break-word"><br>
            </div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for
              &nbsp;4 initial writers &nbsp;= &nbsp;148164.82 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4
              initial writers &nbsp; = &nbsp;148015.48 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 37039.91 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 37044.45 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 37041.21 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10484736.00 KB</div>
            <div style="word-wrap:break-word"><br>
            </div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Children see throughput for
              &nbsp;4 rewriters &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp;147642.12 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Parent sees throughput for &nbsp;4
              rewriters &nbsp; &nbsp; &nbsp; &nbsp; = &nbsp;147472.16 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Min throughput per process &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36909.13 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Max throughput per process &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36913.29 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Avg throughput per process &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= &nbsp; 36910.53 KB/sec</div>
            <div style="word-wrap:break-word">&nbsp; &nbsp; &nbsp; &nbsp; Min xfer &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
              &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;= 10484736.00 KB</div>
            <div style="word-wrap:break-word"><br>
            </div>
            <div style="word-wrap:break-word">iozone test complete.</div>
            <div style="word-wrap:break-word"><br>
            </div>
            <div style="word-wrap:break-word">then reach 140MB/s</div>
            <div style="word-wrap:break-word"><br>
            </div>
            <div style="word-wrap:break-word">so , anyone meet with this problem.Is
              there win7 clinet to reconfigure to perform &nbsp;well?</div>
            <div style="word-wrap:break-word"><br>
            </div>
            <div style="word-wrap:break-word">Thanks!</div>
            <br>
          </div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
kane&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
            &nbsp; &nbsp;</div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
----------------------------------------------------------------</div>
          <div style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;word-wrap:break-word">
Email: &nbsp;<a href="mailto:kai.zhou@soulinfo.com" target="_blank">kai.zhou@soulinfo.com</a><br>
            电话: &nbsp; &nbsp;0510-85385788-616</div>
          <span style="font-family:Helvetica;font-size:medium;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:-webkit-auto;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px"><br>

          </span></div>
      </div>
    </blockquote>
    <br>
    <br>
    Hi kane,<br>
    <br>
    I do run IOs using win7 client with glusterfs3.4 , but I never&nbsp;
    compared the performance with Linux cifs mount. I don't think we
    need to do any special configuration on Windows side. I hope your
    Linux and Windows client have similar configuration i.e. RAM, cache,
    disk type etc.&nbsp; However I am curious to know if your setup uses the&nbsp;
    vfs plug-in correctly. We can confirm that looking at smb.conf entry
    for the gluster volume which should have been created by "gluster
    start command" automatically&nbsp; .<br>
    <br>
    e.g: entry in smb.conf for one of volume "smbvol" of mine looks like
    below<br>
    <br>
    [gluster-smbvol]<br>
    comment = For samba share of volume smbvol<br>
    vfs objects = glusterfs<br>
    glusterfs:volume = smbvol<br>
    path = /<br>
    read only = no<br>
    guest ok = yes<br>
    <br>
    Kindly copy the entries in smb.conf&nbsp; for your gluster volume in this
    email.<br>
    -Lala<br>
    <blockquote type="cite">
      <fieldset></fieldset>
      <br>
      <pre>_______________________________________________
Gluster-users mailing list
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>
<a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a></pre>
    </blockquote>
    <br>
  </div>

</blockquote></div></div></div><br></div></div></div><br>_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">
<font color="#666666"><b>Raghavendra Talur&nbsp;</b></font><div><br></div></div>
</div>
</blockquote></div><br></div></div></blockquote></div><br></div></body></html>