Can you try removing stat-prefetch with &quot;gluster volume set &lt;name&gt; performance.stat-prefetch&quot; and try the same? Also, does this problem exist in 3.3.x for you?<div><br></div><div>Avati<br><br><div class="gmail_quote">
On Sat, Dec 1, 2012 at 12:06 AM, kenji kondo <span dir="ltr">&lt;<a href="mailto:kkay.jp@gmail.com" target="_blank">kkay.jp@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Dear experts,<div><br></div><div><div>I&#39;m using gluster 3.2.7. It believe it has good performance. That&#39;s good, but troubles sometimes occur for mkdir.</div><div>The scenario is as below</div><div>1: A volume is created by 9 bricks on 9 gluster server.</div>

<div>2: Many client hosts mount it with fuse.</div><div>3: Several clients simultaneously  make one directory.</div><div>4: Except with one host, all other hosts fail to be make the directory. (This is usual.)</div><div>
5: But, problem host is found here, it becomes to be not able to make directory and create file in the directory of step 1.</div>
</div><div><br></div><div>At the time, in problem host I found error message:</div><div><pre style="white-space:pre-wrap;word-wrap:break-word">mkdir: cannot create directory `/gluster/test/x&#39;: Invalid argument.</pre>

<pre style="white-space:pre-wrap;word-wrap:break-word"><pre style="word-wrap:break-word;white-space:pre-wrap">touch  /gluster/test/x
touch: cannot touch `/gluster/test/x&#39;: No such file or directory</pre></pre><pre style="white-space:pre-wrap;word-wrap:break-word">then I can find some warning log in /var/log/gluster/[logs] as following:</pre>
<pre style="word-wrap:break-word"><pre style="white-space:pre-wrap;word-wrap:break-word">[2012-11-29 19:36:50.52787] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-1; inode layout - 0 - 0; disk layout - 477218588 - 954437175
[2012-11-29 19:36:50.52824] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.52873] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-7; inode layout - 0 - 0; disk layout - 3340530116 - 3817748703
[2012-11-29 19:36:50.52886] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.52901] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-2; inode layout - 0 - 0; disk layout - 954437176 - 1431655763
[2012-11-29 19:36:50.52917] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.52936] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-5; inode layout - 0 - 0; disk layout - 2386092940 - 2863311527
[2012-11-29 19:36:50.52947] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.52961] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-3; inode layout - 0 - 0; disk layout - 1431655764 - 1908874351
[2012-11-29 19:36:50.52970] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.52983] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-0; inode layout - 0 - 0; disk layout - 0 - 477218587
[2012-11-29 19:36:50.52993] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.53007] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-6; inode layout - 0 - 0; disk layout - 2863311528 - 3340530115
[2012-11-29 19:36:50.53016] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.53029] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-8; inode layout - 0 - 0; disk layout - 3817748704 - 4294967295
[2012-11-29 19:36:50.53038] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.53052] I [dht-layout.c:682:dht_layout_dir_mismatch] 0-vol18-dht: subvol: vol18-client-4; inode layout - 0 - 0; disk layout - 1908874352 - 2386092939
[2012-11-29 19:36:50.53060] I [dht-common.c:525:dht_revalidate_cbk] 0-vol18-dht: mismatching layouts for /test/x
[2012-11-29 19:36:50.53923] I [dht-layout.c:192:dht_layout_search] 0-vol18-dht: no subvolume for hash (value) = 3127134579
[2012-11-29 19:36:50.54422] I [dht-layout.c:192:dht_layout_search] 0-vol18-dht: no subvolume for hash (value) = 3127134579
[2012-11-29 19:36:50.54442] W [fuse-bridge.c:231:fuse_entry_cbk] 0-glusterfs-fuse: 127332: MKDIR() /test/x =&gt; -1 (Invalid argument)
</pre><pre style="white-space:pre-wrap;word-wrap:break-word"><br></pre><pre style="white-space:pre-wrap;word-wrap:break-word">So I tried to check the DHT with getfattr command in problem host.</pre>
<pre style="white-space:pre-wrap;word-wrap:break-word">[host1]$ sudo getfattr -m . -n trusted.glusterfs.pathinfo  /gluster/test
getfattr: Removing leading &#39;/&#39; from absolute path names
# file: gluster/test
trusted.glusterfs.pathinfo=&quot;(vol18-dht-layout (vol18-client-7 0 0) (vol18-client-8 0 0) (vol18-client-4 0 0) (vol18-client-0 0 0) (vol18-client-6 0 0) (vol18-client-1 0 0) (vol18-client-2 0 0) (vol18-client-3 0 0) (vol18-client-5 0 0))&quot;
</pre><div style="white-space:pre-wrap"><br></div><div style="white-space:pre-wrap">I seems there is incorrect table.</div><div style="white-space:pre-wrap"><br></div><div style="white-space:pre-wrap">
If it&#39;s checked in no problem host, below tables are displayed.</div><div style="white-space:pre-wrap"><pre style="word-wrap:break-word;white-space:pre-wrap">[host2]$ sudo getfattr -m . -n trusted.glusterfs.pathinfo  /gluster/test
getfattr: Removing leading &#39;/&#39; from absolute path names
# file: gluster/test
trusted.glusterfs.pathinfo=&quot;(vol18-dht-layout (vol18-client-0 0 477218587) (vol18-client-1 477218588 954437175) (vol18-client-2 954437176 1431655763) (vol18-client-3 1431655764 1908874351) (vol18-client-4 1908874352 2386092939) (vol18-client-5 2386092940 2863311527) (vol18-client-6 2863311528 3340530115) (vol18-client-7 3340530116 3817748703) (vol18-client-8 3817748704 4294967295))&quot;
</pre></div><div style="white-space:pre-wrap"><br></div><div><font color="#000000"><span style="white-space:pre-wrap">In my experience, if re-mount is tried on problem host, this problem disappear and it becomes to be able to make the directory.</span></font></div>

<div style="white-space:pre-wrap">Is this problem a bug?</div><div style="white-space:pre-wrap"><br></div><div style="white-space:pre-wrap">Best regards,</div><div style="white-space:pre-wrap">
Kondo</div><div style="white-space:pre-wrap"><br></div><div style="white-space:pre-wrap"><br></div></pre></div>
<br>_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote></div><br></div>