<div dir="ltr">Hi,<br>Is it possible for you to attach gdb to glusterfs client and check out what the glusterfs is doing?<br><br>regards,<br><br><div class="gmail_quote">On Fri, Aug 29, 2008 at 5:12 PM, Manhong Dai <span dir="ltr">&lt;<a href="mailto:daimh@umich.edu">daimh@umich.edu</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Hi,<br>
<br>
<br>
 &nbsp; &nbsp; &nbsp; &nbsp;Thanks a lot for look into this problem.<br>
<br>
<br>
 &nbsp; &nbsp; &nbsp; &nbsp;Actually the problem for me is the output file stop growing, and cpu<br>
utilization keeps at 100% forever.<br>
<br>
<br>
Best,<br>
<font color="#888888">Manhong<br>
</font><div><div></div><div class="Wj3C7c"><br>
On Fri, 2008-08-29 at 11:10 +0400, Raghavendra G wrote:<br>
&gt; Hi,<br>
&gt;<br>
&gt; Even I ran into 100% cpu utilization with patch-796. But it was due to<br>
&gt; badly configured aggregate-size. An aggregate-size of 1KB kept the cpu<br>
&gt; usage well around 54%.<br>
&gt;<br>
&gt; regards,<br>
&gt; On Thu, Aug 28, 2008 at 5:12 PM, Dai, Manhong &lt;<a href="mailto:daimh@umich.edu">daimh@umich.edu</a>&gt; wrote:<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; Hi,<br>
&gt;<br>
&gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Repository revision:<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; glusterfs--mainline--2.5--patch-795 is the version<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; I am using.<br>
&gt;<br>
&gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Our cluster is in use, so I cannot confirm this<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; problem on other<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; releases. Since removing write-behind can get rid of this<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; problem, I can<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; live with that.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; Best,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; Manhong<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; On Thu, 2008-08-28 at 07:48 +0400, Raghavendra G wrote:<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; Hi,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; what patch are you using? with<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; glusterfs--mainline--3.0--patch-329 and<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; a basics setup of write-behind over protocol/client,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; glusterfs cpu<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; usage never went above 65% in my tests. Can you please<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; confirm whether<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; the problem persists in patch-329?<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; regards,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; On Thu, Aug 28, 2008 at 6:27 AM, Dai, Manhong<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &lt;<a href="mailto:daimh@umich.edu">daimh@umich.edu</a>&gt; wrote:<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; Hi,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; client.vol is<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; volume unify-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; type cluster/unify<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option scheduler rr # round robin<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option namespace muskie-ns<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; # &nbsp;subvolumes muskie-brick pike1-brick pike2-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; pike3-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; subvolumes muskie-brick pike1-brick pike3-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; end-volume<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; volume wb<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; type performance/write-behind<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option aggregate-size 1MB<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option flush-behind on<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; subvolume<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; client.vol is<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; volume unify-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; type cluster/unify<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option scheduler rr # round robin<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option namespace muskie-ns<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; # &nbsp;subvolumes muskie-brick pike1-brick pike2-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; pike3-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; subvolumes muskie-brick pike1-brick pike3-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; end-volume<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; volume wb<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; type performance/write-behind<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option aggregate-size 1MB<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; option flush-behind on<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; subvolumes unify-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; end-volume<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; yes abcdefghijklmn | while read l; do echo $l; done<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; a<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; would cause glusterfs process 100% busy and files<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; system hang<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; when the output size is around the aggregate-size.<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; removing write-behind translator would get rid of<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; this<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; problem.<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; s unify-brick<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; end-volume<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; command &quot;yes abcdefghijklmn | while read l; do echo<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; $l; done &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; a&quot; would cause glusterfs process 100% busy and files<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; system<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; hang when the output size is around the<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; aggregate-size.<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; removing write-behind translator would get rid of<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; this<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; problem.<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; Best,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; Manhong<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; _______________________________________________<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; Gluster-users mailing list<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; &nbsp; &nbsp; &nbsp; &nbsp; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; <a href="http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users</a><br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; --<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; Raghavendra G<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; A centipede was happy quite, until a toad in fun,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; Said, &quot;Prey, which leg comes after which?&quot;,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; This raised his doubts to such a pitch,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; He fell flat into the ditch,<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; Not knowing how to run.<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt; -Anonymous<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Raghavendra G<br>
&gt;<br>
&gt; A centipede was happy quite, until a toad in fun,<br>
&gt; Said, &quot;Prey, which leg comes after which?&quot;,<br>
&gt; This raised his doubts to such a pitch,<br>
&gt; He fell flat into the ditch,<br>
&gt; Not knowing how to run.<br>
&gt; -Anonymous<br>
&gt;<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Raghavendra G<br><br>A centipede was happy quite, until a toad in fun,<br>Said, &quot;Prey, which leg comes after which?&quot;,<br>This raised his doubts to such a pitch,<br>
He fell flat into the ditch,<br>Not knowing how to run.<br>-Anonymous<br>
</div>