<html><head/><body><html><head></head><body>Please don&#39;t insult the people that work hard to give you a free tool, nor those who spend their own limited time to offer you free support.<br>
<br>
If you need to try a different tool, but just do. We don&#39;t need to hear about it. <br>
<br>
If you have found a bug or have encountered a problem, ask for help if you want help. File a bug report if you want it fixed. All insults do is create frustration. <br><br><div class="gmail_quote">Jonathan Lefman &lt;jonathan.lefman@essess.com&gt; wrote:<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
My gluster volume is more-or-less useless from an administration point of view.  I am unable to stop the volume because it claims it is rebalancing or gluster says the command failed.  When I try to stop, start, or get the status of rebalancing, I get nothing returned.  I have stopped and restarted all glusterfsd processes on each host.  Nothing seems to bring sanity back to the volume.  <div>
<br /></div><div>This is bad news for gluster&#39;s reliability.  I am unable to find a source of the problem.  Regular methods for resetting the system to usable state are not working.  I think it is time to call it quits and find another solution.  Ceph?  <br />
<div class="gmail_extra"><br /><br /><div class="gmail_quote">On Fri, Nov 23, 2012 at 1:21 PM, Jonathan Lefman <span dir="ltr">&lt;<a href="mailto:jonathan.lefman@essess.com" target="_blank">jonathan.lefman@essess.com</a>&gt;</span> wrote:<br />
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">At the same time, when looking at the rebalance log, it appears that the rebalance is still going on in the background because I am seeing entries related to rebalancing.  However, the detail status command shows that the distribution for files is still stable on the older nodes.  <div class="HOEnZb">
<div class="h5"><div>
<br /></div><div class="gmail_extra"><br /><br /><div class="gmail_quote">On Fri, Nov 23, 2012 at 1:10 PM, Jonathan Lefman <span dir="ltr">&lt;<a href="mailto:jonathan.lefman@essess.com" target="_blank">jonathan.lefman@essess.com</a>&gt;</span> wrote:<br />

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Volume type: <div><br /></div><div>non-replicated, 29 nodes, xfs formats<div><br /></div><div>Number of files/directories:  </div>

<div><br /></div><div>There are about 5000-10000 directories</div><div><br /></div><div>Average size of files: </div>
<div><br /></div><div>There are two distributions of files:  a vast majority of files is around 200-300 kilobytes, with about 1000-fold fewer files with a size around 1 gigabyte</div></div><div><br /></div><div>Average number of files per directory:</div>


<div><br /></div><div>Around 1800 files per directory</div><div><br /></div><div>glusterd log below:</div><div><br /></div><div>When trying</div><div><br /></div><div>sudo gluster volume rebalance essess_data status<br /></div><div>


<br /></div><div>OR</div><div><br /></div><div>sudo gluster volume status myvol</div><div>operation failed<br /></div><div><br /></div><div>Log for this time from /var/log/glusterfs/etc-glusterfs-glusterd.vol.log:</div><div><br />

</div>
<div><div>[2012-11-23 13:05:00.489567] E [glusterd-handler.c:458:glusterd_op_txn_begin] 0-management: Unable to acquire local lock, ret: -1</div><div>[2012-11-23 13:07:09.102007] I [glusterd-handler.c:2670:glusterd_handle_status_volume] 0-management: Received status volume req for volume essess_data</div>


<div>[2012-11-23 13:07:09.102056] E [glusterd-utils.c:277:glusterd_lock] 0-glusterd: Unable to get lock for uuid: ee33fd05-135e-40e7-a157-3c1e0b9be073, lock held by: ee33fd05-135e-40e7-a157-3c1e0b9be073</div><div>[2012-11-23 13:07:09.102073] E [glusterd-handler.c:458:glusterd_op_txn_begin] 0-management: Unable to acquire local lock, ret: -1</div>


</div><div><br /></div><div><br /></div><div class="gmail_extra"><div><div><br /><br /><div class="gmail_quote">On Fri, Nov 23, 2012 at 12:58 PM, Vijay Bellur <span dir="ltr">&lt;<a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;</span> wrote:<br />


<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>On 11/23/2012 11:14 PM, Jonathan Lefman wrote:<br />
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
The rebalance command has run for quite a while.  Now when I issue the<br />
rebalance status command,<br />
<br />
sudo gluster volume rebalance myvol status<br />
<br />
I get nothing back; just a return to the command prompt.  Any ideas of<br />
what is going on?<br />
<br />
</blockquote>
<br /></div>
A few questions:<br />
<br />
- What is your volume type?<br />
- How many files and directories do you have in your volume?<br />
- What is the average size of files?<br />
- What is the average number of files per directory?<br />
- Can you please share glusterd logs from the time when the command returns without displaying any output?<br />
<br />
Thanks,<br />
Vijay<br />
<br />
</blockquote></div><br /><br clear="all" /><div><br /></div></div></div><div>-- <br /><b style="font-size:12.727272033691406px;font-family:arial,sans-serif"><span>Jonathan</span> <span>Lefman</span>, Ph.D.</b><div style="color:rgb(136,136,136);font-family:arial,sans-serif;font-size:12.727272033691406px">


<span><b><span style="font-family:Arial,sans-serif;color:rgb(92,155,29)">ē</span></b><b><span style="font-family:&#39;Iskoola Pota&#39;,sans-serif;color:rgb(228,108,10)">ssess, Inc.</span></b></span></div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><span><font color="#666666"><span>25 Thomson Place, Suite 460, Boston, MA 02210</span></font></span></div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><span><font color="#888888">o: </font></span><a value="+14153615488"><font color="#3366ff">415-361-5488 <span>x121</span></font></a><span><font color="#888888"> | e: </font><a href="mailto:jonathan.lefman@essess.com" target="_blank"><font color="#3366ff">jonathan.lefman@essess.com</font></a><font color="#888888"> </font><font color="#888888">| </font><u><a href="http://www.essess.com/" target="_blank"><font color="#3366ff">www.essess.com</font></a></u></span></div>


<br />
</div></div>
</blockquote></div><br /><br clear="all" /><div><br /></div>-- <br /><b style="font-size:12.727272033691406px;font-family:arial,sans-serif"><span>Jonathan</span> <span>Lefman</span>, Ph.D.</b><div style="color:rgb(136,136,136);font-family:arial,sans-serif;font-size:12.727272033691406px">

<span style="style"><b><span style="font-family:Arial,sans-serif;color:rgb(92,155,29)">ē</span></b><b><span style="font-family:&#39;Iskoola Pota&#39;,sans-serif;color:rgb(228,108,10)">ssess, Inc.</span></b></span></div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><span style="style"><font color="#666666"><span>25 Thomson Place, Suite 460, Boston, MA 02210</span></font></span></div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><span style="style"><font color="#888888">o: </font></span><a value="+14153615488" style="style"><font color="#3366ff">415-361-5488 <span>x121</span></font></a><span style="style"><font color="#888888"> | e: </font><a href="mailto:jonathan.lefman@essess.com" target="_blank"><font color="#3366ff">jonathan.lefman@essess.com</font></a><font color="#888888"> </font><font color="#888888">| </font><u><a href="http://www.essess.com/" target="_blank"><font color="#3366ff">www.essess.com</font></a></u></span></div>

<br />
</div>
</div></div></blockquote></div><br /><br clear="all" /><div><br /></div>-- <br /><b style="font-family:arial,sans-serif;font-size:12.727272033691406px;background-color:rgb(255,255,255)"><span>Jonathan</span> <span>Lefman</span>, Ph.D.</b><div style="color:rgb(136,136,136);font-family:arial,sans-serif;font-size:12.727272033691406px">
<span style="background-color:rgb(255,255,255)"><b><span style="font-family:Arial,sans-serif;color:rgb(92,155,29)">ē</span></b><b><span style="font-family:&#39;Iskoola Pota&#39;,sans-serif;color:rgb(228,108,10)">ssess, Inc.</span></b></span></div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><span style="background-color:rgb(255,255,255)"><font color="#666666"><span>25 Thomson Place, Suite 460, Boston, MA 02210</span></font></span></div>
<div style="font-family:arial,sans-serif;font-size:12.727272033691406px"><span style="background-color:rgb(255,255,255)"><font color="#888888">o: </font></span><a value="+14153615488" style="background-color:rgb(255,255,255)"><font color="#3366ff">415-361-5488 <span>x121</span></font></a><span style="background-color:rgb(255,255,255)"><font color="#888888"> | e: </font><a href="mailto:jonathan.lefman@essess.com" target="_blank"><font color="#3366ff">jonathan.lefman@essess.com</font></a><font color="#888888"> </font><font color="#888888">| </font><u><a href="http://www.essess.com/" target="_blank"><font color="#3366ff">www.essess.com</font></a></u></span></div>
<br />
</div></div>
<p style="margin-top: 2.5em; margin-bottom: 1em; border-bottom: 1px solid #000"></p><pre style="white-space: pre-wrap; word-wrap:break-word; font-family: sans-serif; margin-top: 0px"><hr /><br />Gluster-users mailing list<br />Gluster-users@gluster.org<br /><a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a></pre></blockquote></div></body></html></body></html>