<html><head></head><body><div style="font-family: Verdana;font-size: 12.0px;"><div>
<p dir="ltr">Hi to all, no answers from pros ;(. I now startet a fix-layout and since a hour the status looks like this:</p>

<div>gluster volume rebalance vol1 status&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Tue Feb&nbsp; 4 14:23:54 2014</div>

<div>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Node Rebalanced-files&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; scanned&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; failures&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; skipped&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; status run time in secs<br/>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ---------&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -----------&nbsp;&nbsp; -----------&nbsp;&nbsp; -----------&nbsp;&nbsp; -----------&nbsp;&nbsp; -----------&nbsp;&nbsp; ------------&nbsp;&nbsp; --------------<br/>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; localhost&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0Bytes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; in progress&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1851.00<br/>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; localhost&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0Bytes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; in progress&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1851.00<br/>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; localhost&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0Bytes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; in progress&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1851.00<br/>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 192.168.0.43&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0Bytes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; in progress&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1851.00<br/>
volume rebalance: vol1: success:</div>

<div>&nbsp;</div>

<div>ok it is still in progress, but zero scanned files? can some one explain and perhaps give some help for debug to solve this.</div>

<div>sunny</div>

<div>&nbsp;</div>

<div>----------</div>

<p dir="ltr">Hi Sunny</p>

<p dir="ltr">I doubt I know much more about Gluster than I suspect you do.&nbsp; All I can suggest is that you turn on some of the debugging options to try and trace the problem.</p>

<p dir="ltr">Maybe some of the more experienced Gluster users on this list can help.</p>

<p dir="ltr">Cheers,</p>

<div class="quote">On 3 Feb 2014 17:29, Dragon &lt;Sunghost@gmx.de&gt; wrote:</div>

<div>
<div style="font-family: Verdana; font-size: 12.0px;">
<div>
<div>Hello Franco,</div>

<div>&nbsp;</div>

<div>thx for the information. Very interesting, but for me very theoreticaly. I understand how some problems could happen, but i dont know how to solve my problem.&nbsp; The last days i recognized that the glusterfs must calculate the nodes with wrong free size. If i copy some big files &gt;12G, glusterfs will copy that to node2 which have only 6TB free. Some other files wich was smaller 2G was copied to node3 which have still 400G. I need some seriouse help for that.</div>

<div>thx</div>

<div>Sunny</div>

<div>-----------------------</div>

<div>&nbsp;</div>

<div>This explains what should happen and you were correct, it should they another brick if the hash target brick has less than min free space available.</div>

<p dir="ltr">http://hekafs.org/index.php/2012/03/glusterfs-algorithms-distribution/</p>

<div class="quote">On 28 Jan 2014 22:28, Dragon &lt;Sunghost@gmx.de&gt; wrote:</div>

<div>
<div style="font-family: Verdana; font-size: 12.0px;">
<div>
<p dir="ltr">Hi,</p>

<p dir="ltr">The node is not new and there are a lot of file on it. Until now i could save files...The node3 is complete setup with all disks and added to the existing ones. Strange....</p>

<p dir="ltr">------------</p>

<p dir="ltr">My understanding is, if you add a brick and don&#39;t fix layout, any existing directories will only contain files on the old bricks, even if you make new files in those old directories.&nbsp; Any new directories will have files spread over all the bricks, new and old.</p>

<p dir="ltr">Running fix layout fixes the existing directories so that any new files added to those directories can go to the new brick but doesn&#39;t move files, you need to rebalance to make that happen.</p>

<p dir="ltr">So, are you adding the new file to a directory that existed before you added the extra brick?</p>

<div class="quote">On 28 Jan 2014 22:06, Dragon &lt;Sunghost@gmx.de&gt; wrote:</div>

<div>
<div style="font-family: Verdana; font-size: 12.0px;">
<div>
<p dir="ltr">Hi,</p>

<p dir="ltr">ok - no problem. The question is wheather this is the correct solution or is there another probleme? How whould i do that? Like this: &quot;# gluster volume rebalance <i>VOLNAME</i> start&quot; or only # &quot;gluster volume rebalance <i>VOLNAME</i> fix-layout start&quot; The free size of node3 is with 400GB smaller as each of the disk with 3tb. So i whould say its an rebalance problem than a layout one, or? Could anything damage if i do that, thats my biggest concerns about the next steps.</p>

<p dir="ltr">----------------------</p>

<p dir="ltr">Just a warning,&nbsp; rebalancing is very slow. Not sure why....</p>

<div class="quote">On 28 Jan 2014 21:45, Dragon &lt;Sunghost@gmx.de&gt; wrote:</div>

<div>
<div style="font-family: Verdana; font-size: 12.0px;">
<div>
<p dir="ltr">Hi,</p>

<p dir="ltr">ok right. Filesize is from small Kb to &gt;30GB. As far as i remember, first was the 2node cluster and later i added one node more. I also changed the min-free option from 100GB to 500MB. Ok and now, what is the solution, rebalance and fix layouts and do glusterfs do the job ;)?</p>

<p dir="ltr">thx Franco</p>

<p dir="ltr">---------------------</p>

<p dir="ltr">When you add more bricks you have to tell gluster to rebalance, ie move files from existing disks to the newly added empty disks.</p>

<p dir="ltr">Do you have some very big files? Just wondering why one of your bricks has much more free space than the other.</p>

<div class="quote">On 28 Jan 2014 21:28, Dragon &lt;Sunghost@gmx.de&gt; wrote:</div>

<div>
<div style="font-family: Verdana; font-size: 12.0px;">
<div>
<p dir="ltr">Hi Franco,</p>

<p dir="ltr">??? Ok no balancing - it was the wrong wording. I mean, the glusterfs controlles where is the right space left for files. I dont mean that glusterfs balance the files between the nodes. So i have over 400GB on node3, why should i delete files on node1 or node2? This must happend automaticly, or why should i set the option min-free-disk if cluster ignore it? Please explain, also what dht mean. If youre right it would be horrible, because if i add one more node i have to copy lots of data between the other 3nodes to have enough space? Cant believe that this is like it work.</p>

<p dir="ltr">------------------</p>

<p dir="ltr">The target brick for dht is determined using a hash, it doesn&#39;t do any sort of capacity balancing. You need to make some space on all the bricks.</p>

<p dir="ltr">------------------</p>

<div class="quote">On 28 Jan 2014 21:02, Dragon &lt;Sunghost@gmx.de&gt; wrote:</div>

<div>
<div style="font-family: Verdana; font-size: 12.0px;">
<div>Hi,</div>

<div>after find out that the Fuseclient runs in Version 3.4.2 i updated all 3 Nodes to 3.4.2, restart all but get the same trouble. Than i mounted via Fuse Gluster the Client directly to the 3 Node which have enough space left, but as i can see the files goes to the 1 node ?!</div>

<div>Is this a Bug? Need asap help.</div>

<div>&nbsp;</div>

<div>thx</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div></div></body></html>