The best advice I can give you is re read the manual.<br><br>Bricks are a subset of a volumes and you can have multiple bricks on the same server for a volume. This is important for striping.<br><br>Next you have the replica count that is how many replicas you have. I think you can increase them if you rebalance the volume but this isn't something I've tried and I think you would be hard pressed to finds any one else who has.<br><br>Finally you have striping and that is how you distribute the files across bricks think raid striping.<br><br>Now as far as removing nodes you need to remove the bricks from the volume first so the volume can be rebalanced.<br><br>But here is the key point I suspect you may be missing because other people have before. All file operations need to happen on the network attached Gluster volume not the local disk on the individual gluster nodes.<br><br><br><br><br><span style="font-family:Prelude, Verdana, san-serif;"><br><br></span><span id="signature"><div style="font-family: arial, sans-serif; font-size: 12px;color: #999999;">-- Sent from my HP Pre3</div><br></span><span style="color:navy; font-family:Prelude, Verdana, san-serif; "><hr align="left" style="width:75%">On Sep 9, 2014 7:16 PM, Michael Bushey &lt;corwin7@gmail.com&gt; wrote: <br><br></span><div dir="ltr"><div>I&#39;m currently using GlusterFS 3.5.2 on a pair of production servers to share uploaded files and it&#39;s been reliable and working well with just the two servers. I&#39;ve done some local tests of trying to add and remove servers and the results have not been good. I&#39;m starting to think I have the wrong idea of what GlusterFS does and I&#39;m trying to stick the square peg in the round hole. Is there some config to say &quot;number of replicas = number of servers&quot;?</div><div><br></div><div>My need is to have a copy of the data local on each server. If I have 5 servers, I want five copies of the data. Basically each server should have it&#39;s own copy like it&#39;s a local ext4/zfs file-system, except it will immediately sync files added or removed on the other servers. I&#39;m not sure the what the gluster definition of brick is, but I believe I want the number of bricks to equal the number of servers (at least for this particular file-system).</div><div><br></div><div>I&#39;ve played around a bit and lost my data every time I&#39;ve tried to add or remove a node. There is plenty of documentation, but it all says the same thing and doesn&#39;t answer the basics.</div><div><br></div><div>From `gluster volume info`: Number of Bricks: 1 x 2 = 2</div><div><br></div><div>I&#39;m assuming the middle 2 is the number of bricks. I have no clue why we&#39;re multiplying by 1 to get itself.</div><div><a href="http://gluster.org/community/documentation/index.php/Gluster_3.2:_Displaying_Volume_Information">http://gluster.org/community/documentation/index.php/Gluster_3.2:_Displaying_Volume_Information</a> - does not show this magic multiplication. The page for 3.3 does not exist.</div><div><br></div><div>We&#39;re cloud based and we want to be able to add and remove servers on the fly. If for example I want to scale from 5 to 7 servers, it looks like I need to create a new storage pool with 7 replicas. Would it be the most logical to name my brick with the number of replicas? For example server1 to server5 already have /var/gluster/files5. I could then create /var/gluster/files7 on server1 to server7, create the pool with 7 replicas, then pick a machine like server1 to copy the data from /var/gluster/files5 to /var/gluster/files7, then destroy /var/gluster/files5. This seems extremely convoluted but it does not appear possible to expand a storage pool and expand the number of replicants with it.</div><div><br></div><div>Thanks in advance for help and your time to read this.</div><div>Michael</div></div>