<div dir="ltr">Interesting.  Still, I think its better to let the Gluster client handle the syncing.  What happens if, for some strange reason, the rsync process dies in the middle of the night?  Gluster, on the other, will keep working to get the data on the other bricks without human intervention.  I recently used Gluster to sync 3 TBs of data to the another brick over a 1Gbps link in about 13 hours on decent hardware.</div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Oct 15, 2014 at 9:04 PM, SINCOCK John <span dir="ltr">&lt;<a href="mailto:J.Sincock@fugro.com" target="_blank">J.Sincock@fugro.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-AU" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">We have 20 Terabytes to rsync onto a new server (which will have 32 TB capacity), <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">And we then want to add that server to an existing 2-node gluster of 73TB (53 TB used, 20 TB free), to give a 3-node gluster with 105TB capacity, 73TB used.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">The reason I want to do it this way, if possible, is that Gluster is slow on writes, especially for small files, and we have a LOT of small files, so I’m pretty sure it will be  LOT faster to rsync directly to the new server (which is the one that has free space anyway), and then add that server to the gluster – if it is possible to have gluster recognise those files.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span lang="EN-US" style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> Ryan Nix [mailto:<a href="mailto:ryan.nix@gmail.com" target="_blank">ryan.nix@gmail.com</a>] <br><b>Sent:</b> Thursday, 16 October 2014 11:58 AM<br><b>To:</b> SINCOCK John<br><b>Cc:</b> Franco Broi; gluster-users</span></p><div><div class="h5"><br><b>Subject:</b> Re: [Gluster-users] Is it ok to add a new brick with files already on it?<u></u><u></u></div></div><p></p><div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">So Gluster, at its core, uses rsync to copy the data to the other bricks.  Why not let Gluster do the heavy lifting?<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Wed, Oct 15, 2014 at 7:35 PM, SINCOCK John &lt;<a href="mailto:J.Sincock@fugro.com" target="_blank">J.Sincock@fugro.com</a>&gt; wrote:<u></u><u></u></p><p class="MsoNormal" style="margin-bottom:12.0pt"><br>In a related question... it seems, if it is possible to add filesystems already containing data, as new bricks, then it should also be possible to:<br><br>1) create empty bricks<br>2) add them to the gluster volume while they are empty<br>3) rsync data directly onto the underlying empty bricks, circumventing gluster, ie not through the gluster mountpoint<br>4) somehow get gluster to recognise the data that has been copied into the bricks?<br><br>How would you go about getting gluster to see the data you&#39;ve rsynced directly in?<br>My concern would be that all the data rsynced directly onto the bricks will just sit there, invisible to glusterfs.<br><br>Thanks again for any info!<br><br><br><span>-----Original Message-----</span><br><span>From: Franco Broi [mailto:<a href="mailto:franco.broi@iongeo.com" target="_blank">franco.broi@iongeo.com</a>]</span><br><span>Sent: Thursday, 16 October 2014 10:06 AM</span><br><span>To: SINCOCK John</span><br><span>Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a></span><br><span>Subject: Re: [Gluster-users] Is it ok to add a new brick with files already on it?</span><br><br><u></u><u></u></p><div><div><p class="MsoNormal">I&#39;ve never added a brick with existing files but I did start a new Gluster volume on disks that already contained data and I was able to access the files without problem. Of course the files will be out of place but the first time you access them, Gluster will add links to speed up future lookups.<br><br>On Thu, 2014-10-16 at 09:57 +1030, SINCOCK John wrote:<br>&gt; Hi Everyone,<br>&gt;<br>&gt;<br>&gt;<br>&gt; All the instructions I’ve been able to find on adding a brick to a<br>&gt; gluster, seem to assume the brick is empty when it’s added.<br>&gt;<br>&gt;<br>&gt;<br>&gt; So my question is, is it possible for a new brick, loaded up with<br>&gt; files, to be added to a gluster (and for all the files already on that<br>&gt; brick, to be indexed and added into the gluster). Apologies if the<br>&gt; question is answered elsewhere, but I couldn’t find anyone addressing<br>&gt; this specific question, and certainty helps when you’re dealing with<br>&gt; 10’s of terabytes of data... ;-)<br>&gt;<br>&gt;<br>&gt;<br>&gt; Thanks in advance for any info or tips!<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; _______________________________________________<br>&gt; Gluster-users mailing list<br>&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>&gt; <a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br><br><br>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br><a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><u></u><u></u></p></div></div></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></div></blockquote></div><br></div>