<html><body><div style="color:#000; background-color:#fff; font-family:Courier New, courier, monaco, monospace, sans-serif;font-size:10pt"><div><span>FYI:
 I don't know why, but the second server node required that the volume 
be stopped and restarted before the bricks would be marked as active.<br></span></div><div><br></div><div>HTH,<br></div><div>Eric P.</div><div>Truckee, CA</div><div><br><blockquote style="border-left: 2px solid rgb(16, 16, 255); margin-left: 5px; margin-top: 5px; padding-left: 5px;">  <div style="font-family: Courier New, courier, monaco, monospace, sans-serif; font-size: 10pt;"> <div style="font-family: times new roman, new york, times, serif; font-size: 12pt;"> <div dir="ltr"> <font face="Arial" size="2"> <hr size="1">  <b><span style="font-weight:bold;">From:</span></b> Eric &lt;epretorious@yahoo.com&gt;<br> <b><span style="font-weight: bold;">To:</span></b> "gluster-users@gluster.org" &lt;gluster-users@gluster.org&gt; <br> <b><span style="font-weight: bold;">Sent:</span></b> Saturday, September 8, 2012 10:56 AM<br> <b><span style="font-weight: bold;">Subject:</span></b> Re: [Gluster-users] Re-provisioning a node and it's bricks<br> </font> </div> <br>
<div id="yiv688102207"><div><div style="color:#000;background-color:#fff;font-family:Courier New, courier, monaco, monospace, sans-serif;font-size:10pt;">There's a document describing the procedure for Gluster 3.2.x: http://www.gluster.org/community/documentation/index.php/Gluster_3.2:_Brick_Restoration_-_Replace_Crashed_Server<br><br>The procedure for Gluster 3.3.0 is _remarkably_ simple:<br><br>1. Start the glusterd daemon on the newly re-provisioned server node.<br>2. Probe the surviving server node from the recovered/re-provisioned server node.<br>3. Restart the glusterd daemon on the  recovered/re-provisioned server node.<br><br>NOTES:<br>1. Do NOT remove the extended file system attributes from the bricks on the server node being <br>&nbsp;&nbsp; recovered/re-provisioned during recovery/re-provisioning.<br>2. Verify that any/all partitions that are used as bricks are mounted before performing these steps.<br>3. Verify that any/all iptables firewall
 rules that are
 necessary for Gluster to communicate have <br>&nbsp;&nbsp; been added  before performing these steps.<br><br>HTH,<br>Eric Pretorious<br><div><span>Truckee, CA<br></span></div><div><br><blockquote style="border-left:2px solid rgb(16, 16, 255);margin-left:5px;margin-top:5px;padding-left:5px;">  <div style="font-family:Courier New, courier, monaco, monospace, sans-serif;font-size:10pt;"> <div style="font-family:times new roman, new york, times, serif;font-size:12pt;"> <div dir="ltr"> <font face="Arial" size="2"> <hr size="1">  <b><span style="font-weight:bold;">From:</span></b> Kent Liu &lt;kurlez@outlook.com&gt;<br> <b><span style="font-weight:bold;">To:</span></b> 'John Mark Walker' &lt;johnmark@redhat.com&gt;; 'Eric' &lt;epretorious@yahoo.com&gt; <br><b><span style="font-weight:bold;">Cc:</span></b> gluster-users@gluster.org <br> <b><span style="font-weight:bold;">Sent:</span></b> Thursday, September 6, 2012 7:00 PM<br> <b><span
 style="font-weight:bold;">Subject:</span></b> RE: [Gluster-users] Re-provisioning a node and it's bricks<br> </font> </div> <br>
<div id="yiv688102207"><style><!--
#yiv688102207   
 filtered  {font-family:Helvetica;panose-1:2 11 6 4 2 2 2 2 2 4;}
#yiv688102207 filtered  {font-family:宋体;panose-1:2 1 6 0 3 1 1 1 1 1;}
#yiv688102207 filtered  {font-family:宋体;panose-1:2 1 6 0 3 1 1 1 1 1;}
#yiv688102207 filtered  {font-family:Tahoma;panose-1:2 11 6 4 3 5 4 4 2 4;}
#yiv688102207 filtered  {panose-1:2 1 6 0 3 1 1 1 1 1;}
#yiv688102207 filtered  {panose-1:2 11 5 3 2 2 4 2 2 4;}
#yiv688102207 filtered  {panose-1:2 11 5 3 2 2 4 2 2 4;}
#yiv688102207 filtered  {font-family:Consolas;panose-1:2 11 6 9 2 2 4 3 2 4;}
#yiv688102207   
 p.yiv688102207MsoNormal, #yiv688102207  li.yiv688102207MsoNormal, #yiv688102207  div.yiv688102207MsoNormal
        {margin:0cm;margin-bottom:.0001pt;font-size:12.0pt;font-family:宋体;}
#yiv688102207  a:link, #yiv688102207  span.yiv688102207MsoHyperlink
        {color:blue;text-decoration:underline;}
#yiv688102207  a:visited, #yiv688102207  span.yiv688102207MsoHyperlinkFollowed
        {color:purple;text-decoration:underline;}
#yiv688102207  p
        {margin:0cm;margin-bottom:.0001pt;font-size:12.0pt;font-family:宋体;}
#yiv688102207  span.yiv688102207EmailStyle18
        {font-family:Consolas;color:#0000CC;font-weight:normal;font-style:normal;text-decoration:none none;}
#yiv688102207  .yiv688102207MsoChpDefault
        {font-size:10.0pt;}
#yiv688102207 filtered  {margin:72.0pt 90.0pt 72.0pt 90.0pt;}
#yiv688102207  div.yiv688102207WordSection1
        {}
--></style><div><div class="yiv688102207WordSection1"><div class="yiv688102207MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:#0000CC;" lang="EN-US">It would be great if any suggestions from IRC can be shared on this list. Eric’s question is a common requirement.</span></div><div class="yiv688102207MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:#0000CC;" lang="EN-US"> &nbsp;</span></div><div class="yiv688102207MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:#0000CC;" lang="EN-US">Thanks,</span></div><div class="yiv688102207MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:#0000CC;" lang="EN-US">Kent</span></div><div class="yiv688102207MsoNormal"><span style="font-size:10.5pt;font-family:Consolas;color:#0000CC;" lang="EN-US"> &nbsp;</span></div><div style="border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt;"><div><div style="border:none;border-top:solid
 #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm;"><div class="yiv688102207MsoNormal"><b><span style="font-size:10.0pt;" lang="EN-US">From:</span></b><span style="font-size:10.0pt;" lang="EN-US"> gluster-users-bounces@gluster.org [mailto:gluster-users-bounces@gluster.org] <b>On Behalf Of </b>John Mark Walker<br><b>Sent:</b> Thursday, September 06, 2012 3:02 PM<br><b>To:</b> Eric<br><b>Cc:</b> gluster-users@gluster.org<br><b>Subject:</b> Re: [Gluster-users] Re-provisioning a node and it's bricks</span></div></div></div><div class="yiv688102207MsoNormal"><span lang="EN-US"> &nbsp;</span></div><div><div class="yiv688102207MsoNormal"><span style="color:black;" lang="EN-US">Eric - was good to see you in San Diego. Glad to see you on the list.&nbsp;</span></div><div><div class="yiv688102207MsoNormal"><span style="color:black;" lang="EN-US"> &nbsp;</span></div></div><div><div class="yiv688102207MsoNormal"><span style="color:black;" lang="EN-US">I would recommend trying
 the IRC channel tomorrow morning. Should be someone there who can help you.&nbsp;</span></div></div><div><div class="yiv688102207MsoNormal"><span style="color:black;" lang="EN-US"> &nbsp;</span></div></div><div><div class="yiv688102207MsoNormal"><span style="color:black;" lang="EN-US">-JM</span></div></div><div><div class="yiv688102207MsoNormal" style="margin-bottom:12.0pt;"><span style="color:black;" lang="EN-US"> &nbsp;</span></div><div class="yiv688102207MsoNormal" style="text-align:center;" align="center"><span style="color:black;" lang="EN-US"><hr id="yiv688102207zwchr" align="center" size="2" width="100%"></span></div><blockquote style="border:none;border-left:solid #1010FF 1.5pt;padding:0cm 0cm 0cm 4.0pt;margin-left:3.75pt;margin-top:5.0pt;margin-bottom:5.0pt;"><div><div class="yiv688102207MsoNormal" style="margin-bottom:12.0pt;background:white;"><span style="font-size:10.0pt;color:black;" lang="EN-US">I've created a distributed replicated
 volume:</span></div><div><div class="yiv688102207MsoNormal"><span style="font-size:10.0pt;color:black;" lang="EN-US">&gt; gluster&gt; volume info<br>&gt;&nbsp; <br>&gt; Volume Name: Repositories<br>&gt; Type: Distributed-Replicate<br>&gt; Volume ID: 926262ae-2aa6-4bf7-b19e-cf674431b06c<br>&gt; Status:
 Started<br>&gt; Number of Bricks: 2 x 2 = 4<br>&gt; Transport-type: tcp<br>&gt; Bricks:<br>&gt; Brick1: 192.168.1.1:/srv/sda7<br>&gt; Brick2: 192.168.1.2:/srv/sda7<br>&gt; Brick3: 192.168.1.1:/srv/sdb7<br>&gt; Brick4: 192.168.1.2:/srv/sdb7</span></div></div><div class="yiv688102207MsoNormal" style="background:white;"><span style="font-size:10.0pt;color:black;" lang="EN-US"><br>...by allocating physical partitions on each HDD of each node for the volumes' bricks: e.g.,</span></div><div><div class="yiv688102207MsoNormal" style="background:white;"><span style="font-size:10.0pt;color:black;" lang="EN-US"><br>&gt; [eric@sn1 srv]$ mount | grep xfs<br>&gt; /dev/sda7 on /srv/sda7 type xfs (rw)<br>&gt; /dev/sdb7 on /srv/sdb7 type xfs (rw)<br>&gt; /dev/sda8 on /srv/sda8 type xfs (rw)<br>&gt; /dev/sdb8 on /srv/sdb8 type xfs (rw)<br>&gt; /dev/sda9 on /srv/sda9 type xfs (rw)<br>&gt; /dev/sdb9
 on /srv/sdb9 type xfs (rw)<br>&gt; /dev/sda10 on /srv/sda10 type xfs (rw)<br>&gt; /dev/sdb10 on /srv/sdb10 type xfs (rw)<br><br>I plan to re-provision both nodes (e.g., convert them&nbsp; from CentOS -&gt; SLES) and need to preserve the data on the current bricks.<br><br>It seems to me that the procedure for this endeavor would be to: detach the node that will be re-provisioned; re-provision the node; add the node back to the trusted storage pool, and then; add the bricks back to the volume - *but* this plan fails at Step #1. i.e.,<br><br>&nbsp;* When attempting to detach the second node from the volume, the Console Manager <br>&nbsp;&nbsp; complains "Brick(s) with the peer 192.168.1.2 exist in cluster".<br>&nbsp;* When attempting to remove the second node's bricks from the volume, the Console <br>&nbsp;&nbsp; Manager complains "Bricks not from same subvol for replica".<br><br>Is this even feasible? I've already verified that bricks can be *added* to
 the volume (by adding two additional local partitions to the volume) but I'm not sure where to begin preparing the nodes for re-provisioning.<br><br>Eric Pretorious<br>Truckee, CA</span></div></div></div><div class="yiv688102207MsoNormal"><span style="color:black;" lang="EN-US"><br>_______________________________________________<br>Gluster-users mailing list<br><a rel="nofollow" ymailto="mailto:Gluster-users@gluster.org" target="_blank" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</span></div></blockquote><div class="yiv688102207MsoNormal"><span style="color:black;" lang="EN-US"> &nbsp;</span></div></div></div></div></div></div></div><br><br> </div> </div> </blockquote></div>   </div></div></div><br>_______________________________________________<br>Gluster-users mailing list<br><a ymailto="mailto:Gluster-users@gluster.org"
 href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br><a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><br><br><br> </div> </div> </blockquote></div>   </div></body></html>