<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {mso-style-priority:99;
        mso-style-link:"Balloon Text Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.BalloonTextChar
        {mso-style-name:"Balloon Text Char";
        mso-style-priority:99;
        mso-style-link:"Balloon Text";
        font-family:"Tahoma","sans-serif";}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:204603766;
        mso-list-type:hybrid;
        mso-list-template-ids:363258936 735461106 67698689 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-weight:normal;}
@list l0:level2
        {mso-level-number-format:bullet;
        mso-level-text:\F0B7;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l0:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l1
        {mso-list-id:1129974537;
        mso-list-type:hybrid;
        mso-list-template-ids:1942123356 67698689 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l1:level1
        {mso-level-number-format:bullet;
        mso-level-text:\F0B7;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l1:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l1:level3
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l1:level4
        {mso-level-number-format:bullet;
        mso-level-text:\F0B7;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l1:level5
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l1:level6
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l1:level7
        {mso-level-number-format:bullet;
        mso-level-text:\F0B7;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l1:level8
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l1:level9
        {mso-level-number-format:bullet;
        mso-level-text:\F0A7;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">Hi folks &#8211;<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">I&#8217;m in serious need of help.&nbsp; First, I&#8217;m completely new to Gluster and am getting my feet wet due to an emergency power shutdown of our data center which did not allow for an orderly shutdown of the cluster.&nbsp; The head node OS is RHEL 5.5.
 I&#8217;m including a procedure provided by our former system admin that I&#8217;ve attempted to follow as follows:
<o:p></o:p></p>
<p class="MsoNormal" align="center" style="margin-bottom:10.0pt;text-align:center;line-height:115%">
<span style="font-size:14.0pt;line-height:115%"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" align="center" style="margin-bottom:10.0pt;text-align:center;line-height:115%">
<span style="font-size:14.0pt;line-height:115%">Gluster Full Reset<o:p></o:p></span></p>
<p class="MsoNormal" style="margin-bottom:10.0pt;line-height:115%">These are steps to reset Gluster. This should be a last option in fixing Gluster. If there are issues with a single node, please read the document to Remove/Restore a single node from Gluster.<o:p></o:p></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
qmon - disable nodes<o:p></o:p>
<ul style="margin-top:0in" type="disc">
<li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
Via ssh(use putty or cygwin), connect to qmon and disable all nodes so jobs are not scheduled . (This requires root access to the server).<o:p></o:p></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
Login to the server. Type in the command <b>qmon.&nbsp; </b>Click on the icon for queue<b>
</b>control<b>. &nbsp;</b>Click on the queue instances tab. Select all active nodes and select the disable button to the right.<o:p></o:p></li></ul>
</li></ol>
<p class="MsoNormal" align="center" style="margin-bottom:10.0pt;text-align:center;line-height:115%">
<img width="352" height="342" id="Picture_x0020_7" src="cid:image001.jpg@01CFAD63.3AD57930"><o:p></o:p></p>
<ol style="margin-top:0in" start="2" type="1">
<li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
dismount scratch: Using the act_exec command unmount the scratch to all nodes within the cluster<o:p></o:p>
<ul style="margin-top:0in" type="disc">
<li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
<b>act_exec -g nodes &quot;umount -l /scratch&quot;<o:p></o:p></b></li></ul>
</li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
Stop gluster daemon on all nodes: <b>act_exec -g nodes &quot;service glusterd stop&quot;</b><o:p></o:p></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
Remove the glusterd folder on all nodes on the cluster: <b>act_exec -g nodes &quot;cd /etc ; rm -rf glusterd&quot;</b><o:p></o:p></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
ssh to node40 <o:p></o:p>
<ul style="margin-top:0in" type="disc">
<li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
>From the head node type: <b>ssh node40</b>. <o:p></o:p></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
Start the ssh daemon on this node: <b>service glusterd start</b><o:p></o:p></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
stop the volume with the following command: <b>gluster volume stop scratch-vol</b><o:p></o:p></li></ul>
</li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
>From node40, delete the volume using command: <b>gluster volume delete scratch-vol</b>
<b><o:p></o:p></b></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
>From head, cleanup scratchstore using command: <b>act_exec -g nodes &quot;rm -rf /scratchstore/*&quot;
<o:p></o:p></b></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level1 lfo1">
>From node40, check the peer status using command: <b>gluster peer status. </b>There should not be any node available. If so, remove using command:
<b>gluster</b> <b>peer detach (node name). </b>If there are no nodes listed do the following:<b><o:p></o:p></b>
<ul style="margin-top:0in" type="disc">
<li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
Start gluster on all nodes (from Head): <b>act_exec -g nodes &quot;service glusterd start&quot;<o:p></o:p></b></li><li class="MsoNormalCxSpMiddle" style="margin-bottom:10.0pt;mso-add-space:auto;line-height:115%;mso-list:l0 level2 lfo1">
Run a <b>gluster peer probe</b> on the nodes to set as trusted. (Check /root/glusterfullreset/range.sh on head for script<b><o:p></o:p></b></li></ul>
</li><li class="MsoNormal" style="margin-bottom:10.0pt;line-height:115%;mso-list:l0 level1 lfo1">
<span style="font-size:10.5pt;line-height:115%;font-family:Consolas">From node40, recreate the volume using the following command:
<b>&nbsp;</b><o:p></o:p></span></li><li class="MsoNormal" style="margin-bottom:10.0pt;line-height:115%;mso-list:l0 level1 lfo1">
<span style="font-size:10.5pt;line-height:115%;font-family:Consolas">From node40, start the volume using command:
<b>gluster volume start scratch-vol <o:p></o:p></b></span></li><li class="MsoNormal" style="margin-bottom:10.0pt;line-height:115%;mso-list:l0 level1 lfo1">
<span style="font-size:10.5pt;line-height:115%;font-family:Consolas">From node40, use the following command to recreate the scratch directory and pest directory:
<b>mkdir /scratch/pest /scratch/sptr <o:p></o:p></b></span></li><li class="MsoNormal" style="margin-bottom:10.0pt;line-height:115%;mso-list:l0 level1 lfo1">
<span style="font-size:10.5pt;line-height:115%;font-family:Consolas">From node40, assign full permissions to the directories:
<b>chmod &#8211;R 777 /scratch/pest /scratch/sptr <o:p></o:p></b></span></li><li class="MsoNormal" style="margin-bottom:10.0pt;line-height:115%;mso-list:l0 level1 lfo1">
<span style="font-size:10.5pt;line-height:115%;font-family:Consolas">Remount scratch to all nodes
<b><o:p></o:p></b></span></li><li class="MsoNormal" style="margin-bottom:10.0pt;line-height:115%;mso-list:l0 level1 lfo1">
<span style="font-size:10.5pt;line-height:115%;font-family:Consolas">From the head node connect back to qmon and enable all nodes.<b><o:p></o:p></b></span></li></ol>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><b>Here&#8217;s the problems I&#8217;m now having:&nbsp; <o:p></o:p></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoListParagraph" style="text-indent:-.25in;mso-list:l1 level1 lfo3"><![if !supportLists]><span style="font-family:Symbol"><span style="mso-list:Ignore">&middot;<span style="font:7.0pt &quot;Times New Roman&quot;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]>When I execute step 5.&nbsp; The gluster daemon appears to start but stops after several seconds.<o:p></o:p></p>
<p class="MsoListParagraph" style="text-indent:-.25in;mso-list:l1 level1 lfo3"><![if !supportLists]><span style="font-family:Symbol"><span style="mso-list:Ignore">&middot;<span style="font:7.0pt &quot;Times New Roman&quot;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]>If I run act_exec &#8211;g nodes service gluster start the daemon will only continue to run on a few nodes.<o:p></o:p></p>
<p class="MsoListParagraph" style="text-indent:-.25in;mso-list:l1 level1 lfo3"><![if !supportLists]><span style="font-family:Symbol"><span style="mso-list:Ignore">&middot;<span style="font:7.0pt &quot;Times New Roman&quot;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]>When I ssh to some nodes I get an error &#8220;-bash: /act/Modules/3.2.6/init/bash:&nbsp; No such file or directory<o:p></o:p></p>
<p class="MsoNormal" style="margin-left:.5in">-bash: module:&nbsp; command not found&#8221;.&nbsp; &nbsp;On other nodes when I ssh I get normal login.
<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Note that when the power was restored and the cluster came back up I found that NTP was not configured correctly (was using system date) &nbsp;so I corrected that.<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Also, we have no documentation for the cluster shutdown, is there a best practice for our future reference?<o:p></o:p></p>
<p class="MsoListParagraph"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">This has been down since last weekend so your insights are appreciated.
<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Best regards, <o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Stan McKenzie<o:p></o:p></p>
<p class="MsoNormal">Navarro-Intera, LLC<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><i>Under contract to the U. S. Department of Energy, NNSA, Nevada Field Office<o:p></o:p></i></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">(702) 295-1645 (Office)<o:p></o:p></p>
<p class="MsoNormal"><o:p></o:p></p>
<p class="MsoNormal"><img width="83" height="72" id="Picture_x0020_1" src="cid:image002.png@01CFAD63.3AD57930"><o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</body>
</html>