<div dir="ltr">Vijay,<div><br></div><div>You nailed it. Joe in IRC suggested seeing if a node was its own peer, and a few were. </div><div><br></div><div>its a long story, but, the short of it is a bad commit to our config system ended up dropping the 3.4beta1 on a handful of these nodes, and we&#39;ve been cleaning that up for a little bit now. This didn&#39;t manifest right away however....</div>
<div><br></div><div><br></div></div><div class="gmail_extra"><br clear="all"><div><div dir="ltr">--<div>Matthew Nicholson<div>Research Computing Specialist</div><div>Harvard FAS Research Computing</div><div><a href="mailto:matthew_nicholson@harvard.edu" target="_blank">matthew_nicholson@harvard.edu</a></div>
<div><br></div></div></div></div>
<br><br><div class="gmail_quote">On Tue, Jun 4, 2013 at 2:39 PM, Vijay Bellur <span dir="ltr">&lt;<a href="mailto:vbellur@redhat.com" target="_blank">vbellur@redhat.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">On 06/04/2013 10:29 PM, Matthew Nicholson wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
So it sees something is holding the lock, Rejects it,<br>
<br>
If i look up that uuid:<br>
<br>
[root@ox60-gstore10 ~]# gluster peer status |grep<br>
0edce15e-0de2-4496-a520-<u></u>58c65dbbc7da --context=3<br>
Number of Peers: 20<br>
<br>
Hostname: ox60-gstore10<br>
Uuid: 0edce15e-0de2-4496-a520-<u></u>58c65dbbc7da<br>
State: Peer in Cluster (Connected)<br>
</blockquote>
<br>
<br></div>
This seems to be the case of a server being a peer of itself. This is not required. The following steps might be of help when performed on ox60-gstore10:<br>
<br>
a) Take a backup of /var/lib/glusterd.<br>
<br>
b) Stop glusterd.<br>
<br>
c) Remove the file with name 0edce15e-0de2-4496-a520-<u></u>58c65dbbc7da in /var/lib/glusterd/peers/.<br>
<br>
d) Restart glusterd.<br>
<br>
At this point in time, ox60-gstore10 should not be seen in the output of &quot;gluster peer status&quot; on ox60-gstore10. It should be seen in the output on other nodes of the cluster. If such a state is reached, all volume operations should proceed further.<br>

<br>
How did the setup get into such a state? Was a self probe attempted or /var/lib/glusterd cloned from one of its peers?<span class="HOEnZb"><font color="#888888"><br>
<br>
-Vijay<br>
<br>
<br>
</font></span></blockquote></div><br></div>