<p dir="ltr"><br>
On 13-Jul-2013 12:43 AM, &quot;Ryan Aydelott&quot; &lt;<a href="mailto:ryade@mcs.anl.gov">ryade@mcs.anl.gov</a>&gt; wrote:<br>
&gt;<br>
&gt; I had a node that was attached but not functioning properly. In this case the gluster daemon itself wouldn&#39;t launch giving this at startup: <a href="http://pastebin.com/rnsMNGBT">http://pastebin.com/rnsMNGBT</a><br>

&gt;<br>
&gt; I went into /var/lib/glusterd and removed everything under peers/volumes - thus allowing the daemon to start cleanly. <br>
&gt;<br>
&gt; After doing a gluster volume sync from a known good peer - everything appears normal except I cannot add any new volumes using that peer:<br>
&gt;<br>
&gt; volume create: perftest: failed: Host cs75-i is not in &#39;Peer in Cluster&#39; state<br>
&gt;<br>
&gt; Peer status reads:<br>
&gt;<br>
&gt; Hostname: cs75-i<br>
&gt; Uuid: 339280d7-b4d3-414b-be84-e8e4638f3751<br>
&gt; State: Accepted peer request (Connected)<br>
&gt;<br>
&gt; restarting the daemon again on cs75-i yields:<br>
&gt;<br>
&gt; Hostname: cs75-i<br>
&gt; Uuid: 339280d7-b4d3-414b-be84-e8e4638f3751<br>
&gt; State: Peer in Cluster (Connected)<br>
&gt;<br>
&gt; To which I then receive:<br>
&gt;<br>
&gt; volume create: perftest: success: please start the volume to access data<br>
&gt;<br>
&gt; The questions is, what is the difference between these two states, and why does a simple restart on the daemon correct the issue?<br>
&gt;<br>
During a peer probe, the peers exchange data between each other several times, before successfully finishing the probe. The peers move through several states when these exchanges happen. The &#39;Peer in Cluster&#39; state is the final state reached on a successful probe. The other states are intermediary states, movement among which depend on these data exchanges. If one of these data exchanges doesn&#39;t happen, then the peer gets stuck in the state. <br>

Some of the exchanges also happen when a peer starts up, so a restart can sometimes solve these kind of issues. </p>
<p dir="ltr">If you could get the glusterd logs, for the peer we could try to find out why the peer got stuck in the first place. </p>
<p dir="ltr">- Kaushal </p>
<p dir="ltr">_______________________________________________<br>
&gt; Gluster-users mailing list<br>
&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; <a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br>
</p>