In my experience this unusually happens because of NFS lockd trying too traverse a firewall.&nbsp;<br>Turn off NFS locking &nbsp;on the source host and you will be fine. The root cause is not a problem with cluster its actually a deficiency in the NFS RFCs about RPC which has never been properly addressed.<br><br><span style="font-family:Prelude, Verdana, san-serif;"><br><br></span><span id="signature"><div style="font-family: arial, sans-serif; font-size: 12px;color: #999999;">-- Sent from my HP Pre3</div><br></span><span style="color:navy; font-family:Prelude, Verdana, san-serif; "><hr align="left" style="width:75%">On Nov 19, 2014 10:45 PM, Alex Crow &lt;acrow@integrafin.co.uk&gt; wrote: <br><br></span>Also if OP is on non-supported gluster 3.4.x rather than RHSS or at  <br>least 3.5.x, and given sufficient space, how about taking enough hosts  <br>out of the cluster to bring fully up to date and store the data, syncing  <br>the data across, updating the originals, syncing back and then adding  <br>back the hosts you took out to to the first backup? <br> <br> <br> <br> <br>On 20/11/14 01:53, Ravishankar N wrote: <br>&gt; On 11/19/2014 10:11 PM, Shawn Heisey wrote: <br>&gt;&gt; We are running into this crash stacktrace on 3.4.2. <br>&gt;&gt; <br>&gt;&gt; https://bugzilla.redhat.com/show_bug.cgi?id=1010241 <br>&gt;&gt; <br>&gt;&gt; The NFS process dies with no predictability.  I've written a shell <br>&gt;&gt; script that detects the crash and runs a process to completely kill all <br>&gt;&gt; gluster processes and restart glusterd, which has eliminated <br>&gt;&gt; customer-facing fallout from these problems. <br>&gt; <br>&gt; No kill required. `gluster volume start &lt;volname&gt; force` should re-spawn the dead processes. <br>&gt; <br>&gt; <br>&gt;&gt; Because of continual stability problems from day one, the gluster <br>&gt;&gt; storage is being phased out, but there are many terabytes of data still <br>&gt;&gt; used there.  It would be nice to have it remain stable while we still <br>&gt;&gt; use it.  As soon as we can fully migrate all data to another storage <br>&gt;&gt; solution, the gluster machines will be decommissioned. <br>&gt;&gt; <br>&gt;&gt; That BZ id is specific to version 3.6, and it's always difficult for <br>&gt;&gt; mere mortals to determine which fixes have been backported to earlier <br>&gt;&gt; releases. <br>&gt;&gt; <br>&gt; A (not so?)  easy way is to clone the source, checkout into the desired branch and grep the git-log for the commit message you're interested in. <br>&gt; <br>&gt;&gt; Has the fix for bug 1010241 been backported to any 3.4 release? <br>&gt; I just did the grep and no it's not. I don't know if a backport is possible.(CC'ed the respective devs). The (two) fixes are present in 3.5 though. <br>&gt; <br>&gt; <br>&gt;    If so, <br>&gt;&gt; is it possible for me to upgrade my servers without being concerned <br>&gt;&gt; about the distributed+replicated volume going offline?  When we upgraded <br>&gt;&gt; from 3.3 to 3.4, the volume was not fully functional as soon as we <br>&gt;&gt; upgraded one server, and did not become fully functional until all <br>&gt;&gt; servers were upgraded and rebooted. <br>&gt;&gt; <br>&gt;&gt; Assuming again that there is a 3.4 version with the fix ... the gluster <br>&gt;&gt; peers that I use for NFS do not have any bricks.  Would I need to <br>&gt;&gt; upgrade ALL the servers, or could I get away with just upgrading the <br>&gt;&gt; servers that are being used for NFS? <br>&gt; <br>&gt; Heterogeneous op-version cluster is not supported. You would need to upgrade all servers. <br>&gt; <br>&gt; http://www.gluster.org/community/documentation/index.php/Upgrade_to_3.5 <br>&gt; <br>&gt; Thanks, <br>&gt; Ravi <br>&gt; <br>&gt;&gt; Thanks, <br>&gt;&gt; Shawn <br>&gt;&gt; _______________________________________________ <br>&gt;&gt; Gluster-users mailing list <br>&gt;&gt; Gluster-users@gluster.org <br>&gt;&gt; http://supercolony.gluster.org/mailman/listinfo/gluster-users <br>&gt;&gt; <br>&gt; _______________________________________________ <br>&gt; Gluster-users mailing list <br>&gt; Gluster-users@gluster.org <br>&gt; http://supercolony.gluster.org/mailman/listinfo/gluster-users <br>&gt; <br> <br>--  <br>This message is intended only for the addressee and may contain <br>confidential information. Unless you are that person, you may not <br>disclose its contents or use it in any way and are requested to delete <br>the message along with any attachments and notify us immediately. <br>"Transact" is operated by Integrated Financial Arrangements plc. 29 <br>Clement's Lane, London EC4N 7AE. Tel: (020) 7608 4900 Fax: (020) 7608 <br>5300. (Registered office: as above; Registered in England and Wales <br>under number: 3727592). Authorised and regulated by the Financial <br>Conduct Authority (entered on the Financial Services Register; no. 190856). <br> <br>_______________________________________________ <br>Gluster-users mailing list <br>Gluster-users@gluster.org <br>http://supercolony.gluster.org/mailman/listinfo/gluster-users <br>