<html><head><base href="x-msg://689/"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">I had an issue like this, and it ended up being the chelsio driver.<div><br></div><div>-luis<br><div><div>On Apr 27, 2011, at 11:49 AM, Burnash, James wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><span class="Apple-style-span" style="border-collapse: separate; font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div><font face="Calibri, sans-serif" size="2"><div>Hello.</div><div>&nbsp;</div><div>I have had two 3.1.1 client machines running&nbsp; CentOS 5.2 crash with no indications in /var/log/messages, but with this stanza in /var/log/messages/etc-glusterfs-glusterd.vol.log:</div><div>&nbsp;</div><div>[2011-04-27 11:12:00.350935] I [glusterd.c:275:init] management: Using /etc/glusterd as working directory</div><div>[2011-04-27 11:12:00.379320] E [rpc-transport.c:905:rpc_transport_load] rpc-transport: /usr/lib64/glusterfs/3.1.1/rpc-transport/rdma.so: ca</div><div>nnot open shared object file: No such file or directory</div><div>[2011-04-27 11:12:00.379340] E [rpc-transport.c:909:rpc_transport_load] rpc-transport: volume 'rdma.management': transport-type 'rdma' is n</div><div>ot valid or not found on this machine</div><div>[2011-04-27 11:12:00.389775] I [glusterd.c:87:glusterd_uuid_init] glusterd: retrieved UUID: b03f0420-14cb-403b-86c5-bde8ef2d4a28</div><div>Given volfile:</div><div>+------------------------------------------------------------------------------+</div><div>&nbsp; 1: volume management</div><div>&nbsp; 2:&nbsp;&nbsp;&nbsp;&nbsp; type mgmt/glusterd</div><div>&nbsp; 3:&nbsp;&nbsp;&nbsp;&nbsp; option working-directory /etc/glusterd</div><div>&nbsp; 4:&nbsp;&nbsp;&nbsp;&nbsp; option transport-type socket,rdma</div><div>&nbsp; 5:&nbsp;&nbsp;&nbsp;&nbsp; option transport.socket.keepalive-time 10</div><div>&nbsp; 6:&nbsp;&nbsp;&nbsp;&nbsp; option transport.socket.keepalive-interval 2</div><div>&nbsp; 7: end-volume</div><div>&nbsp; 8:</div><div>&nbsp;</div><table border="1" width="497" style="border-top-width: 1px; border-right-width: 1px; border-bottom-width: 1px; border-left-width: 1px; border-top-style: solid; border-right-style: solid; border-bottom-style: solid; border-left-style: solid; border-color: initial; border-collapse: collapse; margin-left: 3pt; "><col width="497"><tbody><tr><td>&nbsp;</td></tr></tbody></table><div>&nbsp;</div><div>I’m not running RDMA, I’m running TCP over 1Gb ethernet.</div><div>&nbsp;</div><div>Volume created with:</div><div>&nbsp;</div><div>gluster volume create pfs-ro1 replica 2 transport tcp &lt;bricks …&gt;</div><div>&nbsp;</div><div>Server info:</div><div>root@jc1letgfs18:/export/read-only# /usr/sbin/glusterfs -V</div><div>glusterfs 3.1.3 built on Mar 16 2011 01:01:54</div><div>Repository revision: v3.1.3</div><div>&nbsp;</div><div>Client info:</div><div>rpm -qa "gluster*"</div><div>glusterfs-core-3.1.1-1.x86_64</div><div>glusterfs-fuse-3.1.1-1.x86_64</div><div>glusterfs-debuginfo-3.1.1-1.x86_64</div><div>&nbsp;</div><div>Finally, this is (hopefully) the relevant section from the crashdump:</div><div>&nbsp;</div><div>taps_linux64.os[10253]: segfault at 0000000000000000 rip 000000000042b057 rsp 0000000040c60f20 error 4</div><div>nfs: server pid3780@jc1lodin2:/net not responding, still trying</div><div>nfs: server pid3780@jc1lodin2:/net OK</div><div>Unable to handle kernel NULL pointer dereference at 00000000000000e8 RIP:</div><div>&nbsp;[&lt;ffffffff800095c6&gt;] __link_path_walk+0x54/0xf42</div><div>PGD 730763067 PUD 7db2e3067 PMD 0</div><div>Oops: 0000 [1] SMP</div><div>last sysfs file: /devices/pci0000:00/0000:00:00.0/irq</div><div>CPU 0</div><div>Modules linked in: fuse(U) mptctl mptbase sg ipmi_si(U) ipmi_devintf(U) ipmi_msghandler(U) hpilo(U) nfs fscache nfsd exportfs lockd nfs_acl auth_rpcgss aut</div><div>ofs4 sunrpc bonding dm_multipath video sbs backlight i2c_ec i2c_core button battery asus_acpi acpi_memhotplug ac parport_pc lp parport ata_piix libata ide_</div><div>cd cdrom i5000_edac serio_raw edac_mc pcspkr shpchp bnx2 dm_snapshot dm_zero dm_mirror dm_mod cciss(U) sd_mod scsi_mod ext3 jbd uhci_hcd ohci_hcd ehci_hcd</div><div>Pid: 4004, comm: csh Tainted: G&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.6.18-92.el5 #1</div><div>&nbsp;</div><div>Thanks,</div><div>&nbsp;</div><div><font face="Arial, sans-serif" size="1" color="#003D79">James Burnash, Unix Engineering</font></div><div><font face="Arial, sans-serif" size="1">&nbsp;</font></div><div style="margin-top: 5pt; margin-bottom: 5pt; "><font face="Arial, sans-serif" size="1">&nbsp;</font></div><div style="margin-top: 5pt; margin-bottom: 5pt; "><font face="Arial, sans-serif" size="1">&nbsp;</font></div><div style="margin-top: 5pt; margin-bottom: 5pt; "><font face="Arial" size="1">DISCLAIMER:</font></div><div style="margin-top: 5pt; margin-bottom: 5pt; "><font face="Arial" size="1">This e-mail, and any attachments thereto, is intended only for use by the addressee(s) named herein and may contain legally privileged and/or confidential information. If you are not the intended recipient of this e-mail, you are hereby notified that any dissemination, distribution or copying of this e-mail, and any attachments thereto, is strictly prohibited. If you have received this in error, please immediately notify me and permanently delete the original and any copy of any e-mail and any printout thereof. E-mail transmission cannot be guaranteed to be secure or error-free. The sender therefore does not accept liability for any errors or omissions in the contents of this message which arise as a result of e-mail transmission.</font></div><div style="margin-top: 5pt; margin-bottom: 5pt; "><font face="Arial" size="1">NOTICE REGARDING PRIVACY AND CONFIDENTIALITY Knight Capital Group may, at its discretion, monitor and review the content of all e-mail communications.<span class="Apple-converted-space">&nbsp;</span><font color="#0000FF"><a href="http://www.knight.com">http://www.knight.com</a></font></font></div><div><font face="Arial" size="1" color="#000080">&nbsp;</font></div><div><font face="Arial" size="1" color="#000080">&nbsp;</font></div></font>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br><a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><br></div></span></blockquote></div><br><div>
<span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div><span class="Apple-style-span" style="font-family: arial; font-size: small; "><br clear="all">Luis E. Cerezo<br><br><a href="http://www.luiscerezo.org">http://www.luiscerezo.org</a><br>http://twitter.com/luiscerezo<br>http://flickr.com/photos/luiscerezo</span></div><div><span class="Apple-style-span" style="font-family: arial; font-size: small; ">photos for sale:</span></div><div><span class="Apple-style-span" style="font-family: arial; font-size: small; "><a href="http://photos.luiscerezo.org">http://photos.luiscerezo.org</a><br>Voice: 412 223 7396</span></div></div></span></span>
</div>
<br></div></body></html>