<div dir="ltr"><div><div>sorry, I can&#39;t give the backtrace.<br></div>I got a coredump file for segmentfault, when I used gdb to get backtrace, I just got lots of question marks (no debuginfo package installed)<br></div>

<br>gdb -c core.xxxx<br><br>[New Thread 11858]<br>[New Thread 11859]<br>[New Thread 11882]<br>[New Thread 11861]<br>[New Thread 11896]<br>[New Thread 11881]<br>[New Thread 14312]<br>[New Thread 11894]<br>[New Thread 14315]<br>

[New Thread 14314]<br>[New Thread 11860]<br>[New Thread 11883]<br>[New Thread 14318]<br>[New Thread 11893]<br>[New Thread 12069]<br>[New Thread 14313]<br>[New Thread 14321]<br>[New Thread 14319]<br>[New Thread 14320]<br>
[New Thread 11857]<br>
[New Thread 12070]<br>[New Thread 14317]<br>[New Thread 14316]<br>Core was generated by `/usr/sbin/glusterfsd -s localhost --volfile-id sh-ugc1-mams.shdx.miaoyan.cluste&#39;.<br>Program terminated with signal 11, Segmentation fault.<br>

#0  0x00007f4e824d10b4 in ?? ()<br>(gdb) bt<br>#0  0x00007f4e824d10b4 in ?? ()<br>#1  0x0000003000000018 in ?? ()<br>#2  0x00000000024a8510 in ?? ()<br>#3  0x0000000000000000 in ?? ()<br><br><div><div>(gdb) thread apply all bt full<br>

<br>Thread 23 (Thread 14316):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 22 (Thread 14317):<br>#0  0x00000035ef60b7bb in ?? ()<br>

No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 21 (Thread 12070):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>

No symbol table info available.<br><br>Thread 20 (Thread 11857):<br>#0  0x00000035ef2e7c73 in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 19 (Thread 14320):<br>

#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 18 (Thread 14319):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>

#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 17 (Thread 14321):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br>

<br>Thread 16 (Thread 14313):<br>#0  0x00000035ef60b7bb in ?? ()<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br>

<br>Thread 15 (Thread 12069):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 14 (Thread 11893):<br>#0  0x00000035ef60b7bb in ?? ()<br>

No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 13 (Thread 14318):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>

No symbol table info available.<br><br>Thread 12 (Thread 11883):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 11 (Thread 11860):<br>

#0  0x00000035ef60b43c in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 10 (Thread 14314):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>

#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 9 (Thread 14315):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br>

---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br><br>Thread 8 (Thread 11894):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br>

<br>Thread 7 (Thread 14312):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 6 (Thread 11881):<br>#0  0x00000035ef60b43c in ?? ()<br>

No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 5 (Thread 11896):<br>#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>

No symbol table info available.<br><br>Thread 4 (Thread 11861):<br>#0  0x00000035ef60ed2d in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 3 (Thread 11882):<br>

#0  0x00000035ef60b7bb in ?? ()<br>No symbol table info available.<br>#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 2 (Thread 11859):<br>#0  0x00000035ef60b43c in ?? ()<br>No symbol table info available.<br>

#1  0x0000000000000000 in ?? ()<br>No symbol table info available.<br><br>Thread 1 (Thread 11858):<br>#0  0x00007f4e824d10b4 in ?? ()<br>---Type &lt;return&gt; to continue, or q &lt;return&gt; to quit---<br>No symbol table info available.<br>

#1  0x0000003000000018 in ?? ()<br>No symbol table info available.<br>#2  0x00000000024a8510 in ?? ()<br>No symbol table info available.<br>#3  0x0000000000000000 in ?? ()<br>No symbol table info available.<br></div></div>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Jan 30, 2014 at 3:14 PM, Pranith Kumar Karampuri <span dir="ltr">&lt;<a href="mailto:pkarampu@redhat.com" target="_blank">pkarampu@redhat.com</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Could you give us the back trace<br>
<br>
Pranith<br>
----- Original Message -----<br>
&gt; From: &quot;Mingfan Lu&quot; &lt;<a href="mailto:mingfan.lu@gmail.com">mingfan.lu@gmail.com</a>&gt;<br>
&gt; To: &quot;Pranith Kumar Karampuri&quot; &lt;<a href="mailto:pkarampu@redhat.com">pkarampu@redhat.com</a>&gt;<br>
&gt; Cc: &quot;haiwei.xie-soulinfo&quot; &lt;<a href="mailto:haiwei.xie@soulinfo.com">haiwei.xie@soulinfo.com</a>&gt;, &quot;<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a> List&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>


&gt; Sent: Thursday, January 30, 2014 12:43:44 PM<br>
&gt; Subject: Re: [Gluster-users] help, all latency comes from FINODELK<br>
&gt;<br>
&gt; When I triedto execute the statedump, the brick server of the BAD node<br>
&gt; crashed.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Jan 29, 2014 at 8:13 PM, Pranith Kumar Karampuri &lt;<br>
&gt; <a href="mailto:pkarampu@redhat.com">pkarampu@redhat.com</a>&gt; wrote:<br>
&gt;<br>
&gt; &gt; Could you take statedump of bricks and get that information please.<br>
&gt; &gt; You can use<br>
&gt; &gt; <a href="https://access.redhat.com/site/documentation/en-US/Red_Hat_Storage/2.0/html/Administration_Guide/sect-User_Guide-Monitor_Workload-Performing_Statedump.html" target="_blank">https://access.redhat.com/site/documentation/en-US/Red_Hat_Storage/2.0/html/Administration_Guide/sect-User_Guide-Monitor_Workload-Performing_Statedump.html</a><br>


&gt; &gt; for taking statedumps.<br>
&gt; &gt;<br>
&gt; &gt; Is this same as <a href="https://bugzilla.redhat.com/show_bug.cgi?id=1056276" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1056276</a> that<br>
&gt; &gt; you raised for? If yes could you attach the files to that bug so that I get<br>
&gt; &gt; the notifications immediately.<br>
&gt; &gt;<br>
&gt; &gt; Pranith<br>
&gt; &gt; ----- Original Message -----<br>
&gt; &gt; &gt; From: &quot;Mingfan Lu&quot; &lt;<a href="mailto:mingfan.lu@gmail.com">mingfan.lu@gmail.com</a>&gt;<br>
&gt; &gt; &gt; To: &quot;haiwei.xie-soulinfo&quot; &lt;<a href="mailto:haiwei.xie@soulinfo.com">haiwei.xie@soulinfo.com</a>&gt;<br>
&gt; &gt; &gt; Cc: &quot;<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a> List&quot; &lt;<a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a>&gt;<br>
&gt; &gt; &gt; Sent: Tuesday, January 28, 2014 7:44:14 AM<br>
&gt; &gt; &gt; Subject: Re: [Gluster-users] help, all latency comes from FINODELK<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; About 200+ clients<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; How to print print lock info in bricks, print lock requst info in afr &amp;<br>
&gt; &gt; dht?<br>
&gt; &gt; &gt; thanks.<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; On Tue, Jan 28, 2014 at 9:51 AM, haiwei.xie-soulinfo &lt;<br>
&gt; &gt; &gt; <a href="mailto:haiwei.xie@soulinfo.com">haiwei.xie@soulinfo.com</a> &gt; wrote:<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; hi,<br>
&gt; &gt; &gt; looks FINODELK deak lock. how many clients, and nfs or fuse?<br>
&gt; &gt; &gt; Maybe the best way is to print lock info in bricks, print lock requst<br>
&gt; &gt; info in<br>
&gt; &gt; &gt; afr &amp; dht.<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; all my clients hang when they creating dir<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On Mon, Jan 27, 2014 at 11:33 PM, Mingfan Lu &lt; <a href="mailto:mingfan.lu@gmail.com">mingfan.lu@gmail.com</a> &gt;<br>
&gt; &gt; &gt; &gt; wrote:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; I ran glusterfs volume profile my_volume info, I got some thing<br>
&gt; &gt; likes:<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; 0.00 0.00 us 0.00 us 0.00 us 30 FORGET<br>
&gt; &gt; &gt; &gt; &gt; 0.00 0.00 us 0.00 us 0.00 us 185<br>
&gt; &gt; &gt; &gt; &gt; RELEASE<br>
&gt; &gt; &gt; &gt; &gt; 0.00 0.00 us 0.00 us 0.00 us 11<br>
&gt; &gt; &gt; &gt; &gt; RELEASEDIR<br>
&gt; &gt; &gt; &gt; &gt; 0.00 66.50 us 54.00 us 79.00 us 2<br>
&gt; &gt; &gt; &gt; &gt; SETATTR<br>
&gt; &gt; &gt; &gt; &gt; 0.00 44.83 us 25.00 us 94.00 us 6<br>
&gt; &gt; &gt; &gt; &gt; READDIR<br>
&gt; &gt; &gt; &gt; &gt; 0.00 57.55 us 28.00 us 95.00 us 11<br>
&gt; &gt; &gt; &gt; &gt; OPENDIR<br>
&gt; &gt; &gt; &gt; &gt; 0.00 325.00 us 279.00 us 371.00 us 2<br>
&gt; &gt; &gt; &gt; &gt; RENAME<br>
&gt; &gt; &gt; &gt; &gt; 0.00 147.80 us 84.00 us 206.00 us 5<br>
&gt; &gt; &gt; &gt; &gt; LINK<br>
&gt; &gt; &gt; &gt; &gt; 0.00 389.50 us 55.00 us 724.00 us 2<br>
&gt; &gt; &gt; &gt; &gt; READDIRP<br>
&gt; &gt; &gt; &gt; &gt; 0.00 164.25 us 69.00 us 287.00 us 8<br>
&gt; &gt; &gt; &gt; &gt; UNLINK<br>
&gt; &gt; &gt; &gt; &gt; 0.00 37.46 us 18.00 us 87.00 us 50<br>
&gt; &gt; &gt; &gt; &gt; FSTAT<br>
&gt; &gt; &gt; &gt; &gt; 0.00 70.32 us 29.00 us 210.00 us 37<br>
&gt; &gt; &gt; &gt; &gt; GETXATTR<br>
&gt; &gt; &gt; &gt; &gt; 0.00 77.75 us 42.00 us 216.00 us 55<br>
&gt; &gt; &gt; &gt; &gt; SETXATTR<br>
&gt; &gt; &gt; &gt; &gt; 0.00 36.39 us 11.00 us 147.00 us 119<br>
&gt; &gt; &gt; &gt; &gt; FLUSH<br>
&gt; &gt; &gt; &gt; &gt; 0.00 51.22 us 24.00 us 139.00 us 275<br>
&gt; &gt; &gt; &gt; &gt; OPEN<br>
&gt; &gt; &gt; &gt; &gt; 0.00 180.14 us 84.00 us 457.00 us 96<br>
&gt; &gt; &gt; &gt; &gt; XATTROP<br>
&gt; &gt; &gt; &gt; &gt; 0.00 3847.20 us 231.00 us 18218.00 us 5<br>
&gt; &gt; &gt; &gt; &gt; MKNOD<br>
&gt; &gt; &gt; &gt; &gt; 0.00 70.08 us 15.00 us 6539.00 us 342<br>
&gt; &gt; &gt; &gt; &gt; ENTRYLK<br>
&gt; &gt; &gt; &gt; &gt; 0.00 10338.86 us 184.00 us 34813.00 us 7<br>
&gt; &gt; &gt; &gt; &gt; CREATE<br>
&gt; &gt; &gt; &gt; &gt; 0.00 896.65 us 12.00 us 83103.00 us 235<br>
&gt; &gt; &gt; &gt; &gt; INODELK<br>
&gt; &gt; &gt; &gt; &gt; 0.00 187.86 us 50.00 us 668.00 us 1526<br>
&gt; &gt; &gt; &gt; &gt; WRITE<br>
&gt; &gt; &gt; &gt; &gt; 0.00 40.66 us 13.00 us 400.00 us 10400<br>
&gt; &gt; &gt; &gt; &gt; STATFS<br>
&gt; &gt; &gt; &gt; &gt; 0.00 313.13 us 66.00 us 2142.00 us 2049<br>
&gt; &gt; &gt; &gt; &gt; FXATTROP<br>
&gt; &gt; &gt; &gt; &gt; 0.00 2794.97 us 26.00 us 78048.00 us 295<br>
&gt; &gt; &gt; &gt; &gt; READ<br>
&gt; &gt; &gt; &gt; &gt; 0.00 24469.82 us 206.00 us 176157.00 us 34<br>
&gt; &gt; &gt; &gt; &gt; MKDIR<br>
&gt; &gt; &gt; &gt; &gt; 0.00 40.49 us 13.00 us 507.00 us 21420<br>
&gt; &gt; &gt; &gt; &gt; STAT<br>
&gt; &gt; &gt; &gt; &gt; 0.00 190.90 us 40.00 us 330032.00 us 45820<br>
&gt; &gt; &gt; &gt; &gt; LOOKUP<br>
&gt; &gt; &gt; &gt; &gt; 100.00 72004815.62 us 8.00 us 5783044563.00 us 3994<br>
&gt; &gt; &gt; &gt; &gt; FINODELK<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; what happend?<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; _______________________________________________<br>
&gt; &gt; &gt; Gluster-users mailing list<br>
&gt; &gt; &gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt; &gt; &gt; <a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br>
&gt; &gt;<br>
&gt;<br>
</blockquote></div><br></div>