
<html>

  <head>

    <meta content="text/html; charset=ISO-8859-1"

      http-equiv="Content-Type">

  </head>

  <body text="#000000" bgcolor="#FFFFFF">

    <br>

    <div class="moz-cite-prefix">On 08/05/2014 09:16 PM, Ryan Clough

      wrote:<br>

    </div>

    <blockquote

cite="mid:CAG-ey24w=RSoVqLe7eDtYndO9Ks18xuna_N1tvo8hrz89EmKmQ@mail.gmail.com"

      type="cite">

      <div dir="ltr">

        <div>

          <div>

            <div>

              <div>

                <div>

                  <div>

                    <div>

                      <div>

                        <div>I spoke too soon. Runing "ls -lR" on one of

                          our largest directory structures overnight has

                          caused glusterfs to use lots of memory. It

                          appears as though glusterfs process is still

                          gradually consuming more and more memory. I

                          have tried to release the memory forcefully by

                          issuing this command:<br>

                          sync; echo 3 &gt; /proc/sys/vm/drop_caches<br>

                        </div>

                        But glusterfs holds on to its memory. The high

                        memory is also expressed on the client side as

                        well as on the server side.<br>

                      </div>

                      <div>Right now both of my brick servers are using

                        about 7GB of RAM for the glusterfs process and

                        the client that is running the "ls -lR" is using

                        about 8GB of RAM. Below are some basic

                        specifications of my hardware. Both server and

                        client are running version 3.5.2. I have

                        attached a statedump of the client glusterfs.<br>

                      </div>

                    </div>

                  </div>

                </div>

              </div>

            </div>

          </div>

        </div>

      </div>

    </blockquote>

    Could you please send out statedumps please. That should help us

    figure out what the problem is.<br>

    <br>

    Pranith<br>

    <blockquote

cite="mid:CAG-ey24w=RSoVqLe7eDtYndO9Ks18xuna_N1tvo8hrz89EmKmQ@mail.gmail.com"

      type="cite">

      <div dir="ltr">

        <div>

          <div>

            <div>

              <div>

                <div>

                  <div>

                    <div>

                      <div>

                      </div>

                      <div><br>

                      </div>

                      Brick server hardware:<br>

                    </div>

                    Dual 6-core Intel Xeon CPU E5-2620 0 @ 2.00GHz (HT

                    is on)<br>

                  </div>

                  32GB SDRAM<br>

                </div>

                2 - 500GB SATA drives in RAID1 for OS<br>

              </div>

              12 - 3TB SATA drives in RAID6 with LVM and XFS for data<br>

              <br>

              <br>

            </div>

            Client hardware:<br>

          </div>

          Dual 8-core AMD OpteronProcessor 6128<br>

        </div>

        32GB SDRAM<br>

      </div>

      <div class="gmail_extra"><br clear="all">

        <div>

          <div dir="ltr"><font size="1">Ryan Clough<br>

              Information Systems<br>

              <a moz-do-not-send="true"

                href="http://www.decisionsciencescorp.com/"

                target="_blank">Decision Sciences International

                Corporation</a></font><span

style="font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><a

                moz-do-not-send="true"

                href="http://www.decisionsciencescorp.com/"

                target="_blank"><span style="color:blue"></span></a></span></div>

        </div>

        <br>

        <br>

        <div class="gmail_quote">On Mon, Aug 4, 2014 at 12:07 PM, Ryan

          Clough <span dir="ltr">&lt;<a moz-do-not-send="true"

              href="mailto:ryan.clough@dsic.com" target="_blank">ryan.clough@dsic.com</a>&gt;</span>

          wrote:<br>

          <blockquote class="gmail_quote" style="margin:0 0 0

            .8ex;border-left:1px #ccc solid;padding-left:1ex">

            <div dir="ltr">

              <div>Hi,<br>

              </div>

              I too was experiencing this issue on my bricks. I am using

              version 3.5.2 and after setting io-cache and quick-read to

              "off", as Poornima suggested, I am no longer seeing

              glusterfs gobbling memory. I noticed it first when I

              enabled quotas and during the quota-crawl glusterfs

              process would be OOM killed by the kernel. Before, my

              bricks would consume all available memory until swap was

              exhausted and the kernel OOMs the glusterfs process. There

              is a rebalance running right now and glusterfs is

              behaving. Here is some output of my current config. Let me

              know if I can provide anything else to help.<br>

              <br>

              [root@tgluster01 ~]# gluster volume status all detail<br>

              Status of volume: tgluster_volume<br>

------------------------------------------------------------------------------<br>

              Brick&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Brick tgluster01:/gluster_data<br>

              Port&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 49153&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Online&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Y&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Pid&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2407&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              File System&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : xfs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : /dev/mapper/vg_data-lv_data<br>

              Mount Options&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :

              rw,noatime,nodiratime,logbufs=8,logbsize=256k,inode64,nobarrier<br>

              Inode Size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 512&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Disk Space Free&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 3.5TB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Total Disk Space&nbsp;&nbsp;&nbsp;&nbsp; : 27.3TB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Inode Count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2929685696&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Free Inodes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2863589912&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

------------------------------------------------------------------------------<br>

              Brick&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Brick tgluster02:/gluster_data<br>

              Port&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 49152&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Online&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Y&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Pid&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2402&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              File System&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : xfs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : /dev/mapper/vg_data-lv_data<br>

              Mount Options&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :

              rw,noatime,nodiratime,logbufs=8,logbsize=256k,inode64,nobarrier<br>

              Inode Size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 512&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Disk Space Free&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 5.4TB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Total Disk Space&nbsp;&nbsp;&nbsp;&nbsp; : 27.3TB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Inode Count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2929685696&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              Free Inodes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : 2864874648 <br>

              <br>

              [root@tgluster01 ~]# gluster volume status<br>

              Status of volume: tgluster_volume<br>

              Gluster process&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; Port&nbsp;&nbsp;&nbsp; Online&nbsp;&nbsp;&nbsp;

              Pid<br>

------------------------------------------------------------------------------<br>

              Brick tgluster01:/gluster_data&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 49153&nbsp;&nbsp;&nbsp;

              Y&nbsp;&nbsp;&nbsp; 2407<br>

              Brick tgluster02:/gluster_data&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; 49152&nbsp;&nbsp;&nbsp;

              Y&nbsp;&nbsp;&nbsp; 2402<br>

              Quota Daemon on localhost&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 2415<br>

              Quota Daemon on tgluster02&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp; N/A&nbsp;&nbsp;&nbsp; Y&nbsp;&nbsp;&nbsp; 2565<br>

              &nbsp;<br>

              Task Status of Volume tgluster_volume<br>

------------------------------------------------------------------------------<br>

              Task&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : Rebalance&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

              ID&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :

              31fd1edb-dd6d-4c25-b4b5-1ce7bc0670f3<br>

              Status&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; : in progress<br>

              <br>

              [root@tgluster01 ~]# gluster volume info<br>

              Volume Name: tgluster_volume<br>

              Type: Distribute<br>

              Volume ID: 796774f8-f9ec-476c-9d08-0f5f937d5ad9<br>

              Status: Started<br>

              Number of Bricks: 2<br>

              Transport-type: tcp<br>

              Bricks:<br>

              Brick1: tgluster01:/gluster_data<br>

              Brick2: tgluster02:/gluster_data<br>

              Options Reconfigured:<br>

              features.quota-deem-statfs: on<br>

              performance.client-io-threads: on<br>

              performance.md-cache-timeout: 1<br>

              performance.cache-max-file-size: 10MB<br>

              network.ping-timeout: 60<br>

              performance.write-behind-window-size: 4MB<br>

              performance.read-ahead: on<br>

              performance.cache-refresh-timeout: 1<br>

              performance.cache-size: 10GB<br>

              performance.quick-read: off<br>

              nfs.disable: on<br>

              features.quota: on<br>

              performance.io-thread-count: 24<br>

              cluster.eager-lock: on<br>

              server.statedump-path: /var/log/glusterfs/<br>

              performance.flush-behind: on<br>

              performance.write-behind: on<br>

              performance.stat-prefetch: on<br>

              performance.io-cache: off<br>

              <br>

              [root@tgluster01 ~]# gluster volume status all mem<br>

              Memory status for volume : tgluster_volume<br>

              ----------------------------------------------<br>

              Brick : tgluster01:/gluster_data<br>

              Mallinfo<br>

              --------<br>

              Arena&nbsp;&nbsp;&nbsp; : 25788416<br>

              Ordblks&nbsp; : 7222<br>

              Smblks&nbsp;&nbsp; : 1<br>

              Hblks&nbsp;&nbsp;&nbsp; : 12<br>

              Hblkhd&nbsp;&nbsp; : 16060416<br>

              Usmblks&nbsp; : 0<br>

              Fsmblks&nbsp; : 80<br>

              Uordblks : 25037744<br>

              Fordblks : 750672<br>

              Keepcost : 132816<br>

              &nbsp;<br>

              Mempool Stats<br>

              -------------<br>

              Name&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; HotCount ColdCount

              PaddedSizeof AllocCount MaxAlloc&nbsp;&nbsp; Misses Max-StdAlloc<br>

              ----&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -------- ---------

              ------------ ---------- -------- -------- ------------<br>

              tgluster_volume-server:fd_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              1013&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 194246&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              tgluster_volume-server:dentry_t&nbsp;&nbsp;&nbsp;&nbsp; 16384&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 84&nbsp;&nbsp;&nbsp; 1280505&nbsp;&nbsp;&nbsp; 16384&nbsp;&nbsp; 481095&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 32968<br>

              tgluster_volume-server:inode_t&nbsp;&nbsp;&nbsp;&nbsp; 16383&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 156&nbsp;&nbsp; 13974240&nbsp;&nbsp;&nbsp; 16384&nbsp; 7625153&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 39688<br>

              tgluster_volume-changelog:changelog_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-locks:pl_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 148&nbsp;&nbsp;&nbsp; 3922857&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-marker:marker_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              128&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 332&nbsp;&nbsp;&nbsp; 6163938&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-quota:struct saved_frame&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              16&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 65000&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-quota:struct rpc_req&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              16&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 588&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 65000&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-quota:quota_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 404&nbsp;&nbsp;&nbsp; 4476051&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-server:rpcsvc_request_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              512&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2828&nbsp;&nbsp;&nbsp; 6694494&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:struct saved_frame&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:struct rpc_req&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 588&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:rpcsvc_request_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              2828&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:data_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 164&nbsp;&nbsp;&nbsp;&nbsp;

              16219&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 52&nbsp;&nbsp; 60680465&nbsp;&nbsp;&nbsp;&nbsp; 2012&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              glusterfs:data_pair_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 159&nbsp;&nbsp;&nbsp;&nbsp;

              16224&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 68&nbsp;&nbsp; 34718980&nbsp;&nbsp;&nbsp;&nbsp; 1348&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              glusterfs:dict_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              4081&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 140&nbsp;&nbsp; 24689263&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 714&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              glusterfs:call_stub_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1024&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              3756&nbsp;&nbsp;&nbsp; 8263013&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:call_stack_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1023&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              1836&nbsp;&nbsp;&nbsp; 6675669&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:call_frame_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              4096&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 172&nbsp;&nbsp; 55532603&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 251&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              ----------------------------------------------<br>

              Brick : tgluster02:/gluster_data<br>

              Mallinfo<br>

              --------<br>

              Arena&nbsp;&nbsp;&nbsp; : 18714624<br>

              Ordblks&nbsp; : 4211<br>

              Smblks&nbsp;&nbsp; : 1<br>

              Hblks&nbsp;&nbsp;&nbsp; : 12<br>

              Hblkhd&nbsp;&nbsp; : 16060416<br>

              Usmblks&nbsp; : 0<br>

              Fsmblks&nbsp; : 80<br>

              Uordblks : 18250608<br>

              Fordblks : 464016<br>

              Keepcost : 131360<br>

              &nbsp;<br>

              Mempool Stats<br>

              -------------<br>

              Name&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; HotCount ColdCount

              PaddedSizeof AllocCount MaxAlloc&nbsp;&nbsp; Misses Max-StdAlloc<br>

              ----&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -------- ---------

              ------------ ---------- -------- -------- ------------<br>

              tgluster_volume-server:fd_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              1013&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 155373&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              tgluster_volume-server:dentry_t&nbsp;&nbsp;&nbsp;&nbsp; 16383&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 84&nbsp;&nbsp;&nbsp; 1297732&nbsp;&nbsp;&nbsp; 16384&nbsp;&nbsp; 396012&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 21124<br>

              tgluster_volume-server:inode_t&nbsp;&nbsp;&nbsp;&nbsp; 16384&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 156&nbsp;&nbsp; 13896002&nbsp;&nbsp;&nbsp; 16384&nbsp; 7434842&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24494<br>

              tgluster_volume-changelog:changelog_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-locks:pl_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 148&nbsp;&nbsp;&nbsp; 5578625&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 17&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-marker:marker_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              125&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 332&nbsp;&nbsp;&nbsp; 6834019&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 68&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-quota:struct saved_frame&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              16&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 64922&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-quota:struct rpc_req&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              16&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 588&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 65000&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-quota:quota_local_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              61&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 404&nbsp;&nbsp;&nbsp; 4216852&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              tgluster_volume-server:rpcsvc_request_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              509&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2828&nbsp;&nbsp;&nbsp; 6406870&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:struct saved_frame&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:struct rpc_req&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 588&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:rpcsvc_request_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              2828&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:data_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 185&nbsp;&nbsp;&nbsp;&nbsp;

              16198&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 52&nbsp;&nbsp; 80402618&nbsp;&nbsp;&nbsp;&nbsp; 1427&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              glusterfs:data_pair_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 177&nbsp;&nbsp;&nbsp;&nbsp;

              16206&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 68&nbsp;&nbsp; 40014499&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 737&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              glusterfs:dict_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 18&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              4078&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 140&nbsp;&nbsp; 35345779&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 729&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              glusterfs:call_stub_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1021&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              3756&nbsp;&nbsp; 21374090&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 68&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:call_stack_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1020&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              1836&nbsp;&nbsp;&nbsp; 6824400&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 68&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>

              glusterfs:call_frame_t&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              4076&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 172&nbsp;&nbsp; 97255627&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 388&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;

              0<br>

              ----------------------------------------------<br>

              <div class="gmail_extra"><br>

              </div>

              <div class="gmail_extra">

                <div>

                  <div dir="ltr"><font size="1">Ryan Clough<br>

                      Information Systems<br>

                      <a moz-do-not-send="true"

                        href="http://www.decisionsciencescorp.com/"

                        target="_blank">Decision Sciences International

                        Corporation</a></font><span

style="font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><a

                        moz-do-not-send="true"

                        href="http://www.decisionsciencescorp.com/"

                        target="_blank"><span style="color:blue"></span></a></span></div>

                </div>

                <div>

                  <div class="h5">

                    <br>

                    <br>

                    <div class="gmail_quote">On Sun, Aug 3, 2014 at

                      11:36 PM, Poornima Gurusiddaiah <span dir="ltr">&lt;<a

                          moz-do-not-send="true"

                          href="mailto:pgurusid@redhat.com"

                          target="_blank">pgurusid@redhat.com</a>&gt;</span>

                      wrote:<br>

                      <blockquote class="gmail_quote" style="margin:0 0

                        0 .8ex;border-left:1px #ccc

                        solid;padding-left:1ex">

                        Hi,<br>

                        <br>

                        From the statedump it is evident that the iobufs

                        are leaking.<br>

                        Also the hot count of the

                        pool-name=w-vol-io-cache:rbthash_entry_t is

                        10053, implies io-cache xlator could be the

                        cause of the leak.<br>

                        From the logs, it looks like, quick-read

                        performance xlator is calling iobuf_free with

                        NULL pointers, implies quick-read could be

                        leaking iobufs as well.<br>

                        <br>

                        As a temperory solution, could you disable

                        io-cache and/or quick-read and see if the leak

                        still persists?<br>

                        <br>

                        $gluster volume set io-cache off<br>

                        $gluster volume set quick-read off<br>

                        <br>

                        This may reduce the performance to certain

                        extent.<br>

                        <br>

                        For further debugging, could you provide the

                        core dump or steps to reproduce if avaiable?<br>

                        <div><br>

                          Regards,<br>

                          Poornima<br>

                          <br>

                          ----- Original Message -----<br>

                          From: "Tamas Papp" &lt;<a

                            moz-do-not-send="true"

                            href="mailto:tompos@martos.bme.hu"

                            target="_blank">tompos@martos.bme.hu</a>&gt;<br>

                        </div>

                        <div>

                          <div>To: "Poornima Gurusiddaiah" &lt;<a

                              moz-do-not-send="true"

                              href="mailto:pgurusid@redhat.com"

                              target="_blank">pgurusid@redhat.com</a>&gt;<br>

                            Cc: <a moz-do-not-send="true"

                              href="mailto:Gluster-users@gluster.org"

                              target="_blank">Gluster-users@gluster.org</a><br>

                            Sent: Sunday, August 3, 2014 10:33:17 PM<br>

                            Subject: Re: [Gluster-users] high memory

                            usage of mount<br>

                            <br>

                            <br>

                            On 07/31/2014 09:17 AM, Tamas Papp wrote:<br>

                            &gt;<br>

                            &gt; On 07/31/2014 09:02 AM, Poornima

                            Gurusiddaiah wrote:<br>

                            &gt;&gt; Hi,<br>

                            &gt;<br>

                            &gt; hi,<br>

                            &gt;<br>

                            &gt;&gt; Can you provide the statedump of

                            the process, it can be obtained as<br>

                            &gt;&gt; follows:<br>

                            &gt;&gt; $ gluster --print-statedumpdir

                            &nbsp;#create this directory if it doesn't<br>

                            &gt;&gt; exist.<br>

                            &gt;&gt; $ kill -USR1

                            &lt;pid-of-glusterfs-process&gt; &nbsp;#generates

                            state dump.<br>

                            &gt;<br>

                            &gt; <a moz-do-not-send="true"

                              href="http://rtfm.co.hu/glusterdump.2464.dump.1406790562.zip"

                              target="_blank">http://rtfm.co.hu/glusterdump.2464.dump.1406790562.zip</a><br>

                            &gt;<br>

                            &gt;&gt; Also, xporting Gluster via

                            Samba-VFS-plugin method is preferred over<br>

                            &gt;&gt; Fuse mount export. For more details

                            refer to:<br>

                            &gt;&gt; <a moz-do-not-send="true"

href="http://lalatendumohanty.wordpress.com/2014/02/11/using-glusterfs-with-samba-and-samba-vfs-plugin-for-glusterfs-on-fedora-20/"

                              target="_blank">http://lalatendumohanty.wordpress.com/2014/02/11/using-glusterfs-with-samba-and-samba-vfs-plugin-for-glusterfs-on-fedora-20/</a><br>

                            &gt;&gt;<br>

                            &gt;<br>

                            &gt; When I tried it about half year ago it

                            didn't work properly. Clients<br>

                            &gt; lost mounts, access errors etc.<br>

                            &gt;<br>

                            &gt; But I will give it a try, though it's

                            not included in ubuntu's samba<br>

                            &gt; AFAIK.<br>

                            &gt;<br>

                            &gt;<br>

                            &gt; Thank you,<br>

                            &gt; tamas<br>

                            &gt;<br>

                            &gt; ps. I forget to mention, I can see this

                            issue only one node. The rest<br>

                            &gt; of nodes are fine.<br>

                            <br>

                            hi Poornima,<br>

                            <br>

                            Do you have &nbsp;idea, what's going on here?<br>

                            <br>

                            Thanks,<br>

                            tamas<br>

_______________________________________________<br>

                            Gluster-users mailing list<br>

                            <a moz-do-not-send="true"

                              href="mailto:Gluster-users@gluster.org"

                              target="_blank">Gluster-users@gluster.org</a><br>

                            <a moz-do-not-send="true"

                              href="http://supercolony.gluster.org/mailman/listinfo/gluster-users"

                              target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br>

                          </div>

                        </div>

                      </blockquote>

                    </div>

                    <br>

                  </div>

                </div>

              </div>

            </div>

          </blockquote>

        </div>

        <br>

      </div>

      <br>

      <span><font color="#888888">This communication is intended only

          for the person(s) to whom it is addressed and may contain

          confidential and/or privileged information. Any review,

          re-transmission, dissemination, copying or other use of, or

          taking of any action in reliance upon, this information by

          persons or entities other than the intended recipient(s) is

          prohibited. If you received this communication in error,

          please report the error to the sender by return email and

          delete this communication from your records.</font></span><br>

      <fieldset class="mimeAttachmentHeader"></fieldset>

      <br>

      <pre wrap="">_______________________________________________

Gluster-users mailing list

<a class="moz-txt-link-abbreviated" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a>

<a class="moz-txt-link-freetext" href="http://supercolony.gluster.org/mailman/listinfo/gluster-users">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a></pre>

    </blockquote>

    <br>

  </body>

</html>