Okay, here&#39;s the info you&#39;ve requested. I&#39;m not entirely sure what to make of it, but I hope you can tell me what it means. Note that after doing the echo 3&gt; thing, the memory usage of glusterfs stayed the same (I think that was expected, but I&#39;m just mentioning it).<div>
<br></div><div><br></div><div><br></div><div><br></div><div><div>right after gluster start:</div><div><br></div><div>Arena 0:</div><div>system bytes     =     135168</div><div>in use bytes     =     102512</div><div>Arena 1:</div>
<div>system bytes     =     135168</div><div>in use bytes     =       3696</div><div>Total (incl. mmap):</div><div>system bytes     =    2174976</div><div>in use bytes     =    2010848</div><div>max mmap regions =          4</div>
<div>max mmap bytes   =    1904640</div><div><br></div><div>once gluster hit cache-size, as reported by top (3GB):</div><div>Arena 0:</div><div>system bytes     =  895643648</div><div>in use bytes     =  851334192</div><div>
Arena 1:</div><div>system bytes     =   65482752</div><div>in use bytes     =   64808592</div><div>Arena 2:</div><div>system bytes     =  482492416</div><div>in use bytes     =  482344656</div><div>Total (incl. mmap):</div>
<div>system bytes     = 3258667008</div><div>in use bytes     = 3213535632</div><div>max mmap regions =      23814</div><div>max mmap bytes   = 3220254720</div><div><br></div><div>with gluster at 4.1GB</div><div>Arena 0:</div>
<div>system bytes     = 2262704128</div><div>in use bytes     = 2087039296</div><div>Arena 1:</div><div>system bytes     =  938864640</div><div>in use bytes     =  329595824</div><div>Arena 2:</div><div>system bytes     = 1312215040</div>
<div>in use bytes     =  750181168</div><div>Total (incl. mmap):</div><div>system bytes     =  220721152</div><div>in use bytes     = 3168720928</div><div>max mmap regions =      23814</div><div>max mmap bytes   = 3220254720</div>
<div><br></div><div>with gluster at 4.1GB, after echo 3 &gt; /proc/sys/vm/drop_caches:</div><div><br></div><div>Arena 0:</div><div>system bytes     = 2510168064</div><div>in use bytes     =  858861680</div><div>Arena 1:</div>
<div>system bytes     =  938864640</div><div>in use bytes     =  127221808</div><div>Arena 2:</div><div>system bytes     = 1280753664</div><div>in use bytes     =   72664640</div><div>Total (incl. mmap):</div><div>system bytes     =  436723712</div>
<div>in use bytes     = 1060652768</div><div>max mmap regions =      23814</div><div>max mmap bytes   = 3220254720</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div>
<div><br></div><div><br></div><div><br clear="all"><br>Dan<br>
<br><br><div class="gmail_quote">On Mon, Feb 23, 2009 at 3:23 PM, Amar Tumballi (bulde) <span dir="ltr">&lt;<a href="mailto:amar@gluster.com">amar@gluster.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Hi Gordan and Dan,<br><br>It would help me a lot if its possible for you to get the info as described below, <br><br>compile glusterfs like<br><br>bash# make clean &gt; /dev/null<br>bash# make CFLAGS=&quot;-g -O0 -DDEBUG&quot; &gt; /dev/null<br>

bash# make install<br><br>run the process which consumes memory (mostly client process) like below:<br><br>bash# glusterfs &lt;any argument you give generally&gt; -N<br>&lt;this process will run in foreground now&gt;<br>
<br>
Open another terminal<br><br>bash# ps aux | grep glusterfs<br>bash# kill -s SIGUSR1 &lt;pid of glusterfs -N process&gt;<br>&lt;Check in other terminal for memory usage stats&gt;<br><br>bash# &lt;run your application over glusterfs as you do till you get high memory usage of glusterfs.. &gt;<br>

bash# kill -s SIGUSR1 &lt;pid of glusterfs -N process&gt;<br>
&lt;Check the stat in another terminal&gt;<br><br>bash# echo 3 &gt; /proc/sys/vm/drop_caches<br>bash# kill -s SIGUSR1 &lt;pid of glusterfs -N process&gt;<br>

&lt;Check the stat in another terminal&gt;<br>
<br>Even after dropping caches, if &#39;in use bytes =&#39; in malloc stats shows a high value, then it is a leak. If its showing less, but just &#39;system bytes = &#39; is a high value, this means glusterfs is not really consuming high memory, but the problem is really in the memory allocation segments.<br>

<br>Regards,<br>Amar<br><br>NOTE: &#39;malloc_stats&#39; will be printed to &#39;stdout&#39; if we enable -DDEBUG while compiling glusterfs, as it hits performance badly otherwise.<br><br><br><div class="gmail_quote">2009/2/23 Gordan Bobic <span dir="ltr">&lt;<a href="mailto:gordan@bobich.net" target="_blank">gordan@bobich.net</a>&gt;</span><div>
<div></div><div class="Wj3C7c"><br>
<blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex"><div>Dan Parsons wrote:<br>
<blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">
I&#39;m having an issue with glusterfs exceeding its cache-size value. Right now I have it set to 4000MB and I&#39;ve seen it climb as high as 4800MB. If I set it to 5000, I&#39;ve seen it go as high as 6000MB. This is a problem because it causes me to set the value very low so that my apps don&#39;t get pushed into swap. Is there any way to fix this? To get it to stick to the limit I set and not exceed?<br>


</blockquote>
<br></div>
It&#39;s possible you are running into the same memory leak that I&#39;m seeing, and I&#39;m not using io-cache or any other performance translators at all. With rootfs on Gluster, doing a kernel compile (kernel source tree being on NFS, so this won&#39;t be contributing to the bloat, hopefully) makes the glusterfsd bloat by about 80MB per pass, and never frees it.<br>


<br>
Gordan<br>
<br>
<br>
_______________________________________________<br>
Gluster-devel mailing list<br>
<a href="mailto:Gluster-devel@nongnu.org" target="_blank">Gluster-devel@nongnu.org</a><br>
<a href="http://lists.nongnu.org/mailman/listinfo/gluster-devel" target="_blank">http://lists.nongnu.org/mailman/listinfo/gluster-devel</a><br>
</blockquote></div></div></div><font color="#888888"><br><br clear="all"><br>-- <br>Amar Tumballi<br>Gluster/GlusterFS Hacker<br>[bulde on #gluster/<a href="http://irc.gnu.org" target="_blank">irc.gnu.org</a>]<br><a href="http://www.zresearch.com" target="_blank">http://www.zresearch.com</a> - Commoditizing Super Storage!<br>


</font><br>_______________________________________________<br>
Gluster-devel mailing list<br>
<a href="mailto:Gluster-devel@nongnu.org">Gluster-devel@nongnu.org</a><br>
<a href="http://lists.nongnu.org/mailman/listinfo/gluster-devel" target="_blank">http://lists.nongnu.org/mailman/listinfo/gluster-devel</a><br>
<br></blockquote></div><br></div></div>