<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><!--ppd1000033--><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>I second Paul&#8217;s remarks, and am much heartened by this report.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>I have noticed that the Gluster dev and support folks have definitely increased their responsiveness and depth of their answers.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Much appreciated &#8211; keep up the good work!<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Arial","sans-serif";color:#003D79'>James Burnash<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Arial","sans-serif";color:#003D79'>Unix Engineer<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:8.0pt;font-family:"Arial","sans-serif";color:#003D79'>Knight Capital Group<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> gluster-users-bounces@gluster.org [mailto:gluster-users-bounces@gluster.org] <b>On Behalf Of </b>paul simpson<br><b>Sent:</b> Thursday, June 16, 2011 6:29 AM<br><b>To:</b> vs@gluster.com<br><b>Cc:</b> gluster-users@gluster.org<br><b>Subject:</b> Re: [Gluster-users] Fwd: Re: Inputs requested on 3.2.0<o:p></o:p></span></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>hi vidya,<o:p></o:p></p><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>thanks very much for this very comprehensive summary. &nbsp;it's most reassuring to read - this is&nbsp;exactly&nbsp;what the community needs. &nbsp;looking forward to further reports and releases...<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>regards,<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>paul<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'><o:p>&nbsp;</o:p></p><div><p class=MsoNormal>On 15 June 2011 14:57, Vidya Sakar &lt;<a href="mailto:vs@gluster.com">vs@gluster.com</a>&gt; wrote:<o:p></o:p></p><div><p style='margin-bottom:0in;margin-bottom:.0001pt'>Hi all,<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>A couple of weeks back I had sought inputs from you all on 3.2.0 and I had committed to revert back with an action plan to address all concerns/suggestions.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>As you would have noticed, 3.2.1 was released a few days ago - already addressing some of your concerns. Please keep the feedback coming, inputs from the community are very important to us. Please find below responses to each of your concerns / suggestions :<o:p></o:p></p><p class=MsoNormal><b><br>1) Stability : </b>(Paul simpson, James Burnash, Mohit Anchlia) <o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>This is of utmost importance to us. We are investing more in QA engineers, QA lead and also in engineers who will dedicatedly work only on bug fixes. We are refining our development processes focusing more on quality and stability. We are increasing the test coverage and automating the tests along with more investments in lab infrastructure.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'><b>2) Better way to handle errors and failures, better troubleshooting tools : </b>(James Burnash, Whit Blauvelt)<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>The scale of the number of components and systems involved increases the need for better troubleshooting tools and better handling of errors and failures. The recently introduced top/profile is a step in this direction to build diagnosability in to the product. There was also an effort on improving log messages in all modules &#8211; to make them more meaningful, prioritizing them appropriately, introducing new logs where necessary and things like that. The recently completed enhancements around logging in 3.2.0 is only the first of a multi-phase effort to improve logging and make the user experience much better.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'><b>3) Better documentation :</b> (Udo Waechter, Christian Kauhaus)<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>We are revamping the documentation and we should soon have more content in existing sections and we will also have new content &#8211; things like troubleshooting section, performance tuning section, best practices section are all in the pipeline. The format of documentation is also due for a change shortly.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'><b>4) Posix compatibility :</b> (Paul simpson, Udo Waechter)<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>We are fully committed to POSIX compatibility. Scenarios where it is not compatible if any would be high priority bugs for us.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'><b>5) Better self-heal / reporting on which files are not replicated :</b> (Paul simpson, Whit Blauvelt)<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>This is already in our roadmap for 3.3. It is actively being worked on and we can soon expect improvements in this area.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'><b>6) NFS nlm locking :</b> (Paul simpson)<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>We do realize the need for NLM, I will get back to you all shortly on what our plan on NLM is going to be.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'><b>7) Ability to list config settings (including default) / Performance settings and benchmarks : </b>(Mike Hanby, Udo Waechter)<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><div><p class=MsoNormal>The list of defaults is given in this blog post :&nbsp;<a href="http://sacurs.blogspot.com/2011/05/glusterfs-defaults.html" target="_blank">http://sacurs.blogspot.com/2011/05/glusterfs-defaults.html</a><o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>And we also have a bug for this : <a href="http://bugs.gluster.com/cgi-bin/bugzilla3/show_bug.cgi?id=2041" target="_blank">http://bugs.gluster.com/cgi-bin/bugzilla3/show_bug.cgi?id=2041</a><o:p></o:p></p></div><p class=MsoNormal><b><br>8) Bugs : </b>(Mohit Anchlia, Udo Waechter) <o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>1) gfid mismatch issue : Is this bug 2522? Please let me know if you are referring to something else <o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>2) 0 byte file size :&nbsp;Bug 2922, we are working on it<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>3) Multiple files of same name showing up on the clent side : This problem too will get addressed as part of fixing 2522.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>4) client hangs and crash : There are some related bugs which we fixed in 3.2.1, if this issue still persists, we are committed to fix the remaining issues.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>5) xattr mismatch on gluster mount points causing split brain errors : This issue too is fixed in 3.2.1.<o:p></o:p></p><p style='margin-bottom:0in;margin-bottom:.0001pt'>6) non-root owned files not shown : Bug 3030 has been filed to track this.<o:p></o:p></p><p class=MsoNormal><br>Thanks,<br>VS<br><br><o:p></o:p></p><pre>-- <o:p></o:p></pre><pre>Vidya Sakar N<o:p></o:p></pre><pre>Senior Engineering Manager<o:p></o:p></pre><pre>Gluster Software India (P) Ltd<o:p></o:p></pre><pre>Bangalore<o:p></o:p></pre><p class=MsoNormal><br>-------- Original Message -------- <o:p></o:p></p><table class=MsoNormalTable border=0 cellspacing=0 cellpadding=0><tr><td nowrap valign=top style='padding:0in 0in 0in 0in'><p class=MsoNormal align=right style='text-align:right'><b>Subject: <o:p></o:p></b></p></td><td style='padding:0in 0in 0in 0in'><p class=MsoNormal>Re: [Gluster-users] Inputs requested on 3.2.0<o:p></o:p></p></td></tr><tr><td nowrap valign=top style='padding:0in 0in 0in 0in'><p class=MsoNormal align=right style='text-align:right'><b>Date: <o:p></o:p></b></p></td><td style='padding:0in 0in 0in 0in'><p class=MsoNormal>Thu, 26 May 2011 20:38:30 +0530<o:p></o:p></p></td></tr><tr><td nowrap valign=top style='padding:0in 0in 0in 0in'><p class=MsoNormal align=right style='text-align:right'><b>From: <o:p></o:p></b></p></td><td style='padding:0in 0in 0in 0in'><p class=MsoNormal>Vidya Sakar <a href="mailto:vs@gluster.com" target="_blank">&lt;vs@gluster.com&gt;</a><o:p></o:p></p></td></tr><tr><td nowrap valign=top style='padding:0in 0in 0in 0in'><p class=MsoNormal align=right style='text-align:right'><b>To: <o:p></o:p></b></p></td><td style='padding:0in 0in 0in 0in'><p class=MsoNormal><a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><o:p></o:p></p></td></tr></table><p class=MsoNormal style='margin-bottom:12.0pt'><o:p>&nbsp;</o:p></p><pre>Thanks to everyone for all the inputs. I will get back with responses to <o:p></o:p></pre><pre>each of your suggestions shortly.<o:p></o:p></pre><pre><o:p>&nbsp;</o:p></pre><pre>Thanks,<o:p></o:p></pre><pre>VS<o:p></o:p></pre><pre><o:p>&nbsp;</o:p></pre><pre>-- <o:p></o:p></pre><pre>Vidya Sakar N<o:p></o:p></pre><pre>Senior Engineering Manager<o:p></o:p></pre><pre>Gluster Software India (P) Ltd<o:p></o:p></pre><pre>Bangalore<o:p></o:p></pre><pre><o:p>&nbsp;</o:p></pre><pre><o:p>&nbsp;</o:p></pre><pre>On Wednesday 25 May 2011 10:54 PM, Mohit Anchlia wrote:<o:p></o:p></pre><pre>&gt; Hi Vidya,<o:p></o:p></pre><pre>&gt;<o:p>&nbsp;</o:p></pre><pre>&gt; Thanks for asking. I think it will be worthwhile to look at the<o:p></o:p></pre><pre>&gt; archives and mailing list to see what other people have reported for<o:p></o:p></pre><pre>&gt; 3.2. Few people already downgraded so not sure if they filed a bug.<o:p></o:p></pre><pre>&gt; But things that I have heard here:<o:p></o:p></pre><pre>&gt;<o:p>&nbsp;</o:p></pre><pre>&gt; 1) gfid mismatch issue. Bug was filed<o:p></o:p></pre><pre>&gt; 2) 0 byte file size. Bug was filed<o:p></o:p></pre><pre>&gt; 3) Multiple files of same name showing up on the clent side<o:p></o:p></pre><pre>&gt; 4) client hangs and crash<o:p></o:p></pre><pre>&gt; 5) xattr mismatch on gluster mount points causing split brain errors.<o:p></o:p></pre><pre>&gt; Bug was filed<o:p></o:p></pre><pre>&gt;<o:p>&nbsp;</o:p></pre><pre>&gt; I certainly want to use 3.2 for geo-rep feature but problems that I am<o:p></o:p></pre><pre>&gt; seeing that others have faced has put me back and waiting for 3.2 to<o:p></o:p></pre><pre>&gt; become more stable. It will be really good to make 3.2 really solid<o:p></o:p></pre><pre>&gt; and stable.<o:p></o:p></pre><pre>&gt;<o:p>&nbsp;</o:p></pre><pre>&gt; Thanks<o:p></o:p></pre><pre>&gt;<o:p>&nbsp;</o:p></pre><pre>&gt; On Wed, May 25, 2011 at 8:25 AM, Udo Waechter<o:p></o:p></pre><pre>&gt; <a href="mailto:udo.waechter@uni-osnabrueck.de" target="_blank">&lt;udo.waechter@uni-osnabrueck.de&gt;</a>  wrote:<o:p></o:p></pre><pre>&gt;    <o:p></o:p></pre><pre>&gt;&gt; Hi,<o:p></o:p></pre><pre>&gt;&gt; for us, gluster 3.2.0 really messed up everything in a distribute/replicate setup. Everything should be mentioned in this thread. <a href="http://gluster.org/pipermail/gluster-users/2011-May/007705.html" target="_blank">http://gluster.org/pipermail/gluster-users/2011-May/007705.html</a><o:p></o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt; The most important features for us would be:<o:p></o:p></pre><pre>&gt;&gt; 1. 100% posix compatibility (this is already mentioned as a feature in the FAQ!!!)<o:p></o:p></pre><pre>&gt;&gt; 2. Better documentation. All the options and their settings do not really explain what they do.<o:p></o:p></pre><pre>&gt;&gt;   I could guess that performance.cache-size somehow influences performance, but for us changing it to very high (4Gbs and more) and very low (128Mb) did not change a thing. Same for stat-prefetch (which is supposed to makels quickier) on/off: nothing. Would be nice to see some scenarios/settingsand their benchmarks.<o:p></o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt; Thanks for the effort,<o:p></o:p></pre><pre>&gt;&gt; udo.<o:p></o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt; On 24.05.2011, at 12:52, Vidya Sakar wrote:<o:p></o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;      <o:p></o:p></pre><pre>&gt;&gt;&gt; Hello all,<o:p></o:p></pre><pre>&gt;&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;&gt; We are planing a 3.2.1 release and we would like to hear from you all on the specific concerns you may have about 3.2.0 stability and any bugs that you are hitting in 3.2.0 (if they already have not been filed yet). Inputs on 3.1.x is welcome too, please be specific on the information you provide us. Community feedback is of paramount importance to us, please file bugsto help us address them soon.<o:p></o:p></pre><pre>&gt;&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;&gt; Thanks,<o:p></o:p></pre><pre>&gt;&gt;&gt; VS<o:p></o:p></pre><pre>&gt;&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;&gt; --<o:p></o:p></pre><pre>&gt;&gt;&gt; Vidya Sakar N<o:p></o:p></pre><pre>&gt;&gt;&gt; Senior Engineering Manager<o:p></o:p></pre><pre>&gt;&gt;&gt; Gluster Software India (P) Ltd<o:p></o:p></pre><pre>&gt;&gt;&gt; Bangalore<o:p></o:p></pre><pre>&gt;&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;&gt; _______________________________________________<o:p></o:p></pre><pre>&gt;&gt;&gt; Gluster-users mailing list<o:p></o:p></pre><pre>&gt;&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><o:p></o:p></pre><pre>&gt;&gt;&gt; <a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><o:p></o:p></pre><pre>&gt;&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;&gt;        <o:p></o:p></pre><pre>&gt;&gt; --<o:p></o:p></pre><pre>&gt;&gt; :: udo waechter - <a href="mailto:root@zoide.net" target="_blank">root@zoide.net</a> :: N 52º16'30.5&quot; E 8º3'10.1&quot;<o:p></o:p></pre><pre>&gt;&gt; :: genuine input for your ears: <a href="http://auriculabovinari.de" target="_blank">http://auriculabovinari.de</a><o:p></o:p></pre><pre>&gt;&gt; ::                          your eyes: <a href="http://ezag.zoide.net" target="_blank">http://ezag.zoide.net</a><o:p></o:p></pre><pre>&gt;&gt; ::                          your brain: <a href="http://zoide.net" target="_blank">http://zoide.net</a><o:p></o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt; _______________________________________________<o:p></o:p></pre><pre>&gt;&gt; Gluster-users mailing list<o:p></o:p></pre><pre>&gt;&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><o:p></o:p></pre><pre>&gt;&gt; <a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><o:p></o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;<o:p>&nbsp;</o:p></pre><pre>&gt;&gt;      <o:p></o:p></pre><pre>&gt; _______________________________________________<o:p></o:p></pre><pre>&gt; Gluster-users mailing list<o:p></o:p></pre><pre>&gt; <a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><o:p></o:p></pre><pre>&gt; <a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><o:p></o:p></pre><pre>&gt;    <o:p></o:p></pre><pre><o:p>&nbsp;</o:p></pre><pre><o:p>&nbsp;</o:p></pre><pre>_______________________________________________<o:p></o:p></pre><pre>Gluster-users mailing list<o:p></o:p></pre><pre><a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><o:p></o:p></pre><pre><a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><o:p></o:p></pre></div><p class=MsoNormal style='margin-bottom:12.0pt'><br>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br><a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><o:p></o:p></p></div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></div><br /><br />
<P><FONT color=navy><FONT size=1>DISCLAIMER:<BR>This e-mail, and any attachments 
thereto, is intended only for use by the addressee(s)named herein and<BR>may 
contain legally privileged and/or confidential information. If you are not the 
intended recipient of this<BR>e-mail, you are hereby notified that any 
dissemination, distribution or copying of this e-mail and any 
attachments</FONT><FONT color=navy><BR></FONT><FONT size=1>thereto, is strictly 
prohibited. If you have received this in error, please immediately notify me and 
permanently<BR>delete the original and any printout thereof.</FONT></FONT><FONT 
size=1> </FONT><FONT color=navy size=1>E-mail transmission cannot be guaranteed 
to be secure or error-free.<BR>The sender therefore does not accept liability 
for any errors or omissions in the contents of this message which<BR>arise as a 
result of e-mail transmission.<BR>NOTICE REGARDING PRIVACY AND 
CONFIDENTIALITY<BR>Knight Capital Group may, at its discretion, monitor and 
review the content of all e-mail communications.</FONT></P>
<P><A href="http://www.knight.com/"><FONT color=navy 
size=1>http://www.knight.com</FONT></A><BR></P>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</body></html>