Hi Jürgen,<div><br></div><div>Thanks for your advice. I&#39;ll setup some vms later and give this a try.</div><div><br></div><div>On my prod boxes I&#39;ve compiled and installed 3.0.8 this morning as had used 3.0.x previously without issue.</div>
<div><br></div><div>Using glusterfs-volgen based configuration it&#39;s up and running nicely without any problems.</div><div><br></div><div>Cheers,</div><div>Phil.</div><div><br><div class="gmail_quote">On 7 September 2011 11:31, Jürgen Winkler <span dir="ltr">&lt;<a href="mailto:juergen.winkler@xidras.com">juergen.winkler@xidras.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hi Phil,<br>
<br>
we´d the same Problem, try to compile with debug options.<br>
Yes this sounds strange but it help´s when u are using SLES, the glusterd works ok and u can start to work with it.<br>
<br>
just put<br>
<br>
exportCFLAGS=&#39;-g3 -O0&#39;<br>
<br>
between %build and %configure in the glusterfs spec file.<br>
<br>
<br>
<br>
But be warned don´t use it with important data especially when u are planing to use the replication feature, this will cause in data loss  sooner or later.<br>
<br>
Cheers !<br>
<br>
<br>
<br>
<br>
<br>
Am 07.09.2011 11:21, schrieb <a href="mailto:gluster-users-request@gluster.org" target="_blank">gluster-users-request@gluster.<u></u>org</a>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Send Gluster-users mailing list submissions to<br>
        <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
<br>
To subscribe or unsubscribe via the World Wide Web, visit<br>
        <a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/<u></u>mailman/listinfo/gluster-users</a><br>
or, via email, send a message with subject or body &#39;help&#39; to<br>
        <a href="mailto:gluster-users-request@gluster.org" target="_blank">gluster-users-request@gluster.<u></u>org</a><br>
<br>
You can reach the person managing the list at<br>
        <a href="mailto:gluster-users-owner@gluster.org" target="_blank">gluster-users-owner@gluster.<u></u>org</a><br>
<br>
When replying, please edit your Subject line so it is more specific<br>
than &quot;Re: Contents of Gluster-users digest...&quot;<br>
<br>
<br>
Today&#39;s Topics:<br>
<br>
    1. Re: Reading directly from brick (Reinis Rozitis)<br>
    2. Re: NFS secondary groups not working. (Di Pe)<br>
    3. Inconsistent md5sum of replicated file (Anthony Delviscio)<br>
    4. Re: Inconsistent md5sum of replicated file (Pranith Kumar K)<br>
    5. Problems with SLES 11 (Phil Bayfield)<br>
<br>
<br>
------------------------------<u></u>------------------------------<u></u>----------<br>
<br>
Message: 1<br>
Date: Tue, 6 Sep 2011 23:24:24 +0300<br>
From: &quot;Reinis Rozitis&quot;&lt;<a href="mailto:r@roze.lv" target="_blank">r@roze.lv</a>&gt;<br>
Subject: Re: [Gluster-users] Reading directly from brick<br>
To:&lt;<a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a>&gt;<br>
Message-ID:&lt;<u></u>F7DAC991835C44889BCDB281F977B6<u></u>92@NeiRoze&gt;<br>
Content-Type: text/plain; format=flowed; charset=&quot;utf-8&quot;;<br>
        reply-type=original<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Simple answer - no, it&#39;s not ever safe to do writes to an active Gluster<br>
backend.<br>
</blockquote>
Question was about reads though and then the answer is it is perfectly fine<br>
(and faster) to do reads directly from the filesystem (in replicated setups)<br>
if you keep in mind that by doing so you lose the Glusters autoheal<br>
eature  - eg if one of the gluster nodes goes down and there is a file<br>
written meanwhile when the server comes up if you access the file directly<br>
it won&#39;t show up while it would when accessing it via the gluster mount<br>
point (you can work arround it by manually triggering the self heal).<br>
<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I&#39;ve heard that reads from glusterfs are around 20 times slower than from<br>
ext3:<br>
</blockquote>
&quot;20 times&quot; might be fetched out of thin air but of course there is a<br>
significant overhead of serving a file from a gluster which basically<br>
involves network operations and additional meta data checks versus fetching<br>
the file directly from iron.<br>
<br>
<br>
rr<br>
<br>
<br>
<br>
------------------------------<br>
<br>
Message: 2<br>
Date: Tue, 6 Sep 2011 14:46:28 -0700<br>
From: Di Pe&lt;<a href="mailto:dipeit@gmail.com" target="_blank">dipeit@gmail.com</a>&gt;<br>
Subject: Re: [Gluster-users] NFS secondary groups not working.<br>
To: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
Message-ID:<br>
        &lt;<a href="mailto:CAB9T%2Bo%2BfAb%2BYasVxMsUsVmMw0Scp3BLSqc0Y_grusRmV11qejg@mail.gmail.com" target="_blank">CAB9T+o+fAb+<u></u>YasVxMsUsVmMw0Scp3BLSqc0Y_<u></u>grusRmV11qejg@mail.gmail.com</a>&gt;<br>
Content-Type: text/plain; charset=ISO-8859-1<br>
<br>
Anand, has this issue been confirmed by gluster and is it in the pipe<br>
to get fixed or do you need .additional information? We are no gluster<br>
experts but are happy to help if we know who to provide additional<br>
debugging info.<br>
<br>
On Mon, Aug 29, 2011 at 9:44 AM, Mike Hanby&lt;<a href="mailto:mhanby@uab.edu" target="_blank">mhanby@uab.edu</a>&gt;  wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I just noticed the problem happening on one client in our environment (clients and servers running 3.2.2), other clients work fine.<br>
<br>
The clients and servers are all CentOS 5.6 x86_64<br>
<br>
I get the same permission denied using Gluster FUSE and Gluster NFS mounts on this client.<br>
<br>
I&#39;m not mounting it with ACL.<br>
<br>
The volume is a simple distributed volume with two servers.<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
-----Original Message-----<br>
From: <a href="mailto:gluster-users-bounces@gluster.org" target="_blank">gluster-users-bounces@gluster.<u></u>org</a> [mailto:<a href="mailto:gluster-users-" target="_blank">gluster-users-</a><br>
<a href="mailto:bounces@gluster.org" target="_blank">bounces@gluster.org</a>] On Behalf Of Hubert-Jan Schaminee<br>
Sent: Saturday, August 27, 2011 10:10 AM<br>
To: Anand Avati<br>
Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
Subject: Re: [Gluster-users] NFS secondary groups not working.<br>
<br>
Op zaterdag 13-08-2011 om 20:22 uur [tijdzone +0530], schreef Anand<br>
Avati:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
On Sat, Aug 13, 2011 at 5:29 PM, Dipeit&lt;<a href="mailto:dipeit@gmail.com" target="_blank">dipeit@gmail.com</a>&gt;  wrote:<br>
? ? ? ? We noticed this bug too using the gluster client. I&#39;m<br>
? ? ? ? surprised that not more people noticed this lack of posix<br>
? ? ? ? compliance. This makes gluster really unusable in multiuser<br>
? ? ? ? environments. Is that because gluster is mostly used in large<br>
? ? ? ? web farms like pandora?<br>
<br>
<br>
<br>
<br>
<br>
GlusterFS is POSIX compliant w.r.t user groups. We have not seen this<br>
issue in our testing. Can you give more info about your setup? Have<br>
you mounted with -o acl or without? Anything unusual in the logs?<br>
<br>
<br>
Avati<br>
</blockquote>
I&#39;m having the same problem here.<br>
<br>
I use the latest version (3.2.3 build on Aug 23 2011 19:54:51 of the<br>
download site) on a Centos 5.6 as a gluster servers, Debian squeeze<br>
(same version) as client.<br>
I&#39;m refused access to files and directories despite having correct<br>
group permissions.<br>
<br>
So I installed a clean Centos client (also latest version) for a test<br>
and everything is working perfectly .... ?<br>
<br>
The used Debian (squeeze) and Centos are 64 bits (repository from<br>
<a href="http://gluster.com" target="_blank">gluster.com</a>).<br>
Using Debian testing (64 and 32 bits) and gluster from the Debian<br>
repository also denies me access in 64 and 32 bits version.<br>
<br>
I assume the mixed environment explains why this bug is rare.<br>
<br>
The used gluster installation is a basic replicated setup one with two<br>
servers like described in the de Gluster docs.<br>
<br>
<br>
Hubert-Jan Schamin?e<br>
<br>
<br>
<br>
<br>
<br>
<br>
______________________________<u></u>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/<u></u>mailman/listinfo/gluster-users</a><br>
</blockquote>
______________________________<u></u>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/<u></u>mailman/listinfo/gluster-users</a><br>
<br>
</blockquote>
<br>
------------------------------<br>
<br>
Message: 3<br>
Date: Tue, 6 Sep 2011 18:52:52 -0400<br>
From: Anthony Delviscio&lt;<a href="mailto:adelviscio@gmail.com" target="_blank">adelviscio@gmail.com</a><u></u>&gt;<br>
Subject: [Gluster-users] Inconsistent md5sum of replicated file<br>
To: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
Message-ID:<br>
        &lt;<a href="mailto:CAKE0inQy3Tjf3TB11kc%2BF_F-P7kN2CJ%2BeG%2B2FaRUxOe4tnzgwQ@mail.gmail.com" target="_blank">CAKE0inQy3Tjf3TB11kc+F_F-<u></u>P7kN2CJ+eG+2FaRUxOe4tnzgwQ@<u></u>mail.gmail.com</a>&gt;<br>
Content-Type: text/plain; charset=&quot;windows-1252&quot;<br>
<br>
I was wondering if anyone would be able to shed some light on how a file<br>
could end up with inconsistent md5sums on Gluster backend storage.<br>
<br>
<br>
<br>
Our configuration is running on Gluster v3.1.5 in a distribute-replicate<br>
setup consisting of 8 bricks.<br>
<br>
Our OS is Red Hat 5.6 x86_64.  Backend storage is an ext3 RAID 5.<br>
<br>
<br>
<br>
The 8 bricks are in RR DNS and are mounted for reading/writing via NFS<br>
automounts.<br>
<br>
<br>
<br>
When comparing md5sums of the file from two different NFS clients, they were<br>
different.<br>
<br>
<br>
<br>
The extended attributes of the files on backend storage are identical.  The<br>
file size and permissions are identical.  The stat data (excluding inode on<br>
backend storage file system) is identical.<br>
<br>
However, running md5sum on the two files, results in two different md5sums.<br>
<br>
<br>
<br>
Copying both files to another location/server and running the md5sum also<br>
results in no change ? they?re still different.<br>
<br>
<br>
<br>
Gluster logs do not show anything related to the filename in question.<br>
  Triggering<br>
a self-healing operation didn?t seem to do anything and it may have to do<br>
with the fact that the extended attributes are identical.<br>
<br>
<br>
<br>
If more information is required, let me know and I will try to accommodate.<br>
<br>
<br>
Thank you<br>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL:&lt;<a href="http://gluster.org/pipermail/gluster-users/attachments/20110906/4628faa2/attachment-0001.htm" target="_blank">http://gluster.org/<u></u>pipermail/gluster-users/<u></u>attachments/20110906/4628faa2/<u></u>attachment-0001.htm</a>&gt;<br>

<br>
------------------------------<br>
<br>
Message: 4<br>
Date: Wed, 7 Sep 2011 14:13:56 +0530<br>
From: Pranith Kumar K&lt;<a href="mailto:pranithk@gluster.com" target="_blank">pranithk@gluster.com</a>&gt;<br>
Subject: Re: [Gluster-users] Inconsistent md5sum of replicated file<br>
To: Anthony Delviscio&lt;<a href="mailto:adelviscio@gmail.com" target="_blank">adelviscio@gmail.com</a><u></u>&gt;<br>
Cc: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
Message-ID:&lt;<a href="mailto:4E672ECC.7050703@gluster.com" target="_blank">4E672ECC.7050703@<u></u>gluster.com</a>&gt;<br>
Content-Type: text/plain; charset=&quot;windows-1252&quot;; Format=&quot;flowed&quot;<br>
<br>
hi Anthony,<br>
        Could you send the output of the getfattr -d -m . -e hex<br>
&lt;filepath&gt;  on both the bricks and also the stat output on the both the<br>
backends. Give the outputs for its parent directory also.<br>
<br>
Pranith.<br>
<br>
On 09/07/2011 04:22 AM, Anthony Delviscio wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I was wondering if anyone would be able to shed some light on how a<br>
file could end up with inconsistent md5sums on Gluster backend storage.<br>
<br>
Our configuration is running on Gluster v3.1.5 in a<br>
distribute-replicate setup consisting of 8 bricks.<br>
<br>
Our OS is Red Hat 5.6 x86_64.Backend storage is an ext3 RAID 5.<br>
<br>
The 8 bricks are in RR DNS and are mounted for reading/writing via NFS<br>
automounts.<br>
<br>
When comparing md5sums of the file from two different NFS clients,<br>
they were different.<br>
<br>
The extended attributes of the files on backend storage are<br>
identical.The file size and permissions are identical.The stat data<br>
(excluding inode on backend storage file system) is identical.<br>
<br>
However, running md5sum on the two files, results in two different<br>
md5sums.<br>
<br>
Copying both files to another location/server and running the md5sum<br>
also results in no change ? they?re still different.<br>
<br>
Gluster logs do not show anything related to the filename in<br>
question.Triggering a self-healing operation didn?t seem to do<br>
anything and it may have to do with the fact that the extended<br>
attributes are identical.<br>
<br>
If more information is required, let me know and I will try to<br>
accommodate.<br>
<br>
Thank you<br>
<br>
<br>
______________________________<u></u>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/<u></u>mailman/listinfo/gluster-users</a><br>
</blockquote>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL:&lt;<a href="http://gluster.org/pipermail/gluster-users/attachments/20110907/86d14cab/attachment-0001.htm" target="_blank">http://gluster.org/<u></u>pipermail/gluster-users/<u></u>attachments/20110907/86d14cab/<u></u>attachment-0001.htm</a>&gt;<br>

<br>
------------------------------<br>
<br>
Message: 5<br>
Date: Wed, 7 Sep 2011 10:15:43 +0100<br>
From: Phil Bayfield&lt;<a href="mailto:phil@techlightenment.com" target="_blank">phil@techlightenment.<u></u>com</a>&gt;<br>
Subject: [Gluster-users] Problems with SLES 11<br>
To: <a href="mailto:gluster-users@gluster.org" target="_blank">gluster-users@gluster.org</a><br>
Message-ID:<br>
        &lt;<a href="mailto:CAFXH-fW0DBE9YomJzAtvdFAWaf5Zpq-TfbfTPb%2BK7gBu-R%2B06Q@mail.gmail.com" target="_blank">CAFXH-<u></u>fW0DBE9YomJzAtvdFAWaf5Zpq-<u></u>TfbfTPb+K7gBu-R+06Q@mail.<u></u>gmail.com</a>&gt;<br>
Content-Type: text/plain; charset=&quot;iso-8859-1&quot;<br>
<br>
Hi there,<br>
<br>
I compiled and installed the latest version of Gluster on a couple of SLES<br>
11 SP1 boxes, everything up to this point seemed ok.<br>
<br>
I start the daemon on both boxes, and both are listening on 24007.<br>
<br>
I issue a &quot;gluster peer probe&quot;  command on one of the boxes and the daemon<br>
instantly dies, I restart it and it shows:<br>
<br>
# gluster peer status<br>
Number of Peers: 1<br>
<br>
Hostname: mckalcpap02<br>
Uuid: 00000000-0000-0000-0000-<u></u>000000000000<br>
State: Establishing Connection (Connected)<br>
<br>
I attempted to run the probe on the other box, the daemon crashes, now as I<br>
start the daemon on each box the daemon just crashes on the other box.<br>
<br>
The log output immediately prior to the crash is as follows:<br>
<br>
[2011-06-07 08:05:10.700710] I<br>
[glusterd-handler.c:623:<u></u>glusterd_handle_cli_probe] 0-glusterd: Received CLI<br>
probe req mckalcpap02 24007<br>
[2011-06-07 08:05:10.701058] I [glusterd-handler.c:391:<u></u>glusterd_friend_find]<br>
0-glusterd: Unable to find hostname: mckalcpap02<br>
[2011-06-07 08:05:10.701086] I<br>
[glusterd-handler.c:3422:<u></u>glusterd_probe_begin] 0-glusterd: Unable to find<br>
peerinfo for host: mckalcpap02 (24007)<br>
[2011-06-07 08:05:10.702832] I [glusterd-handler.c:3404:<u></u>glusterd_friend_add]<br>
0-glusterd: connect returned 0<br>
[2011-06-07 08:05:10.703110] I<br>
[glusterd-handshake.c:317:<u></u>glusterd_set_clnt_mgmt_<u></u>program] 0-: Using Program<br>
glusterd clnt mgmt, Num (1238433), Version (1)<br>
<br>
If I use the IP address the same thing happens:<br>
<br>
[2011-06-07 08:07:12.873075] I<br>
[glusterd-handler.c:623:<u></u>glusterd_handle_cli_probe] 0-glusterd: Received CLI<br>
probe req 10.9.54.2 24007<br>
[2011-06-07 08:07:12.873410] I [glusterd-handler.c:391:<u></u>glusterd_friend_find]<br>
0-glusterd: Unable to find hostname: 10.9.54.2<br>
[2011-06-07 08:07:12.873438] I<br>
[glusterd-handler.c:3422:<u></u>glusterd_probe_begin] 0-glusterd: Unable to find<br>
peerinfo for host: 10.9.54.2 (24007)<br>
[2011-06-07 08:07:12.875046] I [glusterd-handler.c:3404:<u></u>glusterd_friend_add]<br>
0-glusterd: connect returned 0<br>
[2011-06-07 08:07:12.875280] I<br>
[glusterd-handshake.c:317:<u></u>glusterd_set_clnt_mgmt_<u></u>program] 0-: Using Program<br>
glusterd clnt mgmt, Num (1238433), Version (1)<br>
<br>
There is no firewall issue:<br>
<br>
# telnet mckalcpap02 24007<br>
Trying 10.9.54.2...<br>
Connected to mckalcpap02.<br>
Escape character is &#39;^]&#39;.<br>
<br>
Following restart (which crashes the other node) the log output is as<br>
follows:<br>
<br>
[2011-06-07 08:10:09.616486] I [glusterd.c:564:init] 0-management: Using<br>
/etc/glusterd as working directory<br>
[2011-06-07 08:10:09.617619] C [rdma.c:3933:rdma_init] 0-rpc-transport/rdma:<br>
Failed to get IB devices<br>
[2011-06-07 08:10:09.617676] E [rdma.c:4812:init] 0-rdma.management: Failed<br>
to initialize IB Device<br>
[2011-06-07 08:10:09.617700] E [rpc-transport.c:741:rpc_<u></u>transport_load]<br>
0-rpc-transport: &#39;rdma&#39; initialization failed<br>
[2011-06-07 08:10:09.617724] W [rpcsvc.c:1288:rpcsvc_<u></u>transport_create]<br>
0-rpc-service: cannot create listener, initing the transport failed<br>
[2011-06-07 08:10:09.617830] I [glusterd.c:88:glusterd_uuid_<u></u>init]<br>
0-glusterd: retrieved UUID: 1e344f5d-6904-4d14-9be2-<u></u>8f0f44b97dd7<br>
[2011-06-07 08:10:11.258098] I [glusterd-handler.c:3404:<u></u>glusterd_friend_add]<br>
0-glusterd: connect returned 0<br>
Given volfile:<br>
+-----------------------------<u></u>------------------------------<u></u>-------------------+<br>
   1: volume management<br>
   2:     type mgmt/glusterd<br>
   3:     option working-directory /etc/glusterd<br>
   4:     option transport-type socket,rdma<br>
   5:     option transport.socket.keepalive-<u></u>time 10<br>
   6:     option transport.socket.keepalive-<u></u>interval 2<br>
   7: end-volume<br>
   8:<br>
<br>
+-----------------------------<u></u>------------------------------<u></u>-------------------+<br>
[2011-06-07 08:10:11.258431] I<br>
[glusterd-handshake.c:317:<u></u>glusterd_set_clnt_mgmt_<u></u>program] 0-: Using Program<br>
glusterd clnt mgmt, Num (1238433), Version (1)<br>
[2011-06-07 08:10:11.280533] W [socket.c:1494:__socket_proto_<u></u>state_machine]<br>
0-socket.management: reading from socket failed. Error (Transport endpoint<br>
is not connected), peer (<a href="http://10.9.54.2:1023" target="_blank">10.9.54.2:1023</a>)<br>
[2011-06-07 08:10:11.280595] W [socket.c:1494:__socket_proto_<u></u>state_machine]<br>
0-management: reading from socket failed. Error (Transport endpoint is not<br>
connected), peer (<a href="http://10.9.54.2:24007" target="_blank">10.9.54.2:24007</a>)<br>
[2011-06-07 08:10:17.256235] E [socket.c:1685:socket_connect_<u></u>finish]<br>
0-management: connection to <a href="http://10.9.54.2:24007" target="_blank">10.9.54.2:24007</a> failed (Connection refused)<br>
<br>
There are no logs on the node which crashes.<br>
<br>
I&#39;ve tried various possibly solutions from searching the net but got getting<br>
anywhere, can anyone advise how to proceed?<br>
<br>
Thanks,<br>
Phil.<br>
<br>
</blockquote>
<br>
______________________________<u></u>_________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a><br>
<a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/<u></u>mailman/listinfo/gluster-users</a><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br>Phil Bayfield<br>Development Manager<br>Alchemy Social, part of Techlightenment, an Experian company<br><br>Office 202 | 89 Worship Street | London | <span style="font-family:arial, sans-serif;font-size:13px;background-color:rgb(255, 255, 255)">EC2A 2BF</span><br>
<div><br></div><div>t:   +44 (0) <span style="font-family:arial, helvetica, sans-serif;background-color:rgb(255, 255, 255)">207 392 2618</span><br>m: +44 (0) 7825 561 091<br>e:  <a href="mailto:phil@techlightenment.com" target="_blank">phil@techlightenment.com</a><div>
<a href="mailto:phil@techlightenment.com" target="_blank"></a>skype: <a href="http://phil.tl" target="_blank">phil.tl</a></div><div><br><a href="http://www.techlightenment.com" target="_blank">www.techlightenment.com<br></a></div>
</div><br>
</div>