<p>Hi Lars.</p>
<p>Thanks, I will get signed up for that list and resubmit.</p>
<p>Lars.</p>
<div class="gmail_quote">On Dec 23, 2010 5:03 PM, "Lars Engels" <<a href="mailto:lars.engels@0x20.net">lars.engels@0x20.net</a>> wrote:<br type="attribution">> On Thu, Dec 23, 2010 at 11:30:25AM -0500, Lars R. Noldan wrote:<br>
>> On Dec.23 I shared the following the Dru in #PCBSD.  It was written by <br>>> my co-worker on Oct.10.  She requested that he post it here.  Since I <br>>> follow this list, and he doesn't I am going to post it here for him.<br>
>> <br>>> Thanks.<br>>> Lars<br>>> <br>>> FreeBSD needs work<br>>> last modified on 2010-10-10 at 19:33 - keywords: freebsd zfs iscsi whining<br>>> <br>>> Warning: This is not a post whining about Adobe Flash or how hard it is <br>
>> to get my playstation controller to work in Quake.<br>>> <br>>> This is, instead, a post whining about how hard it is to use ZFS and <br>>> iSCSI on FreeBSD. Recently I was tasked with building some <br>
>> storage-related projects. The tools of choice involved FreeBSD sitting <br>>> on some hardware with a large collection of high-volume drives. These <br>>> drives were presented JBOD-style to the host OS, and a couple of them <br>
>> were SSDs. The idea was to make one massive raidz2 zpool with a mirrored <br>>> ZIL on the SSDs. Then we could spin off zvols and pitch them via iSCSI <br>>> to our application and database servers.<br>
>> <br>>> Sound simple? It isn't. To get it working, we had to switch to <br>>> OpenSolaris. Which is a bit of a damn problem.<br>>> <br>>> There were two really bad problems in FreeBSD that prevented us from <br>
>> deploying our OS of choice to these systems.<br>>> <br>>> Problem the first:<br>>> ZFS on FreeBSD (at zpool version 13 as of this project) is only like 80% <br>>> there. What I mean by that is ZFS is friggin fantastic for your massive <br>
>> desktop nerdmachine, or your creepy 8TB basement "media archive", or any <br>>> other low-traffic consumer-grade project you might want to undertake. <br>>> But when you start putting some load on it...<br>
>> <br>>> The biggest problem I had seemed to be caused by multiple read <br>>> operations during snapshot creation. If you took a snapshot while lots <br>>> of iSCSI (or NFS) (or local) access is going on, the zfs process gets <br>
>> stuck with a wait state. What it boils down to is that you have to be <br>>> super careful to disable access while you're creating (or, in bad cases, <br>>> sending) snapshots off -- which completely wrecks the point of the damn <br>
>> snapshot functionality.<br>>> <br>>> Oh, and it would crash BSD too. Sometimes it would just eat all the RAM <br>>> and the machine would fall down.<br>>> <br>>> Problem the second:<br>
>> iSCSI support in FreeBSD is abominable. I'm given to understand this is <br>>> because the main iSCSI dev in FreeBSD-land is possessed of insufficient <br>>> hardware to model high-performance workloads. If that's the case, we <br>
>> need to get that man some damn hardware. Or convince Covad to update <br>>> their AoE stuff, since AoE is nicer anyway.<br>>> <br>>> If the iSCSI traffic crossed subnets, performance would tank. If the <br>
>> iSCSI targets were accessed from a non-FreeBSD initiator, performance <br>>> would tank. If a FreeBSD initiator accesses a non-FreeBSD target, <br>>> performance tanks. Are you seeing a pattern here? Best-practices <br>
>> objections aside, it's clear that the dev has a handful of machines on a <br>>> dumb switch, and that's the test platform. As soon as you instantiate <br>>> some sophistication, the whole thing falls down. Again.<br>
>> How do we fix this?<br>>> <br>>> I suppose I could devote some time to mastering the implementation <br>>> details of iSCSI and ZFS, then fix the stuff myself. That's not really <br>>> the best use of my time, however, and I'm not in a position to get paid <br>
>> to do that sort of thing. But there are a few things anyone (myself <br>>> included) can do:<br>>> test.<br>>> <br>>>   * report bugs.<br>>>   * provide stack traces and failure scenarios.<br>
>>   * whine constantly.<br>>>   * provide testing hardware.<br>>> <br>>> All of these are helpful, especially the constant whining. The problem <br>>> needs to be front-and-center, or it'll get de-prioritized in favor of <br>
>> other (and in my opinion) less important problems. I don't give a crap <br>>> that your video card doesn't push hard enough to run EVE in FreeBSD. I <br>>> want the ZFS functionality that now only FreeBSD actively provides, and <br>
>> I want the iSCSI functionality ZFS was designed to enable.<br>>> <br>> <br>>> _______________________________________________<br>>> Testing mailing list<br>>> <a href="mailto:Testing@lists.pcbsd.org">Testing@lists.pcbsd.org</a><br>
>> <a href="http://lists.pcbsd.org/mailman/listinfo/testing">http://lists.pcbsd.org/mailman/listinfo/testing</a><br>> <br>> <br>> Hi Lars,<br>> <br>> I think that the PCBSD Testing mailing list might be the wrong list for<br>
> this problem.<br>> Please send this issue to <a href="mailto:freebsd-fs@freebsd.org">freebsd-fs@freebsd.org</a> <br>> <br>> Cheers<br>> <br>> Lars<br></div>