<div dir="ltr">"Can you illustrate a specific case where ZFS on RAID5 will yield better performance than RAIDZ of same geometry, that is NOT dependent on ensuring good alignment as per what I described?"<div>Yeah, in the case where you are provided LUNs you don't control and can't run your own disks :)  I've run ZFS on systems where the storage was provisioned off some enterprise SAN and buying whiteboxes was not an option.</div><div><br></div><div>Even if the OP controls their FC array, it may not have an option to present each disk separately. And buying new hardware may not be an option.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 12, 2018 at 10:30 AM, Gordan Bobic via zfs-discuss <span dir="ltr"><<a href="mailto:zfs-discuss@list.zfsonlinux.org" target="_blank">zfs-discuss@list.zfsonlinux.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Thu, Apr 12, 2018 at 5:51 PM, Richard Elling <span dir="ltr"><<a href="mailto:richard.elling@richardelling.com" target="_blank">richard.elling@richardelling.<wbr>com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><br><div><br><blockquote type="cite"><div>On Apr 11, 2018, at 2:39 AM, Gordan Bobic via zfs-discuss <<a href="mailto:zfs-discuss@list.zfsonlinux.org" target="_blank">zfs-discuss@list.zfsonlinux.o<wbr>rg</a>> wrote:</div><br class="m_4748763741972228543m_5948275355543811254Apple-interchange-newline"><div><div dir="ltr">Short answer: Don't.</div></div></blockquote><div><br></div><div>Actually, there are quite a few large enterprises who have been running mission-critical systems</div><div>like this for many years. It does work and can work very well.</div><div><br></div><div>That said, if the real question is "given X disks, should I create a raidz or raid-5?", then the short answer</div><div>is "use raidz"</div><br><blockquote type="cite"><div><div dir="ltr"><div><br></div><div>Long answer:</div><div>Cons:</div><div>By putting ZFS on a single virtual disk exposed by hardware RAID you will lose ZFS' ability to auto-heal data, thus forfeiting a substantial fraction of it's value.</div></div></div></blockquote><div><br></div><div>An enterprise-class RAID array deals with bit rot, checksums, and auto-healing too. They can make</div><div>a very nice complement to ZFS.</div></div></div></blockquote><div><br></div><div><br></div></span><div>Right up to the point when the disk starts feeding you garbage instead of errors (yes, it happens). At that point the controller won't be able to tell if that happened without reading the whole stripe, which is exactly what ZFS does anyway, and any theoretical performance advantage disappears.</div><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><div><br><blockquote type="cite"><div><div dir="ltr"><div>Because the underlying RAID geometry is entirely opaque, it is virtually guaranteed that you will end up with a lot of misaligned access which will potentially halve sustained read throughput.</div><div>Sustained write throughput can be as low as half of what ZFS can achieve because of RMW required by parity RAID on writes.</div><div><br></div><div>Pros:</div><div>In some _very_ specific uses, you may be able to get better small random read performance if you have ZFS on top of hardware RAID5.</div><div>If you can reduce the exposed RAID block size to as low as 8KB, you could create zfs with ashift=13 to ensure the alignment at the bottom end is unaffected, and set recordsize to 8KB to ensure fs blocks won't straddle disk boundaries, and operations you are doing are mostly <= 8KB so the 8KB recordsize is in fact appropriate, then having ZFS on hardware RAID5 would potentially yield better random read performance than RAIDZ1 of same shape. Sustained write throughput can still be as bad as half due to RMW on parity RAID.</div></div></div></blockquote><div><br></div><div>Disagree, modern RAID arrays are quite adept at managing small writes efficiently. Attempting</div><div>to try and match the internal representation is largely a waste of time, just like it is a waste of time</div><div>to try and match raidz sizes to recordsize/volblocksize.</div></div></div></blockquote><div><br></div></span><div>It's a waste of time for bursty workloads. Once your sustained throughput saturates the write caches, the performance will tank.</div><span class=""><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word;line-break:after-white-space"><div><div><br></div><div>Systems engineering is a discipline that deals with trade-offs and compromises. ZFS vs RAID-5 is</div><div>not immune to these forces.</div></div></div></blockquote><div><br></div></span><div>Can you illustrate a specific case where ZFS on RAID5 will yield better performance than RAIDZ of same geometry, that is NOT dependent on ensuring good alignment as per what I described?</div><div><br></div><div>Gordan</div><div><br></div></div></div></div>
<br>______________________________<wbr>_________________<br>
zfs-discuss mailing list<br>
<a href="mailto:zfs-discuss@list.zfsonlinux.org">zfs-discuss@list.zfsonlinux.<wbr>org</a><br>
<a href="http://list.zfsonlinux.org/cgi-bin/mailman/listinfo/zfs-discuss" rel="noreferrer" target="_blank">http://list.zfsonlinux.org/<wbr>cgi-bin/mailman/listinfo/zfs-<wbr>discuss</a><br>
<br></blockquote></div><br></div>