<div dir="auto">Perhaps, but just because dd seems to benefit from bigger vdevs doesn't mean that the real world workload won't be slower with bigger vdevs.<div dir="auto"><br></div><div dir="auto">So what you are measuring is an indication of neither absolute nor relative performance. It's not even apples vs. oranges, it's apples vs. supertankers comparison.</div><div dir="auto"><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, 2 Apr 2018, 15:03 Alex Vodeyko, <<a href="mailto:alex.vodeyko@gmail.com">alex.vodeyko@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Yes sure, "dd" is just a quick check.<br>
Because if I get with "dd" 1+ GB/s reads from 10 drives and < 0.5 GB/s<br>
from 30 (and even 60) drives - then something is fundamentally wrong.<br>
<br>
Thanks,<br>
Alex<br>
<br>
<br>
2018-04-02 15:37 GMT+03:00 Gordan Bobic <<a href="mailto:gordan.bobic@gmail.com" target="_blank" rel="noreferrer">gordan.bobic@gmail.com</a>>:<br>
> You do realize that measuring sequential I/O performance with dd will<br>
> produce readings that are in no meaningful way correlatable to any<br>
> multi-user workload you are likely to throw at it, especially something as<br>
> metadata intensive (small random I/O) as Lustre, right?<br>
><br>
> On Mon, 2 Apr 2018, 12:05 Alex Vodeyko via zfs-discuss,<br>
> <<a href="mailto:zfs-discuss@list.zfsonlinux.org" target="_blank" rel="noreferrer">zfs-discuss@list.zfsonlinux.org</a>> wrote:<br>
>><br>
>> Yes, I'm now running zpool with two 12+3 raidz3 VDEVs. Read<br>
>> performance is definitely better than zpool with three 8+2 raidz2<br>
>> VDEVs (And still major read performance improvement comes from ashift<br>
>> = 9):<br>
>> - "dd" ashift = 9:  write = 2.3 GB/s, read = 1.8 GB/s<br>
>> - "dd" ashift = 12: write = 2.8 GB/s, read = 1.2 GB/s<br>
>> .<br>
>> I decided to have 2x 30-drive zpools (because it seems not too much<br>
>> performance difference between 30 and 60 drives in all my tested zpool<br>
>> configs). I will use Lustre filesystem, so decided to have 2x Lustre<br>
>> OSS servers with 30 drives each.<br>
>> Still choosing the correct zpool layout - from the benchmarks it seems<br>
>> raidz3 performance is only 100 MB/s worse.<br>
>> But it would be great to get the advice on the best zpool layout<br>
>> (raidz2 vs raidz3, 12+2, 13+2, 12+3) for 30 drives.<br>
>> I'm now for two 12+3 raidz3 VDEVs with ashift=9.<br>
>><br>
>> Thanks,<br>
>> Alex<br>
>><br>
>> 2018-04-01 23:20 GMT+03:00 Andreas Dilger <<a href="mailto:adilger@dilger.ca" target="_blank" rel="noreferrer">adilger@dilger.ca</a>>:<br>
>> > On Mar 31, 2018, at 11:23 PM, Alex Vodeyko <<a href="mailto:alex.vodeyko@gmail.com" target="_blank" rel="noreferrer">alex.vodeyko@gmail.com</a>><br>
>> > wrote:<br>
>> >> To remind - all of the above came from zpool of six 8+2 raidz2 (60<br>
>> >> drives total)<br>
>> >><br>
>> >> For comparison I've created one zpool with single 8+2 raidz2 (10<br>
>> >> drives) and rerun tests on it, so:<br>
>> ><br>
>> > Have you tried a different geometry, like 5x 10+2 RAID-Z2 VDEVs?  At one<br>
>> > time there was a bug in the block allocation code that made 8+2 not work as<br>
>> > well as 9+2 or 7+2.  That _should_ have been fixed in the 0.7.x version you<br>
>> > are running, but there might still be some problems.<br>
>> ><br>
>> > Cheers, Andreas<br>
>> ><br>
>> ><br>
>> ><br>
>> ><br>
>> ><br>
>> _______________________________________________<br>
>> zfs-discuss mailing list<br>
>> <a href="mailto:zfs-discuss@list.zfsonlinux.org" target="_blank" rel="noreferrer">zfs-discuss@list.zfsonlinux.org</a><br>
>> <a href="http://list.zfsonlinux.org/cgi-bin/mailman/listinfo/zfs-discuss" rel="noreferrer noreferrer" target="_blank">http://list.zfsonlinux.org/cgi-bin/mailman/listinfo/zfs-discuss</a><br>
</blockquote></div>