<div dir="ltr">Hi Matt,<div><br></div><div>I'm definitely for this.  However, won't we will still have hdf5 as a dependency since we need it to install h5py?</div><div><br></div><div>Britton</div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Tue, Oct 8, 2013 at 9:44 PM, Matthew Turk <span dir="ltr"><<a href="mailto:matthewturk@gmail.com" target="_blank">matthewturk@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Well, I should be clear -- loading a gigantic dataset in yt-2 is<br>
slower than either forms of the yt-3 loading, with hdf5_light_reader<br>
or with h5py.  So the order goes:<br>
<br>
yt-3.0 + hdf5_light_reader (fastest)<br>
yt-3.0 + h5py (not bad)<br>
yt-2.x + hdf5_light_reader (slowest)<br>
<br>
(Also, I'd encourage anybody who wants to see "write only code" to<br>
take a look at hdf5_light_reader.)<br>
<br>
-Matt<br>
<div class="HOEnZb"><div class="h5"><br>
On Tue, Oct 8, 2013 at 4:30 PM, Cameron Hummels <<a href="mailto:chummels@gmail.com">chummels@gmail.com</a>> wrote:<br>
> I'm all for it if it results in faster IO for large datasets without any<br>
> significant downsides for medium/small datasets.  Plus if it simplifies<br>
> things, that's always better too.  Thanks for looking into this, Matt!<br>
><br>
> +1<br>
><br>
> Cameron<br>
><br>
><br>
> On Tue, Oct 8, 2013 at 1:20 PM, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>> wrote:<br>
>><br>
>> Hi all,<br>
>><br>
>> One of the biggest pain points in our distribution is linking against<br>
>> external libraries.  We do this in three places by default:<br>
>><br>
>>  * HDF5, for the hdf5_light_reader<br>
>>  * libpng, for write_png<br>
>>  * freetype, for freetype_writer<br>
>><br>
>> hdf5_light_reader was originally written (by me) something like five<br>
>> years and change ago, because at the time PyTables was slower than I<br>
>> wanted.  I've been working on improving IO and found that we can get<br>
>> nearly the same speed from h5py; when combined with overall<br>
>> performance improvements in yt-3, this still translates to faster<br>
>> speeds for very large datasets.  On small to medium datasets, the<br>
>> performance is not noticeably different.  I'd like to propose that we<br>
>> stop using hdf5_light_reader, which may result in a slight degradation<br>
>> of performance for (only) Enzo IO.<br>
>><br>
>> Additionally, I don't think *anyone* uses the freetype writer, and I'd<br>
>> like to remove it.  I'm actually not sure if anyone has ever used it.<br>
>><br>
>> I think with these two changes we can likely improve our packaging<br>
>> situation by a good amount, as hdf5 specifically is the main problem<br>
>> with distribution in Conda.  These changes would only be in yt 3.0,<br>
>> and would not affect 2.x.<br>
>><br>
>> [+-][01]?<br>
>><br>
>> -Matt<br>
>> _______________________________________________<br>
>> yt-dev mailing list<br>
>> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Cameron Hummels<br>
> Postdoctoral Researcher<br>
> Steward Observatory<br>
> University of Arizona<br>
> <a href="http://chummels.org" target="_blank">http://chummels.org</a><br>
><br>
> _______________________________________________<br>
> yt-dev mailing list<br>
> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
><br>
_______________________________________________<br>
yt-dev mailing list<br>
<a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
</div></div></blockquote></div><br></div>