+!<br><br><div class="gmail_quote">On Thu, Feb 23, 2012 at 11:46 AM, Cameron Hummels <span dir="ltr"><<a href="mailto:chummels@astro.columbia.edu">chummels@astro.columbia.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
+1<div class="HOEnZb"><div class="h5"><br>
<br>
On 2/23/12 11:43 AM, Matthew Turk wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi all,<br>
<br>
Long ago, I added the "lazy_reader" option to profiles.  This then<br>
showed up also in DerivedQuantities.  In almost all cases used, this<br>
is set to True, and I believe that the only case when it cannot be is<br>
when calculating energy.  lazy_reader = True means data is read on<br>
demand, grid by grid (mediated by preloading for those formats where<br>
multiple grids might be in a single file) and False means that all of<br>
the data necessary for the reduction is loaded immediately into<br>
memory.<br>
<br>
I'd like to propose we deprecate it as an option, and force all<br>
profiles to be "lazy".  I would be implementing this in the geometry<br>
handling branch.  In the geometry handling branch, I have implemented<br>
a chunking scheme which is more flexible; in this way subsets of data<br>
objects can be loaded.  By moving to this scheme, the chunks can<br>
either be the *entire* data object (i.e., the non-lazy method from<br>
before) or subsets divided in several different ways.  For example,<br>
you could do grid-by-grid, you could do gridfile-by-gridfile, or<br>
whatever type of scheme you like.  I believe that getting rid of lazy<br>
and moving to just always operating on chunks is the best way to<br>
accomplish this.<br>
<br>
[+-][01] on removing lazy_reader as optional?<br>
<br>
-Matt<br>
______________________________<u></u>_________________<br>
yt-dev mailing list<br>
<a href="mailto:yt-dev@lists.spacepope.org" target="_blank">yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/<u></u>listinfo.cgi/yt-dev-spacepope.<u></u>org</a><br>
<br>
</blockquote>
______________________________<u></u>_________________<br>
yt-dev mailing list<br>
<a href="mailto:yt-dev@lists.spacepope.org" target="_blank">yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/<u></u>listinfo.cgi/yt-dev-spacepope.<u></u>org</a><br>
</div></div></blockquote></div><br>