<div dir="ltr">Hi Matt,<div><br></div><div>Sure, I'm doing the following with the rockstar_halos data on <a href="http://yt-project.org/data">yt-project.org/data</a>:</div><div><br></div><div>pf = load("rockstar_halos/halos_0.0.bin")</div>
<div>dd = pf.all_data()</div><div>print dd["particle_mass"].size</div><div>for chunk in dd.chunks([], "io"):</div><div>    print chunk["particle_mass"].size</div><div><br></div><div>This dataset has two files, but running this, I only get one chunk with the same size as the all_data container.</div>
<div><br></div><div>Britton</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, May 12, 2014 at 2:19 PM, Matthew Turk <span dir="ltr"><<a href="mailto:matthewturk@gmail.com" target="_blank">matthewturk@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Britton,<br>
<div><div class="h5"><br>
On Mon, May 12, 2014 at 2:16 PM, Britton Smith <<a href="mailto:brittonsmith@gmail.com">brittonsmith@gmail.com</a>> wrote:<br>
> Hey all,<br>
><br>
> I'm working on changing how HaloCatalog objects loop over halos from a model<br>
> where every processor has to hold the entire halo list to a model in which<br>
> we loop over "io" chunks.  This will make the HaloCatalog scale much better<br>
> to extremely large catalogs.  My understanding was that an "io" chunk was<br>
> essentially one file on disk.  However, when I try to get io chunks from any<br>
> one of the various halo catalog frontends, there seems to only ever be a<br>
> single chunk that contains everything, regardless of how many files on disk<br>
> the data is spread over.  Is there a way to change this so that an io chunk<br>
> represents the data from a single file?<br>
<br>
</div></div>That sounds like a bug; IO should be single file at a time.  Can you<br>
show me how you're checking?<br>
<br>
-Matt<br>
<br>
><br>
> Britton<br>
><br>
> _______________________________________________<br>
> yt-dev mailing list<br>
> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
><br>
_______________________________________________<br>
yt-dev mailing list<br>
<a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
</blockquote></div><br></div>