I've just thought of something, I did a pull from dev-yt to my fork of YT sometime last week (to get the functionality of parallel_objects and my ellipsoid stuff), so maybe I broke something, I'll re-run the thing with dev-yt and see if the error is still there.  I recall I had to merge halo_objects.py manually and so maybe I screwed up something there.  I wasn't suspecting the merge to be problematic because parallel HOP ran just fine.<div>
<br></div><div>From</div><div>G.S.<br><br><div class="gmail_quote">On Fri, Mar 23, 2012 at 10:31 AM, Geoffrey So <span dir="ltr"><<a href="mailto:gsiisg@gmail.com">gsiisg@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi,<div><br></div><div>Originally I was outputting something like 17 or 18 columns of attributes of my ellipsoids associated with the haloes, but I've ripped them out to the bare essential of just out putting the mass of halo and a "0" for attribute to narrow down the problem.  So in this script I did nothing with the ellipsoids.</div>

<div><br></div><div><a href="http://paste.yt-project.org/show/2250/" target="_blank">http://paste.yt-project.org/show/2250/</a></div><div><br></div><div>For each halo, the output should have for the first column the halo DM particle mass, the second column a zero.</div>

<div><br></div><div>The output when using</div><div>for halo in haloes:</div><div><div><a href="http://paste.yt-project.org/show/2251/" target="_blank">http://paste.yt-project.org/show/2251/</a></div></div><div><br></div>
<div>The output when using</div><div class="im">
<div><div>for sto, halo in parallel_objects(haloes, num_procs, storage = my_storage):</div></div></div><div><div><a href="http://paste.yt-project.org/show/2252/" target="_blank">http://paste.yt-project.org/show/2252/</a></div>
</div><div><br></div>
<div>The original halo list from parallelHOP:</div><div><div><a href="http://paste.yt-project.org/show/2253/" target="_blank">http://paste.yt-project.org/show/2253/</a></div></div><div><br></div><div>So there's agreement of the number of haloes with the "for halo in haloes" method and disagreement with the parallel_objects() method.</div>

<div><br></div><div>From</div><div>G.S.</div><div><br></div><div><br></div><div>in the DD0273_z5.00_halo_list.out file I have 24 lines, first two<div><div class="h5"><br><br><div class="gmail_quote">On Fri, Mar 23, 2012 at 8:24 AM, Stephen Skory <span dir="ltr"><<a href="mailto:s@skory.us" target="_blank">s@skory.us</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Geoffrey,<br>
<div><br>
<br>
>> haloes = LoadHaloes(pf, HaloListname)<br>
>><br>
>> for sto, halo in parallel_objects(haloes, num_procs, storage = my_storage):<br>
<br>
</div>Can you paste the whole script? Thanks.<br>
<div><br>
> Stephen might be able to shed some light on this, but I think<br>
> LoadHalos will pre-assign processors to the halo objects, whereas<br>
> parallel_objects will operate independently of that, distributing<br>
> halos first come, first server.<br>
<br>
</div>In fact, LoadHaloes should not work that way. Each task should have a<br>
full copy of the halos data, but initially only the data in the<br>
HopAnalysis.out file, of course, the particles are loaded on demand.<br>
<br>
I've been using something like what Geoffrey's trying to do for a<br>
while with no issue. I'm hoping maybe there's something in Geoffrey's<br>
script... but I've been wrong before.<br>
<span><font color="#888888"><br>
--<br>
Stephen Skory<br>
<a href="mailto:s@skory.us" target="_blank">s@skory.us</a><br>
<a href="http://stephenskory.com/" target="_blank">http://stephenskory.com/</a><br>
<a href="tel:510.621.3687" value="+15106213687" target="_blank">510.621.3687</a> (google voice)<br>
</font></span><div><div>_______________________________________________<br>
yt-dev mailing list<br>
<a href="mailto:yt-dev@lists.spacepope.org" target="_blank">yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
</div></div></blockquote></div><br></div></div></div>
</blockquote></div><br></div>