Hi Matt,<br><br>I've just tried using Stephen's new recentering functions that use derived quantities to halo profiling.  When running in parallel, there doesn't seem to be a problem at all, whether I set lazy_reader to True or False.  I guess there is no longer an issue here.<br>
<br>Britton<br><br><div class="gmail_quote">On Fri, Apr 8, 2011 at 3:22 PM, Matthew Turk <span dir="ltr"><<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Britton,<br>
<br>
Do you think that changing to lazy_reader = False would fix the<br>
parallelism thing?<br>
<br>
But in general, this is another good reason to finish up the<br>
multilevel parallelism project, in the task_queue files.  I'm not sure<br>
what a reasonable timescale for that is, however.<br>
<br>
-Matt<br>
<div><div></div><div class="h5"><br>
On Fri, Apr 8, 2011 at 12:03 PM, Britton Smith <<a href="mailto:brittonsmith@gmail.com">brittonsmith@gmail.com</a>> wrote:<br>
> Hi Stephen & Matt,<br>
><br>
> I think Matt's idea is a good one.  It will be more work from the<br>
> development side to set up the functions, but I think it will be less<br>
> complicated and more flexible for the user.  The halo profiler already has<br>
> an embarrassingly large number of keyword options, so decreasing that number<br>
> is a good thing.<br>
><br>
> While we're on the subject, I should mention that these recentering<br>
> functions will not work in parallel.  This is because the halo finder is set<br>
> up to run in parallel by giving a subset of halos to each processor and<br>
> essentially having each processor profile halos in serial.  However, the<br>
> derived quantities that are used for the recentering only know to work in<br>
> parallel by having all the processors work on the one halo.  What happens in<br>
> practice is that the job will just hang.  This is not totally relevant to<br>
> the discussion, but close enough that I thought it warranted being brought<br>
> up.<br>
><br>
> Britton<br>
><br>
> On Fri, Apr 8, 2011 at 11:55 AM, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>> wrote:<br>
>><br>
>> Hi Stephen,<br>
>><br>
>> It's simpler for the end user.  Instead of the end-user being mandated<br>
>> to supply a callable function, we should provide a couple recipes that<br>
>> they can supply as strings.<br>
>><br>
>> -Matt<br>
>><br>
>> On Fri, Apr 8, 2011 at 11:53 AM, Stephen Skory <<a href="mailto:s@skory.us">s@skory.us</a>> wrote:<br>
>> > Hi Matt,<br>
>> ><br>
>> >> I would propose it accept either a string that identifies an existing<br>
>> >> recipe or a callable.<br>
>> ><br>
>> > I don't quite see how this is simpler, unless you're proposing that I<br>
>> > write a whole bunch of built-in recentering functions in this new<br>
>> > file. Maybe I'm misunderstanding you? I'm sorry that I'm thick!<br>
>> ><br>
>> ><br>
>> > --<br>
>> > Stephen Skory<br>
>> > <a href="mailto:s@skory.us">s@skory.us</a><br>
>> > <a href="http://stephenskory.com/" target="_blank">http://stephenskory.com/</a><br>
>> > <a href="tel:510.621.3687" value="+15106213687">510.621.3687</a> (google voice)<br>
>> > _______________________________________________<br>
>> > Yt-dev mailing list<br>
>> > <a href="mailto:Yt-dev@lists.spacepope.org">Yt-dev@lists.spacepope.org</a><br>
>> > <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> ><br>
>> _______________________________________________<br>
>> Yt-dev mailing list<br>
>> <a href="mailto:Yt-dev@lists.spacepope.org">Yt-dev@lists.spacepope.org</a><br>
>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
><br>
><br>
> _______________________________________________<br>
> Yt-dev mailing list<br>
> <a href="mailto:Yt-dev@lists.spacepope.org">Yt-dev@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
><br>
><br>
_______________________________________________<br>
Yt-dev mailing list<br>
<a href="mailto:Yt-dev@lists.spacepope.org">Yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
</div></div></blockquote></div><br>