<div dir="ltr">Hey Daniel,<div><br></div><div>This is great that you got this working, and it sounds like something from which others could benefit! Would you mind submitting this change to the main codebase in a pull request?</div><div><br></div><div>Cameron</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Dec 3, 2014 at 6:46 PM, Daniel Fenn <span dir="ltr"><<a href="mailto:dsfenn@gmail.com" target="_blank">dsfenn@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><span style="color:rgb(0,0,0);font-family:Consolas,'Lucida Console',monospace;font-size:16px;background-color:rgb(240,247,255)">Hi Matt,</span></div><span style="color:rgb(0,0,0);font-family:Consolas,'Lucida Console',monospace;font-size:16px;background-color:rgb(240,247,255)"><div><span style="color:rgb(0,0,0);font-family:Consolas,'Lucida Console',monospace;font-size:16px;background-color:rgb(240,247,255)"><br></span></div>I was able to get my MPI problem fixed by using subcommunicators. I modified enable_parallelism() to take an optional argument that specifies the MPI communicator yt should use. If none is specified, it defaults to COMM_WORLD. Seems to be working pretty well so far.</span><br><div><span style="color:rgb(0,0,0);font-family:Consolas,'Lucida Console',monospace;font-size:16px;background-color:rgb(240,247,255)"><br></span></div><div><span style="color:rgb(0,0,0);font-family:Consolas,'Lucida Console',monospace;font-size:16px;background-color:rgb(240,247,255)">Thanks for the advice,</span></div><div><span style="color:rgb(0,0,0);font-family:Consolas,'Lucida Console',monospace;font-size:16px;background-color:rgb(240,247,255)"><br></span></div><div><span style="color:rgb(0,0,0);font-family:Consolas,'Lucida Console',monospace;font-size:16px;background-color:rgb(240,247,255)">Dan</span></div></div><div class="gmail_extra"><br><div class="gmail_quote">2014-12-03 19:16 GMT-05:00 Matthew Turk <span dir="ltr"><<a href="mailto:matthewturk@gmail.com" target="_blank">matthewturk@gmail.com</a>></span>:<div><div class="h5"><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Dan,<br>
<br>
I've done this before by modifying how the global communicator is<br>
created.  The way they work in yt is through pushing new communicators<br>
onto a stack, which can vary based on which processors you're on.  I<br>
don't think I ever wrote it up in a PR, but I think it could be done<br>
without too much work.<br>
<div><div><br>
On Wed, Dec 3, 2014 at 11:47 AM, Daniel Fenn <<a href="mailto:dsfenn@gmail.com" target="_blank">dsfenn@gmail.com</a>> wrote:<br>
> Is there a way to restrict yt to only use a subset of the available<br>
> processes when it's running in parallel? I have a set of ipython engines<br>
> running, and I'm trying to launch a yt script on a subset of them, but it<br>
> just hangs. It works fine if I launch the same script on all the processes.<br>
><br>
> Printing out MPI.COMM_WORLD.Get_size() from the script gives the total<br>
> number of engines, not the size of the subset I'm trying to use.<br>
><br>
> I haven't done a lot of parallel programming, but I would guess that the<br>
> running processes are waiting on one that's not running a yt script, since<br>
> they can see the total number of processes available, but not the size of<br>
> the subset of processes that are actually running a yt script.<br>
><br>
> Does anyone have any thoughts on how to do this?<br>
><br>
> Thanks,<br>
><br>
> Dan<br>
><br>
</div></div>> _______________________________________________<br>
> yt-users mailing list<br>
> <a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
><br>
_______________________________________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
</blockquote></div></div></div><br></div>
<br>_______________________________________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">Cameron Hummels<div>Postdoctoral Researcher</div><div>Steward Observatory</div><div>University of Arizona</div><div><a href="http://chummels.org" target="_blank">http://chummels.org</a></div></div>
</div>