<div dir="ltr">Hi Aaron,<div><br></div><div>Have you looked at the section of the yt documentation on parallelism?</div><div><br></div><div><a href="http://yt-project.org/docs/dev/analyzing/parallel_computation.html">http://yt-project.org/docs/dev/analyzing/parallel_computation.html</a><br>

</div><div><br></div><div>yt uses MPI-based parallelism (powered by the mpi4py package).  Using this you can iterate over datasets in parallel using `parallel_objects` or `TimeSeriesData.piter()`.</div><div><br></div><div>

I'm not sure whether yt operations are safe when done inside a processing pool like you're trying to do.  I think in principle it should work if all of the processors are operating on different datasets but clearly something is breaking somewhere...</div>

<div><br></div><div>In any case, I'd urge you to rewrite your script using yt's native parallelism.</div><div><br></div><div>Please let us know if you have any further questions or concerns.</div><div><br></div><div>

-Nathan</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Nov 15, 2013 at 10:43 AM, Wienkers, Aaron F. <span dir="ltr"><<a href="mailto:wienkers1@llnl.gov" target="_blank">wienkers1@llnl.gov</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div style="font-size:14px;font-family:Calibri,sans-serif;word-wrap:break-word">
<div>Ah yes, I meant to include this:</div>
<div>    <a href="http://paste.yt-project.org/show/4059/" target="_blank">http://paste.yt-project.org/show/4059/</a></div>
<div><br>
</div>
<div>-Aaron</div>
<div><br>
</div>
<span>
<div style="border-right:medium none;padding-right:0in;padding-left:0in;padding-top:3pt;text-align:left;font-size:11pt;border-bottom:medium none;font-family:Calibri;border-top:#b5c4df 1pt solid;padding-bottom:0in;border-left:medium none">


<span style="font-weight:bold">From: </span>Sam Skillman <<a href="mailto:samskillman@gmail.com" target="_blank">samskillman@gmail.com</a>><br>
<span style="font-weight:bold">Reply-To: </span>Discussion of the yt analysis package <<a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a>><br>
<span style="font-weight:bold">Date: </span>Thursday, November 14, 2013 9:44 PM<br>
<span style="font-weight:bold">To: </span>Discussion of the yt analysis package <<a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a>><br>
<span style="font-weight:bold">Subject: </span>Re: [yt-users] Parallel python/yt<br>
</div><div><div class="h5">
<div><br>
</div>
<div>
<div>
<div dir="ltr">Hi Aaron, 
<div><br>
</div>
<div>Could you post a bit more information, perhaps your script?  You can use <a href="http://paste.yt-project.org/" target="_blank">http://paste.yt-project.org/</a> or do yt pastebin yourscript.py </div>
<div><br>
</div>
<div>Otherwise, my guess would be that you are attempting to open up the same hdf5 file with multiple threads, which is gaurded against by hdf5.</div>
<div><br>
</div>
<div>Best,</div>
<div>Sam</div>
</div>
<div class="gmail_extra"><br>
<br>
<div class="gmail_quote">On Thu, Nov 14, 2013 at 7:04 PM, Wienkers, Aaron F. <span dir="ltr">
<<a href="mailto:wienkers1@llnl.gov" target="_blank">wienkers1@llnl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="font-size:14px;font-family:Calibri,sans-serif;word-wrap:break-word">
<div>Hi YT Users,</div>
<div><br>
</div>
<div>  I've been trying to parallelize some of my analysis scripts using multiprocessing pools, but after a few repetitions yt produces the error, "Couldn't figure out output type for ./file_.hdf5" even though it works fine up to that point. It doesn't seem
 to have anything to do with my hdf5 file since it works fine serially.</div>
<div><br>
</div>
<div>Just curious if anyone has run into a similar problem in the past.</div>
<div><br>
</div>
<div>Thanks,</div>
<div>  Aaron</div>
</div>
<br>
_______________________________________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
<br>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div></div></span>
</div>

<br>_______________________________________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
<br></blockquote></div><br></div>