<div dir="ltr">Hi Jacob,<div><br></div><div>While I'm not confident in exact numbers in terms of nodes/ppn settings for your run, I think I can point you in the right direction.</div><div><br></div><div>* When I used rockstar to find halos for a 1024^3 unigrid enzo I ran into similar OOM errors. I eventually got it to work by running on a shared memory machine (PSC Blacklight to be exact). I'm not sure you're ever going to be able to run it without a machine that can share memory between nodes, because of the way rockstar handles keeping the particles in memory separately from yt. </div><div><br></div><div>* You also don't need anywhere near that number of processes. If I can recall, I think I only used ~16 processes in the end, once I could request enough memory.</div><div><br></div><div>Hope that helps a bit! Sorry the current implementation of rockstar in yt is a bit of a pain to work with. It's something we've been working on fixing, so we can keep you posted on when the new infrastructure is ready for users.</div><div><br></div><div>-Hilary</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 11, 2015 at 1:22 PM, Jacob Kneibel <span dir="ltr"><<a href="mailto:kneibelj@msu.edu" target="_blank">kneibelj@msu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<br>
<br>
I've been trying to run the Rockstar Halo finder on a 1536^3 unigrid Enzo simulation and have been running into a few issues. I am using the Blue waters machine and when I run the finder with multiple readers, the process is killed by the OOM killer, and when I run it with one reader there is a Network IO error.<br>
<br>
My yt version is 3.2-dev, changeset= 8ad62b624390<br>
<br>
Here is the python script I am running:<br>
<a href="http://paste.yt-project.org/show/5631/" target="_blank">http://paste.yt-project.org/show/5631/</a><br>
<br>
and here is the job script I'm submitting to blue waters:<br>
<a href="http://paste.yt-project.org/show/5632/" target="_blank">http://paste.yt-project.org/show/5632/</a><br>
<br>
I've tried different node and ppn settings, with no luck.<br>
<br>
Does anyone have an idea on how to get rockstar to run on the blue waters system with this large simulation? Or is there a recommended number of readers based on the number of nodes I set?<br>
<br>
Thank you for any help you can give,<br>
<br>
Jacob Kneibel<br>
<br>
<br>
_______________________________________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
</blockquote></div><br></div>