Hi Stephen,<div><br></div><div>I was running parallelHF on Nautilus when I got the following email from the sys admins, I'll try to answer the questions but let me know if I'm wrong or there's something else to be said.<br>
<br></div><div><span class="Apple-style-span" style="font-family: Tahoma; font-size: 13px; ">(1) How much data are read/written by program ?</span></div><div><span class="Apple-style-span" style="font-family: Tahoma; font-size: 13px; ">- After all the particles (3200^3 of them) are read in they are linked with a fortran KDtree if they satisfy some conditions.</span></div>
<div><span class="Apple-style-span" style="font-family: Tahoma; font-size: 13px; ">  <br>(2) How many parallel readers/writers are used by program ?</span><span class="Apple-style-span" style="font-family: Tahoma; font-size: 13px; "> <br>
- It is reading using 512 cores from my submission script.  The amount of write to disk depends on the distribution of the particle haloes across processors, if they exist across processors then there will be more files written out by </span><span class="Apple-style-span" style="font-family: 'Droid Sans'; line-height: 22px; font-size: medium; ">write_particle_lists.</span></div>
<div><span class="Apple-style-span" style="font-family: Tahoma; font-size: 13px; "><br></span></div><div><span class="Apple-style-span" style="font-family: Tahoma; font-size: 13px; ">(3) Do you use MPI_IO ? or something else ? <br>
</span></div><div></div><div><font class="Apple-style-span" face="Tahoma">- Yes, the program uses mpi4py-1.2.2 installed in my home directory</font></div><div><font class="Apple-style-span" face="Tahoma"><br></font></div>
<div><font class="Apple-style-span" face="Tahoma">The details of the code can be found at:</font></div><div><font class="Apple-style-span" face="Tahoma"><a href="http://yt-project.org/doc/analysis_modules/running_halofinder.html#halo-finding">http://yt-project.org/doc/analysis_modules/running_halofinder.html#halo-finding</a></font></div>
<div><font class="Apple-style-span" face="Tahoma">under the section "Parallel HOP"</font></div><div><font class="Apple-style-span" face="Tahoma"><br></font></div><div><font class="Apple-style-span" face="Tahoma">Currently I am using 512 cores with 4GB per core for a total of 2TB of ram for this 3200 cube unigrid simulation, should I decrease the amount of processors but keeping the same amount of ram?  Or is there other ways to optimize as to not affect other users?</font></div>
<div><font class="Apple-style-span" face="Tahoma"><br></font></div><div><font class="Apple-style-span" face="Tahoma">Sorry for the inconvenience.</font></div><div><font class="Apple-style-span" face="Tahoma"><br></font></div>
<div><font class="Apple-style-span" face="Tahoma">From</font></div><div><font class="Apple-style-span" face="Tahoma">G.S.</font></div><div><font class="Apple-style-span" face="Tahoma"><br></font></div><div><font class="Apple-style-span" face="Tahoma"><br>
</font><div class="gmail_quote">On Fri, Sep 23, 2011 at 9:12 AM, Patel, Pragneshkumar B <span dir="ltr"><<a href="mailto:pragnesh@utk.edu">pragnesh@utk.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">





<div>
<div style="direction:ltr;font-family:Tahoma;color:#000000;font-size:10pt">Hello,
<br>
<br>
We have noticed some I/O issue on Nautilus. We suspect that "ParallelHaloProfiler" program is doing some very I/O-intensive operations periodically (or may be checkpoint). We like to throttle these back a bit , so that other users are not affected by it.
<br>
<br>
I like to get some more information about your job #60891. E.g.<br>
<br>
(1) How much data are read/written by program ?  <br>
(2) How many parallel readers/writers are used by program ? <br>
(3) Do you use MPI_IO ? or something else ? <br>
<br>
Please give me detail and we will work on your I/O issue. <br>
<br>
Thanks<br>
Pragnesh<br>
<br>
</div>
</div>

</blockquote></div><br></div>