<div dir="ltr">The halo profiling script in the cookbook should work fine.  The only thing I would change is the halo finding to work with the ParallelHop or something else configured for larger datasets.<br></div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Fri, Mar 1, 2013 at 4:34 PM, Matthew Turk <span dir="ltr"><<a href="mailto:matthewturk@gmail.com" target="_blank">matthewturk@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
That sounds great.  I have the Santa Fe Light Cone.  I think focusing<br>
on Enzo data (since FLASH data in 2.x has poor performance) would be<br>
best for now.<br>
<br>
Would you be able to provide a relatively simple, but compute-heavy,<br>
halo profiling script?  Would the cookbook one work pretty well for<br>
this?  I can handle the other aspects.<br>
<div class="HOEnZb"><div class="h5"><br>
On Fri, Mar 1, 2013 at 3:48 PM, Britton Smith <<a href="mailto:brittonsmith@gmail.com">brittonsmith@gmail.com</a>> wrote:<br>
> If we do want to go with some big datasets, I can provide some 1024^3 and<br>
> 1536^3 unigrids.  I'm sure others have better AMR data than I do.<br>
><br>
><br>
> On Fri, Mar 1, 2013 at 3:41 PM, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>> wrote:<br>
>><br>
>> Hey Sam,<br>
>><br>
>> On Fri, Mar 1, 2013 at 2:38 PM, Sam Skillman <<a href="mailto:samskillman@gmail.com">samskillman@gmail.com</a>><br>
>> wrote:<br>
>> > I think in terms of providing a test for the cluster, the benchmark<br>
>> > should<br>
>> > not require the shipment of data.  For the benchmarking of yt for yt's<br>
>> > own<br>
>> > sake, then we do need to test the IO performance.<br>
>><br>
>> I'm not really sure that we want to avoid IO...<br>
>><br>
>> ><br>
>> > I think it'd be great to make an in-memory dataset that can then be used<br>
>> > for<br>
>> > testing performance.  For example, set up a bunch of refined spheres and<br>
>> > then project/slice/profile/render/halo find?<br>
>><br>
>> Perhaps, but will our current IC generators work at really, really big<br>
>> scale?  I didn't think they would.  Plus it's hard to get them to<br>
>> subdivide -- you end up with ltos of nested grids.<br>
>><br>
>> ><br>
>> > Sam<br>
>> ><br>
>> ><br>
>> > On Fri, Mar 1, 2013 at 12:31 PM, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>><br>
>> > wrote:<br>
>> >><br>
>> >> Hi Jeff,<br>
>> >><br>
>> >> Sure.  I got asked for a standard yt performance benchmark to be run<br>
>> >> to figure out performance of an analysis cluster and evaluate its<br>
>> >> readiness.  :)  I think it's safe to sya that we should be pushing<br>
>> >> things like IO, memory capacity and communication performance.<br>
>> >><br>
>> >> Adding such a set of scripts (and their results!) would be very useful<br>
>> >> going forward, along with a little description of why we chose the<br>
>> >> routines we did.<br>
>> >><br>
>> >> -Matt<br>
>> >><br>
>> >> On Fri, Mar 1, 2013 at 2:17 PM, j s oishi <<a href="mailto:jsoishi@gmail.com">jsoishi@gmail.com</a>> wrote:<br>
>> >> > Matt,<br>
>> >> ><br>
>> >> > It might be helpful if you shared some more details of this<br>
>> >> > particular<br>
>> >> > benchmarking exercise, if you can. It would be helpful for making<br>
>> >> > sure<br>
>> >> > we present the most usefil information to the people asking for it as<br>
>> >> > well as info that is useful to us going forwards.<br>
>> >> ><br>
>> >> > j<br>
>> >> ><br>
>> >> > On Fri, Mar 1, 2013 at 2:05 PM, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>><br>
>> >> > wrote:<br>
>> >> >> Definitely, yes.  For what it's worth, the specific use case I have<br>
>> >> >> in<br>
>> >> >> mind is for performance testing a system, so I think scalability<br>
>> >> >> will<br>
>> >> >> be important.<br>
>> >> >><br>
>> >> >> On Fri, Mar 1, 2013 at 2:01 PM, Cameron Hummels <<a href="mailto:chummels@gmail.com">chummels@gmail.com</a>><br>
>> >> >> wrote:<br>
>> >> >>> It might be worth showing how well this works on a single proc as<br>
>> >> >>> well<br>
>> >> >>> as<br>
>> >> >>> how well it works using parallel mode on a few different numbers of<br>
>> >> >>> processors.<br>
>> >> >>><br>
>> >> >>><br>
>> >> >>> On Fri, Mar 1, 2013 at 1:57 PM, Christopher Moody<br>
>> >> >>> <<a href="mailto:chrisemoody@gmail.com">chrisemoody@gmail.com</a>><br>
>> >> >>> wrote:<br>
>> >> >>>><br>
>> >> >>>> Perhaps a benchmark for simply calculating a derived field? This<br>
>> >> >>>> would<br>
>> >> >>>> then profile a much smaller codebase.<br>
>> >> >>>><br>
>> >> >>>> Also benchmarking projections/fields for AMR/octree/particles of<br>
>> >> >>>> similar<br>
>> >> >>>> resolutions would be pretty cool.<br>
>> >> >>>><br>
>> >> >>>> chris<br>
>> >> >>>><br>
>> >> >>>><br>
>> >> >>>> On Fri, Mar 1, 2013 at 10:53 AM, Matthew Turk<br>
>> >> >>>> <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>><br>
>> >> >>>> wrote:<br>
>> >> >>>>><br>
>> >> >>>>> Okay, I like that idea.  So a unified script with timing for in<br>
>> >> >>>>> each<br>
>> >> >>>>> section might include:<br>
>> >> >>>>><br>
>> >> >>>>>  * Halo profiling<br>
>> >> >>>>>  * Global projection<br>
>> >> >>>>>  * Global profiles<br>
>> >> >>>>>  * Global VR (CTF and OffAxisProj)<br>
>> >> >>>>><br>
>> >> >>>>> I think we probably want a large unigrid and a large AMR dataset<br>
>> >> >>>>> to<br>
>> >> >>>>> run these on, too.<br>
>> >> >>>>><br>
>> >> >>>>> On Fri, Mar 1, 2013 at 1:50 PM, Nathan Goldbaum<br>
>> >> >>>>> <<a href="mailto:goldbaum@ucolick.org">goldbaum@ucolick.org</a>><br>
>> >> >>>>> wrote:<br>
>> >> >>>>> > Probably a good idea to try some off axis projections or simple<br>
>> >> >>>>> > volume<br>
>> >> >>>>> > renderings to test the VR code.<br>
>> >> >>>>> ><br>
>> >> >>>>> ><br>
>> >> >>>>> > On Fri, Mar 1, 2013 at 10:48 AM, Matthew Turk<br>
>> >> >>>>> > <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>><br>
>> >> >>>>> > wrote:<br>
>> >> >>>>> >><br>
>> >> >>>>> >> Hi all,<br>
>> >> >>>>> >><br>
>> >> >>>>> >> I got an email asking for a benchmark of yt.  I think this is<br>
>> >> >>>>> >> very,<br>
>> >> >>>>> >> very valuable to have going forward.  I was wondering if<br>
>> >> >>>>> >> anyone<br>
>> >> >>>>> >> had<br>
>> >> >>>>> >> any suggestions?<br>
>> >> >>>>> >><br>
>> >> >>>>> >> I'm thinking that we probably want to test things like the<br>
>> >> >>>>> >> halo<br>
>> >> >>>>> >> finder, projections, and phase plots.  Would a medium (1536^3)<br>
>> >> >>>>> >> halo<br>
>> >> >>>>> >> profiling run do that?  Do we want to add on some global<br>
>> >> >>>>> >> projections<br>
>> >> >>>>> >> and phase plots as well?<br>
>> >> >>>>> >><br>
>> >> >>>>> >> -Matt<br>
>> >> >>>>> >> _______________________________________________<br>
>> >> >>>>> >> yt-dev mailing list<br>
>> >> >>>>> >> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> >>>>> >> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> >> >>>>> ><br>
>> >> >>>>> ><br>
>> >> >>>>> ><br>
>> >> >>>>> > _______________________________________________<br>
>> >> >>>>> > yt-dev mailing list<br>
>> >> >>>>> > <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> >>>>> > <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> >> >>>>> ><br>
>> >> >>>>> _______________________________________________<br>
>> >> >>>>> yt-dev mailing list<br>
>> >> >>>>> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> >>>>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> >> >>>><br>
>> >> >>>><br>
>> >> >>>><br>
>> >> >>>> _______________________________________________<br>
>> >> >>>> yt-dev mailing list<br>
>> >> >>>> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> >>>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> >> >>>><br>
>> >> >>><br>
>> >> >>><br>
>> >> >>><br>
>> >> >>> --<br>
>> >> >>> Cameron Hummels<br>
>> >> >>> Postdoctoral Researcher<br>
>> >> >>> Steward Observatory<br>
>> >> >>> University of Arizona<br>
>> >> >>> <a href="http://chummels.org" target="_blank">http://chummels.org</a><br>
>> >> >>><br>
>> >> >>> _______________________________________________<br>
>> >> >>> yt-dev mailing list<br>
>> >> >>> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> >>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> >> >>><br>
>> >> >> _______________________________________________<br>
>> >> >> yt-dev mailing list<br>
>> >> >> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> >> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> >> > _______________________________________________<br>
>> >> > yt-dev mailing list<br>
>> >> > <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> > <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> >> _______________________________________________<br>
>> >> yt-dev mailing list<br>
>> >> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> >> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> ><br>
>> ><br>
>> ><br>
>> > _______________________________________________<br>
>> > yt-dev mailing list<br>
>> > <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> > <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
>> ><br>
>> _______________________________________________<br>
>> yt-dev mailing list<br>
>> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
><br>
><br>
><br>
> _______________________________________________<br>
> yt-dev mailing list<br>
> <a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
><br>
_______________________________________________<br>
yt-dev mailing list<br>
<a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
</div></div></blockquote></div><br></div>