<div dir="ltr">I believe you can access rectangular sub volume of the data with something like<div><pre style="line-height:22px;text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><span style="margin:0px;padding:0px">sv</span> <span style="margin:0px;padding:0px;color:rgb(102,102,102)">=</span> <span style="margin:0px;padding:0px">pf</span><span style="margin:0px;padding:0px;color:rgb(102,102,102)">.</span><span style="margin:0px;padding:0px">h</span><span style="margin:0px;padding:0px;color:rgb(102,102,102)">.</span><span style="margin:0px;padding:0px"><span style="margin:0px;padding:0px;background-color:rgb(251,229,78)">region</span></span><span style="margin:0px;padding:0px">([</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">0.5</span><span style="margin:0px;padding:0px">]</span><span style="margin:0px;padding:0px;color:rgb(102,102,102)">*</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">3</span><span style="margin:0px;padding:0px">,</span> <span style="margin:0px;padding:0px">[</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">0.21</span><span style="margin:0px;padding:0px">,</span> <span style="margin:0px;padding:0px;color:rgb(102,102,102)">.</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">21</span><span style="margin:0px;padding:0px">,</span> <span style="margin:0px;padding:0px;color:rgb(102,102,102)">.</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">72</span><span style="margin:0px;padding:0px">],</span> <span style="margin:0px;padding:0px">[</span><span style="margin:0px;padding:0px;color:rgb(102,102,102)">.</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">28</span><span style="margin:0px;padding:0px">,</span> <span style="margin:0px;padding:0px;color:rgb(102,102,102)">.</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">28</span><span style="margin:0px;padding:0px">,</span> <span style="margin:0px;padding:0px;color:rgb(102,102,102)">.</span><span style="margin:0px;padding:0px;color:rgb(32,128,80)">79</span><span style="margin:0px;padding:0px">])</span>
</pre><pre style="line-height:22px;text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><span style="margin:0px;padding:0px"><span style="color:rgb(34,34,34);font-family:arial;line-height:normal;text-align:start;white-space:normal">Shown here when running halo finder on a sub volume </span><span style="font-family:arial;line-height:normal;color:rgb(34,34,34)"><a href="http://yt-project.org/docs/2.6/analyzing/analysis_modules/running_halofinder.html?highlight=sub%20region" target="_blank">http://yt-project.org/docs/2.6/analyzing/analysis_modules/running_halofinder.html?highlight=sub%20region</a></span><br>
</span></pre><pre style="line-height:22px;text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><span style="font-family:arial;line-height:normal">And you can use other 3D objects like spheres, ellipsoids etc, for a thin slice of the data you can make your rectangular region small in one of the dimension.</span><br>
</pre>
<pre style="line-height:22px;text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><span style="margin:0px;padding:0px"><span style="font-family:arial;line-height:normal;color:rgb(34,34,34)">When making plots just pass in the sv 3D sub volume object instead of the usual pf for plotting the entire simulation.</span></span></pre>
<pre style="text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><font face="arial">Hope that helps.</font></pre><pre style="text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><font face="arial"><br>
</font></pre><pre style="text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><font face="arial">From</font></pre><pre style="text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><font face="arial">G.S.</font></pre>

<pre style="line-height:22px;text-align:justify;margin-bottom:0px;margin-top:0px;padding:0px"><span style="margin:0px;padding:0px"><span style="font-family:arial;line-height:normal;color:rgb(34,34,34)"><br>
</span></span></pre></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, Dec 6, 2013 at 8:41 AM, Junhwan Choi (최준환) <span dir="ltr"><<a href="mailto:choi.junhwan@gmail.com" target="_blank">choi.junhwan@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thank you Matt and Romain,<br>
<br>
Now, I understand it is a more fundamental issue in the yt with<br>
Ramses, and I need to wait yt to be updated.<br>
Meanwhile, is there any way I can access small fraction of the<br>
simulation data (such as thin slice of the data) and make some<br>
visualization plots such as thin projection and slice?<br>
If so, I can reduce the required memory.<br>
Is it possible?<br>
<br>
Thank you,<br>
Junhwan<br>
<div class="HOEnZb"><div class="h5"><br>
<br>
On Fri, Dec 6, 2013 at 8:56 AM, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>> wrote:<br>
> On Fri, Dec 6, 2013 at 9:54 AM, Romain Teyssier<br>
> <<a href="mailto:romain.teyssier@gmail.com">romain.teyssier@gmail.com</a>> wrote:<br>
>> One possibility would be to define a bounding box that yt uses to upload<br>
>> ramses data only when contained in this bounding box.<br>
>> This can be done efficiently using the Hilbert key.<br>
>><br>
>> Romain<br>
><br>
> That would be good, and we could probably port the code Doug Rudd<br>
> wrote to use SFC logic for detecting which zones to parse over to<br>
> RAMSES, as well.<br>
><br>
> Today is out for me on this, because of other things, but with this I<br>
> think we might be able to make it work in the near future, like<br>
> mid-next week, assuming all goes well otherwise.<br>
><br>
> -Matt<br>
><br>
>><br>
>> On 06 Dec 2013, at 15:49, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>> wrote:<br>
>><br>
>> Hi Junhwan,<br>
>><br>
>> There's some more background on this issue here:<br>
>><br>
>> <a href="http://lists.spacepope.org/pipermail/yt-users-spacepope.org/2013-November/004265.html" target="_blank">http://lists.spacepope.org/pipermail/yt-users-spacepope.org/2013-November/004265.html</a><br>
>><br>
>> Basically, what it amounts to is:<br>
>><br>
>> * Right now RAMSES uses too much memory and duplicates the full mesh<br>
>> on every processor<br>
>> * This is not how it will always be<br>
>> * Unfortunately changing this can't be prioritized in the next couple weeks<br>
>><br>
>> Your mesh is *particularly* large for what we've dealt with before.<br>
>> As it stands, I would be surprised if it will work.  The fix for this<br>
>> would be to change the Octrees to only parse on demand rather than at<br>
>> instantiation of the RAMSESHierarchy.  Sam Geen and I have talked a<br>
>> bit about this, and he may be interested in working on it.  It's a<br>
>> change that also will happen for N-body datasets (differently) and<br>
>> it's definitely planned to come, but it isn't being prioritized at<br>
>> this very moment because of other pressing concerns.<br>
>><br>
>> On Thu, Dec 5, 2013 at 10:47 PM, Junhwan Choi (최준환)<br>
>> <<a href="mailto:choi.junhwan@gmail.com">choi.junhwan@gmail.com</a>> wrote:<br>
>><br>
>> Hi all,<br>
>><br>
>> I try to make some visualizations (density/temperature project) for<br>
>> large simulation with yt.<br>
>> The simulation is 4096^3 unigrid Ramses simulation.<br>
>><br>
>> I try to implement the basics density and temperature projection plot<br>
>> with following script and I got memory problem and yt run is crashed.<br>
>> =====<br>
>> from yt.mods import *<br>
>><br>
>> ds = load("../output_00048/info_00048.txt", fields =<br>
>> ["Density","x-velocity",<br>
>> "y-velocity","z-velocity","Pressure","Metallicity","Rad"])<br>
>> center = [0., 0., 0.]<br>
>><br>
>> pw = ProjectionPlot(ds, "x", ("gas", "Density"),<br>
>> weight_field="Density", center=center)<br>
>> pw.zoom(1.01)<br>
>> pw.save("allviewGas")<br>
>> pw = ProjectionPlot(ds, "y", ("gas", "Density"),<br>
>> weight_field="Density", center=center)<br>
>> pw.zoom(1.01)<br>
>> pw.save("allviewGas")<br>
>> pw = ProjectionPlot(ds, "z", ("gas", "Density") ,<br>
>> weight_field="Density", center=center)<br>
>> pw.zoom(1.01)<br>
>> pw.save("allviewGas")<br>
>><br>
>> pw = ProjectionPlot(ds, "x", "Temperature", weight_field="Density",<br>
>> center=center)<br>
>> pw.zoom(1.01)<br>
>> pw.save("allviewGas")<br>
>> pw = ProjectionPlot(ds, "y", "Temperature", weight_field="Density",<br>
>> center=center)<br>
>> pw.zoom(1.01)<br>
>> pw.save("allviewGas")<br>
>> pw = ProjectionPlot(ds, "z", "Temperature" , weight_field="Density",<br>
>> center=center)<br>
>> pw.zoom(1.01)<br>
>> pw.save("allviewGas")<br>
>> ====<br>
>><br>
>> Is there any way to reduce the memory usage when I make visualization?<br>
>> If I use slice instead of projection, can I save the memory?<br>
>> I saw there is parallelization for yt. Does parallelization distribute<br>
>> the data at the beginning of the read?<br>
>> (But, I prefer to do so w/o parallelization at this moment.)<br>
>><br>
>><br>
>> In principle, yes, slices will considerably reduce the memory, modulo<br>
>> the overhead from having all your octrees in memory at once -- which<br>
>> will be considerable.<br>
>><br>
>> I will spend some time thinking if there's a hotfix we can apply to<br>
>> make this work for you right now, as is, but I suspect it may be a<br>
>> little time until it can be properly implemented.<br>
>><br>
>> -Matt<br>
>><br>
>><br>
>> Thank you in advance,<br>
>> Junhwan<br>
>> _______________________________________________<br>
>> yt-users mailing list<br>
>> <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
>><br>
>> _______________________________________________<br>
>> yt-users mailing list<br>
>> <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
>><br>
>><br>
>><br>
>> _______________________________________________<br>
>> yt-users mailing list<br>
>> <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
>><br>
> _______________________________________________<br>
> yt-users mailing list<br>
> <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
_______________________________________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
</div></div></blockquote></div><br></div>