<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 7, 2017 at 1:13 PM, Yingchao Lu <span dir="ltr"><<a href="mailto:yingchao.lu@rice.edu" target="_blank">yingchao.lu@rice.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-US" link="#0563C1" vlink="#954F72"><div class="m_3565231475041202178WordSection1"><p class="MsoNormal"><span style="font-size:11.0pt">Hi All,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">I want to do a time query over multiply hdf5 files as following:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">import yt<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">from glob import glob<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">fns = glob(‘flash_hdf5_plf_*’)<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">data = []<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">for fn in fns:<u></u><u></u></span></p><p class="MsoNormal" style="text-indent:10.15pt"><span style="font-size:11.0pt">ds = yt.load(fn)<u></u><u></u></span></p><p class="MsoNormal" style="text-indent:10.15pt"><span style="font-size:11.0pt">pt = ds.point([0,0,0])<u></u><u></u></span></p><p class="MsoNormal" style="text-indent:10.15pt"><span style="font-size:11.0pt">data.append([ds.parameters[‘<wbr>time’], pt.mean(‘tele’)])<u></u><u></u></span></p><p class="MsoNormal" style="text-indent:10.15pt"><span style="font-size:11.0pt">ds.close()<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">print data<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">At the beginning, it takes about 1s to process each file. But later, it becomes slower and slower. Finally, 100 files cost 10 minutes, much large than 1s*100. I guess maybe the database is not fully closed. </span></p></div></div></blockquote><div><br></div><div>Doing "del ds" should completely close and free the dataset object (although python's garbage collector should be doing that each iteration of your for loop).</div><div><br></div><div>There are some operations in your script (in particular "pt.mean('tele')") that might be slower later in the time series, especially if the number of cells in the simulation increases with time.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-US" link="#0563C1" vlink="#954F72"><div class="m_3565231475041202178WordSection1"><p class="MsoNormal"><span style="font-size:11.0pt">When I try ds.field_info() after ds.close(), it still displays the field information. Does anyone have the same problem?<span class="HOEnZb"><font color="#888888"><u></u><u></u></font></span></span></p><span class="HOEnZb"><font color="#888888"><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt">Yingchao<u></u><u></u></span></p></font></span></div></div><br>______________________________<wbr>_________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
<br></blockquote></div><br></div></div>