<div><div dir="auto">Hi Tomer,</div><div dir="auto"><br></div><div dir="auto">A couple questions:</div><div dir="auto"><br></div><div dir="auto">1. Does it take hours to load these files on a laptop?</div><div dir="auto"><br></div><div dir="auto">2. What sort of data are you working with? How big are the data files?</div><div dir="auto"><br></div><div dir="auto">3. When you say “load” the data, is that just doing yt.load or are you doing any I/O?</div><div dir="auto"><br></div><div dir="auto">Nathan</div><br><div class="gmail_quote"><div>On Tue, Nov 28, 2017 at 4:56 AM Tomer Nussbaum <<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.huji.ac.il</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Tomer Nussbaum</b> <span><<a href="mailto:tomer.nussbaum@mail.huji.ac.il" target="_blank">tomer.nussbaum@mail.huji.ac.il</a>></span><br>Date: Thu, Nov 23, 2017 at 6:08 PM<br>Subject: Cluster best configurations for YT<br>To: <a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a><br><br><br><div><br>Hi,<br><br><span style="font-size:12.8px">We have updated our cluster lately, but our YT platform works very slow (loads one snapshot an hour, when couple of people run together...).</span><br><span style="font-size:12.8px">I wanted to ask you if you can help solving this issue from your </span><span style="color:rgb(84,84,84)">experience</span><span style="font-size:12.8px">.</span><br><br><span style="font-size:12.8px">We use infiniband, and we see that the main problem is lots of request in random access to our hard drives, <br>so the problem can be in fine tuning YT on the Nodes, or fine tuning the file system</span><br><br><span style="font-size:12.8px">This brings up this couple of issues (maybe more, if you have another idea, I would be thankful to know):</span><div><ol><li><b style="font-size:12.8px">IO readings - </b><span style="font-size:12.8px">Is there a way to optimize the io readings requests to the file server?</span><br></li><li style="font-size:12.8px"><b>YT configurations -</b> Are there specific parameters in the YT configuration for this status? </li><li><span style="font-size:12.8px"><b>File server behavior -</b> Can we set reading server functions (we use hard drives, serial reading status)?</span></li><li><span style="font-size:12.8px"><b>Metadata cache -</b> Does using metadata cache will solve the issue? </span></li><li><span style="font-size:12.8px"><b>zlib usage - </b>How can I check if this feature is activated, how much is it important in the YT platform? </span></li></ol><div><span style="font-size:12.8px"><br></span></div><span style="font-size:12.8px">I will really appreciate any help with it,</span><br>Thanx,<br>Tomer<br><p style="font-size:12.8px"></p></div></div>
</div><br></div>
_______________________________________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
</blockquote></div></div>