<div dir="ltr"><br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Tomer Nussbaum</b> <span dir="ltr"><<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.huji.ac.il</a>></span><br>Date: Thu, Nov 23, 2017 at 6:08 PM<br>Subject: Cluster best configurations for YT<br>To: <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br><br><br><div dir="ltr"><br>Hi,<br><br><span style="font-size:12.8px">We have updated our cluster lately, but our YT platform works very slow (loads one snapshot an hour, when couple of people run together...).</span><br><span style="font-size:12.8px">I wanted to ask you if you can help solving this issue from your </span><span style="color:rgb(84,84,84)">experience</span><span style="font-size:12.8px">.</span><br><br><span style="font-size:12.8px">We use infiniband, and we see that the main problem is lots of request in random access to our hard drives, <br>so the problem can be in fine tuning YT on the Nodes, or fine tuning the file system</span><br><br><span style="font-size:12.8px">This brings up this couple of issues (maybe more, if you have another idea, I would be thankful to know):</span><div><ol><li><b style="font-size:12.8px">IO readings - </b><span style="font-size:12.8px">Is there a way to optimize the io readings requests to the file server?</span><br></li><li style="font-size:12.8px"><b>YT configurations -</b> Are there specific parameters in the YT configuration for this status? </li><li><span style="font-size:12.8px"><b>File server behavior -</b> Can we set reading server functions (we use hard drives, serial reading status)?</span></li><li><span style="font-size:12.8px"><b>Metadata cache -</b> Does using metadata cache will solve the issue? </span></li><li><span style="font-size:12.8px"><b>zlib usage - </b>How can I check if this feature is activated, how much is it important in the YT platform? </span></li></ol><div><span style="font-size:12.8px"><br></span></div><span style="font-size:12.8px">I will really appreciate any help with it,</span><br>Thanx,<br>Tomer<br><p style="font-size:12.8px"></p></div></div>
</div><br></div>