<div dir="ltr">Hi,<div><br></div><div>Thank for answering,</div><div>My question is what are you doing now in order to have fast computations, without changing any YT code.</div><div>Is there something That can be solved by change in the YT configurations? (Do I understand from your answer that no?)</div><div>How are you handling many group members using the same files together? Do you use SSD drives? Do you copy each snapshot to the node and then compute?</div><div>Do you do some of what I asked about? Do you have any other special tricks?</div><div><br></div><div>Thank,</div><div>Tomer</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 28, 2017 at 7:53 PM,  <span dir="ltr"><<a href="mailto:yt-users-request@lists.spacepope.org" target="_blank">yt-users-request@lists.spacepope.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Send yt-users mailing list submissions to<br>
        <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
<br>
To subscribe or unsubscribe via the World Wide Web, visit<br>
        <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
or, via email, send a message with subject or body 'help' to<br>
        <a href="mailto:yt-users-request@lists.spacepope.org">yt-users-request@lists.<wbr>spacepope.org</a><br>
<br>
You can reach the person managing the list at<br>
        <a href="mailto:yt-users-owner@lists.spacepope.org">yt-users-owner@lists.<wbr>spacepope.org</a><br>
<br>
When replying, please edit your Subject line so it is more specific<br>
than "Re: Contents of yt-users digest..."<br>
<br>
<br>
Today's Topics:<br>
<br>
   1. Re: yt-users Digest, Vol 117, Issue 31 (Matthew Turk)<br>
<br>
<br>
------------------------------<wbr>------------------------------<wbr>----------<br>
<br>
Message: 1<br>
Date: Tue, 28 Nov 2017 11:52:57 -0600<br>
From: Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>><br>
To: Discussion of the yt analysis package<br>
        <<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a>><br>
Subject: Re: [yt-users] yt-users Digest, Vol 117, Issue 31<br>
Message-ID:<br>
        <CALO3=5Hu9VJLYA9yAZEPdACLUi+<wbr>RfYwhABD78du+vsacJW=<a href="mailto:wXA@mail.gmail.com">wXA@mail.<wbr>gmail.com</a>><br>
Content-Type: text/plain; charset="utf-8"<br>
<br>
Hi Tomer,<br>
<br>
Both the ARTIO frontend and the NMSU-ART frontends could definitely be<br>
improved in their number of disk accesses, but like Kacper said, getting a<br>
handle on where they are occurring would be the best first step, I think.<br>
Then we can take it from there.<br>
<br>
On Tue, Nov 28, 2017 at 11:25 AM, Kacper Kowalik <<a href="mailto:xarthisius.kk@gmail.com">xarthisius.kk@gmail.com</a>><br>
wrote:<br>
<br>
> Hi Tomer,<br>
> unfortunately we don't have any means of fine tuning yt's i/o on a low<br>
> level. Short of profiling ART frontend and trying to decrease the number<br>
> of iops, I'm afraid there's not much to be done.<br>
><br>
> Having said that, I'd try to debug your GPFS too with something<br>
> different than yt and simpler. Maybe a single hdf5 file with a large<br>
> array and simultaneous access to a random row/column with each process?<br>
><br>
> 20 concurrent reads sounds like something that GPFS should handle<br>
> without degradation of performance from 10s to hours.<br>
><br>
> Cheers,<br>
> Kacper<br>
><br>
> On 11/28/2017 11:01 AM, Tomer Nussbaum wrote:<br>
> > Hi Nathan,<br>
> ><br>
> > Thank you for answering,<br>
> ><br>
> > 1. Does it take hours to load these files on a laptop?<br>
> > # Ans: Nope, It take 10 sec.<br>
> > # It takes us lots of time on the cluster when we parallel the jobs,<br>
> > above 20 yt.load calls toghter.<br>
> > # We toke a look at our GPFS, it looks like there are many IOP that<br>
> > flood the GPFS, (it is currently a serial reading at our GPFS)<br>
> ><br>
> > 2. What sort of data are you working with? How big are the data files?<br>
> > # Ans: We are working on Vela sims, it's ART simulations, 5GB per<br>
> > snapshot ruffly.<br>
> ><br>
> > 3. When you say ?load? the data, is that just doing yt.load or are you<br>
> > doing any I/O?<br>
> > # Ans: load=yt.load and then creating a sphere obj and reading gas<br>
> > particles from it.<br>
> ><br>
> > Thank,<br>
> > Tomer<br>
><br>
> > On Tue, Nov 28, 2017 at 6:31 PM, <<a href="mailto:yt-users-request@lists.spacepope.org">yt-users-request@lists.<wbr>spacepope.org</a><br>
> > <mailto:<a href="mailto:yt-users-request@lists.spacepope.org">yt-users-request@<wbr>lists.spacepope.org</a>>> wrote:<br>
> ><br>
> >     Send yt-users mailing list submissions to<br>
> >             <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
> >     <mailto:<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.<wbr>spacepope.org</a>><br>
> ><br>
> >     To subscribe or unsubscribe via the World Wide Web, visit<br>
> ><br>
> >     <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
> >     <<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a>><br>
> >     or, via email, send a message with subject or body 'help' to<br>
> >             <a href="mailto:yt-users-request@lists.spacepope.org">yt-users-request@lists.<wbr>spacepope.org</a><br>
> >     <mailto:<a href="mailto:yt-users-request@lists.spacepope.org">yt-users-request@<wbr>lists.spacepope.org</a>><br>
> ><br>
> >     You can reach the person managing the list at<br>
> >             <a href="mailto:yt-users-owner@lists.spacepope.org">yt-users-owner@lists.<wbr>spacepope.org</a><br>
> >     <mailto:<a href="mailto:yt-users-owner@lists.spacepope.org">yt-users-owner@lists.<wbr>spacepope.org</a>><br>
> ><br>
> >     When replying, please edit your Subject line so it is more specific<br>
> >     than "Re: Contents of yt-users digest..."<br>
> ><br>
> ><br>
> >     Today's Topics:<br>
> ><br>
> >        1. Fwd: Cluster best configurations for YT (Tomer Nussbaum)<br>
> >        2. Re: Fwd: Cluster best configurations for YT (Nathan Goldbaum)<br>
> ><br>
> ><br>
> >     ------------------------------<wbr>------------------------------<br>
> ----------<br>
> ><br>
> >     Message: 1<br>
> >     Date: Tue, 28 Nov 2017 11:55:56 +0200<br>
> >     From: Tomer Nussbaum <<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.huji.ac.<wbr>il</a><br>
> >     <mailto:<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.<wbr>huji.ac.il</a>>><br>
> >     To: <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a> <mailto:<a href="mailto:yt-users@lists">yt-users@lists</a>.<br>
> <a href="http://spacepope.org" rel="noreferrer" target="_blank">spacepope.org</a>><br>
> >     Subject: [yt-users] Fwd: Cluster best configurations for YT<br>
> >     Message-ID:<br>
> ><br>
> >     <CAOGC2jACH1Q4QLfFNi8h7p=<a href="mailto:XhqEFvnp-6g17FUv6aDN2vSvqWg@mail.gmail.com">XhqEF<wbr>vnp-6g17FUv6aDN2vSvqWg@mail.<wbr>gmail.com</a><br>
> >     <mailto:<a href="mailto:XhqEFvnp-6g17FUv6aDN2vSvqWg@mail.gmail.com">XhqEFvnp-<wbr>6g17FUv6aDN2vSvqWg@mail.gmail.<wbr>com</a>>><br>
> >     Content-Type: text/plain; charset="utf-8"<br>
> ><br>
> >     ---------- Forwarded message ----------<br>
> >     From: Tomer Nussbaum <<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.huji.ac.<wbr>il</a><br>
> >     <mailto:<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.<wbr>huji.ac.il</a>>><br>
> >     Date: Thu, Nov 23, 2017 at 6:08 PM<br>
> >     Subject: Cluster best configurations for YT<br>
> >     To: <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a> <mailto:<a href="mailto:yt-users@lists">yt-users@lists</a>.<br>
> <a href="http://spacepope.org" rel="noreferrer" target="_blank">spacepope.org</a>><br>
> ><br>
> ><br>
> ><br>
> >     Hi,<br>
> ><br>
> >     We have updated our cluster lately, but our YT platform works very<br>
> slow<br>
> >     (loads one snapshot an hour, when couple of people run together...).<br>
> >     I wanted to ask you if you can help solving this issue from your<br>
> >     experience.<br>
> ><br>
> >     We use infiniband, and we see that the main problem is lots of<br>
> >     request in<br>
> >     random access to our hard drives,<br>
> >     so the problem can be in fine tuning YT on the Nodes, or fine tuning<br>
> the<br>
> >     file system<br>
> ><br>
> >     This brings up this couple of issues (maybe more, if you have<br>
> >     another idea,<br>
> >     I would be thankful to know):<br>
> ><br>
> >        1. *IO readings - *Is there a way to optimize the io readings<br>
> >     requests<br>
> >        to the file server?<br>
> >        2. *YT configurations -* Are there specific parameters in the YT<br>
> >        configuration for this status?<br>
> >        3. *File server behavior -* Can we set reading server functions<br>
> >     (we use<br>
> >        hard drives, serial reading status)?<br>
> >        4. *Metadata cache -* Does using metadata cache will solve the<br>
> issue?<br>
> >        5. *zlib usage - *How can I check if this feature is activated,<br>
> >     how much<br>
> >        is it important in the YT platform?<br>
> ><br>
> ><br>
> >     I will really appreciate any help with it,<br>
> >     Thanx,<br>
> >     Tomer<br>
> >     -------------- next part --------------<br>
> >     An HTML attachment was scrubbed...<br>
> >     URL:<br>
> >     <<a href="http://lists.spacepope.org/pipermail/yt-users-spacepope" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>pipermail/yt-users-spacepope</a>.<br>
> org/attachments/20171128/<wbr>cde38586/attachment-0001.html<br>
> >     <<a href="http://lists.spacepope.org/pipermail/yt-users-spacepope" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>pipermail/yt-users-spacepope</a>.<br>
> org/attachments/20171128/<wbr>cde38586/attachment-0001.html><wbr>><br>
> ><br>
> >     ------------------------------<br>
> ><br>
> >     Message: 2<br>
> >     Date: Tue, 28 Nov 2017 12:42:40 +0000<br>
> >     From: Nathan Goldbaum <<a href="mailto:nathan12343@gmail.com">nathan12343@gmail.com</a><br>
> >     <mailto:<a href="mailto:nathan12343@gmail.com">nathan12343@gmail.com</a>><wbr>><br>
> >     To: Discussion of the yt analysis package<br>
> >             <<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
> >     <mailto:<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.<wbr>spacepope.org</a>>><br>
> >     Subject: Re: [yt-users] Fwd: Cluster best configurations for YT<br>
> >     Message-ID:<br>
> ><br>
> >     <<a href="mailto:CAJXewOk9tCL-TCTQef9Up-mTj-qgVFJp6yHZXmwQ8SReoV4h8A@mail.gmail.com">CAJXewOk9tCL-TCTQef9Up-mTj-<wbr>qgVFJp6yHZXmwQ8SReoV4h8A@mail.<wbr>gmail.com</a><br>
> >     <mailto:<a href="mailto:CAJXewOk9tCL-TCTQef9Up-mTj-qgVFJp6yHZXmwQ8SReoV4h8A@mail">CAJXewOk9tCL-<wbr>TCTQef9Up-mTj-<wbr>qgVFJp6yHZXmwQ8SReoV4h8A@mail</a>.<br>
> <a href="http://gmail.com" rel="noreferrer" target="_blank">gmail.com</a>>><br>
> >     Content-Type: text/plain; charset="utf-8"<br>
> ><br>
> >     Hi Tomer,<br>
> ><br>
> >     A couple questions:<br>
> ><br>
> >     1. Does it take hours to load these files on a laptop?<br>
> ><br>
> >     2. What sort of data are you working with? How big are the data<br>
> files?<br>
> ><br>
> >     3. When you say ?load? the data, is that just doing yt.load or are<br>
> you<br>
> >     doing any I/O?<br>
> ><br>
> >     Nathan<br>
> ><br>
> >     On Tue, Nov 28, 2017 at 4:56 AM Tomer Nussbaum <<br>
> >     <a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.huji.ac.il</a><br>
> >     <mailto:<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.<wbr>huji.ac.il</a>>> wrote:<br>
> ><br>
> >     ><br>
> >     > ---------- Forwarded message ----------<br>
> >     > From: Tomer Nussbaum <<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.huji.ac.<wbr>il</a><br>
> >     <mailto:<a href="mailto:tomer.nussbaum@mail.huji.ac.il">tomer.nussbaum@mail.<wbr>huji.ac.il</a>>><br>
> >     > Date: Thu, Nov 23, 2017 at 6:08 PM<br>
> >     > Subject: Cluster best configurations for YT<br>
> >     > To: <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a> <mailto:<a href="mailto:yt-users@lists">yt-users@lists</a>.<br>
> <a href="http://spacepope.org" rel="noreferrer" target="_blank">spacepope.org</a>><br>
> >     ><br>
> >     ><br>
> >     ><br>
> >     > Hi,<br>
> >     ><br>
> >     > We have updated our cluster lately, but our YT platform works very<br>
> >     slow<br>
> >     > (loads one snapshot an hour, when couple of people run<br>
> together...).<br>
> >     > I wanted to ask you if you can help solving this issue from your<br>
> >     > experience.<br>
> >     ><br>
> >     > We use infiniband, and we see that the main problem is lots of<br>
> >     request in<br>
> >     > random access to our hard drives,<br>
> >     > so the problem can be in fine tuning YT on the Nodes, or fine<br>
> >     tuning the<br>
> >     > file system<br>
> >     ><br>
> >     > This brings up this couple of issues (maybe more, if you have<br>
> another<br>
> >     > idea, I would be thankful to know):<br>
> >     ><br>
> >     >    1. *IO readings - *Is there a way to optimize the io readings<br>
> >     requests<br>
> >     >    to the file server?<br>
> >     >    2. *YT configurations -* Are there specific parameters in the YT<br>
> >     >    configuration for this status?<br>
> >     >    3. *File server behavior -* Can we set reading server functions<br>
> (we<br>
> >     >    use hard drives, serial reading status)?<br>
> >     >    4. *Metadata cache -* Does using metadata cache will solve the<br>
> >     issue?<br>
> >     >    5. *zlib usage - *How can I check if this feature is activated,<br>
> how<br>
> >     >    much is it important in the YT platform?<br>
> >     ><br>
> >     ><br>
> >     > I will really appreciate any help with it,<br>
> >     > Thanx,<br>
> >     > Tomer<br>
> >     ><br>
> >     ><br>
> >     > ______________________________<wbr>_________________<br>
> >     > yt-users mailing list<br>
> >     > <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a> <mailto:<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.<wbr>spacepope.org</a>><br>
> >     > <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
> >     <<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a>><br>
> >     ><br>
> >     -------------- next part --------------<br>
> >     An HTML attachment was scrubbed...<br>
> >     URL:<br>
> >     <<a href="http://lists.spacepope.org/pipermail/yt-users-spacepope" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>pipermail/yt-users-spacepope</a>.<br>
> org/attachments/20171128/<wbr>854b8a3d/attachment-0001.html<br>
> >     <<a href="http://lists.spacepope.org/pipermail/yt-users-spacepope" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>pipermail/yt-users-spacepope</a>.<br>
> org/attachments/20171128/<wbr>854b8a3d/attachment-0001.html><wbr>><br>
> ><br>
> >     ------------------------------<br>
> ><br>
> >     Subject: Digest Footer<br>
> ><br>
> >     ______________________________<wbr>_________________<br>
> >     yt-users mailing list<br>
> >     <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a> <mailto:<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.<wbr>spacepope.org</a>><br>
> >     <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
> >     <<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a>><br>
> ><br>
> ><br>
> >     ------------------------------<br>
> ><br>
> >     End of yt-users Digest, Vol 117, Issue 31<br>
> >     ******************************<wbr>***********<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > ______________________________<wbr>_________________<br>
> > yt-users mailing list<br>
> > <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
> > <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
> ><br>
><br>
><br>
><br>
> ______________________________<wbr>_________________<br>
> yt-users mailing list<br>
> <a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
><br>
><br>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL: <<a href="http://lists.spacepope.org/pipermail/yt-users-spacepope.org/attachments/20171128/1708bea9/attachment.html" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>pipermail/yt-users-spacepope.<wbr>org/attachments/20171128/<wbr>1708bea9/attachment.html</a>><br>
<br>
------------------------------<br>
<br>
Subject: Digest Footer<br>
<br>
______________________________<wbr>_________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" rel="noreferrer" target="_blank">http://lists.spacepope.org/<wbr>listinfo.cgi/yt-users-<wbr>spacepope.org</a><br>
<br>
<br>
------------------------------<br>
<br>
End of yt-users Digest, Vol 117, Issue 33<br>
******************************<wbr>***********<br>
</blockquote></div><br></div>