<br><br><div class="gmail_quote">On Thu Dec 04 2014 at 2:54:52 PM John ZuHone <<a href="mailto:jzuhone@gmail.com">jzuhone@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
I know that parallelizing a single projection doesn’t really give you that much speed benefit.<br>
<br>
But what would happen if I tried to do something like this (please excuse the Python pseudocode):<br>
<br>
fields = [big list of fields I want to project]<br>
<br>
prj = ds.proj(“ones”, 2)<br>
frb = prj.to_frb(…)<br>
<br>
storage = {}<br>
for sto, fd in parallel_objects(fields, storage=storage):<br>
        buf = frb[fd]<br>
<br>
        sto.result_id = fd<br>
        sto.result = buf<br></blockquote><div><br></div><div>What happens if you do something like:</div><div><br></div><div><div>storage = {}<br></div><div>for sto, fd in parallel_objects(fields, storage=storage):</div><div>        prj = ds.proj(fd, 2)</div><div>        frb = prj.to_frb(…)</div><div>        buf = frb[fd]</div><div><br></div><div>        sto.result_id = fd</div><div>        sto.result = buf</div></div><div> </div><div>?</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
I did something like this but it hung at the end, which makes me think that I’ve got some kind of blocking operation here that I’m not aware of.<br>
<br>
Best,<br>
<br>
John<br>
______________________________<u></u>_________________<br>
yt-users mailing list<br>
<a href="mailto:yt-users@lists.spacepope.org" target="_blank">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/<u></u>listinfo.cgi/yt-users-<u></u>spacepope.org</a><br>
</blockquote></div>