You'll probably also want to follow Brian's instructions for mpi4py if you're going t be using yt's parallelism. The install script doesn't set that up since we can't assume people have an MPI installation.<span></span><br><br>On Wednesday, April 20, 2016, Matthew Turk <<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Jonah,<br>
<br>
Just make sure you use the from-source option, and you can pull<br>
whatever changesets you like into your source directory in your<br>
installation.<br>
<br>
On Wed, Apr 20, 2016 at 4:34 PM, Jonah Miller<br>
<<a href="javascript:;" onclick="_e(event, 'cvml', 'jonah.maxwell.miller@gmail.com')">jonah.maxwell.miller@gmail.com</a>> wrote:<br>
> Hi Brian, Matt,<br>
><br>
> Thanks a lot! These instructions are exactly what I was hoping for!<br>
> Regarding the all-in-one install script, that won't work if I want to<br>
> install a fork of yt though, will it? This is to test my carpet frontend on<br>
> some production data.<br>
><br>
> Best,<br>
> Jonah<br>
><br>
><br>
> On 16-04-20 05:24 PM, Matthew Turk wrote:<br>
>><br>
>> I think it's a lot easier now that the new install script has been merged<br>
>> in:<br>
>><br>
>><br>
>> <a href="http://lists.spacepope.org/pipermail/yt-dev-spacepope.org/2016-April/006350.html" target="_blank">http://lists.spacepope.org/pipermail/yt-dev-spacepope.org/2016-April/006350.html</a><br>
>><br>
>> -Matt<br>
>><br>
>> On Wed, Apr 20, 2016 at 4:22 PM, Brian O'Shea <<a href="javascript:;" onclick="_e(event, 'cvml', 'bwoshea@gmail.com')">bwoshea@gmail.com</a>> wrote:<br>
>>><br>
>>> Yes indeed.  It's a gigantic pain.  Here are instructions.  Good luck!<br>
>>><br>
>>> -----------------<br>
>>><br>
>>> 0) Get the GNU software environment set up:  “module swap PrgEnv-cray<br>
>>> PrgEnv-gnu” .  This will be necessary later.<br>
>>><br>
>>> 1)  Install the Anaconda python distribution<br>
>>> (<a href="https://store.continuum.io/cshop/anaconda/" target="_blank">https://store.continuum.io/cshop/anaconda/</a>) for 64-bit Linux systems.<br>
>>> Refresh your path so the Anaconda python’s in your path.<br>
>>><br>
>>> 2)  Download mpi4py from <a href="https://bitbucket.org/mpi4py/mpi4py/" target="_blank">https://bitbucket.org/mpi4py/mpi4py/</a>, or grab it<br>
>>> from my home directory on Blue Waters (~bwoshea/mpi4py-1.3.1.tar.gz).<br>
>>><br>
>>> 3)  Once you’ve unpacked it in your home directory, edit the file<br>
>>> mpi.cfg,<br>
>>> which is in the top-level mpi4py directory, and add the following chunk<br>
>>> of<br>
>>> text at the end of the file:<br>
>>><br>
>>> [cray]<br>
>>> mpicc = cc<br>
>>> mpicxx = CC<br>
>>> extra_link_args = -shared<br>
>>><br>
>>> then, in the top-level mpi4py directory, type:<br>
>>><br>
>>> python setup.py build --mpi=cray<br>
>>> python setp.py install<br>
>>><br>
>>> At this point, you should have a functional version of mpi4py that uses<br>
>>> the<br>
>>> cray MPI libraries.<br>
>>><br>
>>> 4)  You can then install yt via source in your home directory:<br>
>>><br>
>>> hg clone <a href="https://bitbucket.org/yt_analysis/yt" target="_blank">https://bitbucket.org/yt_analysis/yt</a><br>
>>> hg update yt<br>
>>> python setup.py develop<br>
>>><br>
>>> And it should work, though you’re going to need to modify your<br>
>>> LD_LIBRARY_PATH to point to your anaconda /lib directory.  You can verify<br>
>>> that yt and mpi4py are playing nicely together by running the scripts<br>
>>> hw_MPI.py and yt_parallel_test.py, both of which are sitting in my home<br>
>>> directory.  (Note that you can do this via batch script or through the<br>
>>> interactive queue, both with aprun - you can’t just do it from the login<br>
>>> node.)<br>
>>><br>
>>> 5) and, optionally, if you want to install Rockstar using yt from source,<br>
>>> you do the following:<br>
>>><br>
>>> hg clone <a href="http://bitbucket.org/MatthewTurk/rockstar" target="_blank">http://bitbucket.org/MatthewTurk/rockstar</a><br>
>>> cd rockstar<br>
>>> hg pull<br>
>>> hg up -C tip<br>
>>> make lib<br>
>>><br>
>>> and *then* make a file called rockstar.cfg that has a single line of<br>
>>> text:<br>
>>> the path of the rockstar source code directory.  At that point, you need<br>
>>> to<br>
>>> run “python setup.py develop” again, and yt will recognize that rockstar<br>
>>> has<br>
>>> been installed and play nicely with it.  You will likely also have to<br>
>>> modify<br>
>>> your LD_LIBRARY_PATH to point at your rockstar directory so it can find<br>
>>> the<br>
>>> rockstar library (librockstar.so).<br>
>>><br>
>>><br>
>>> On Wed, Apr 20, 2016 at 5:04 PM, Jonah Miller<br>
>>> <<a href="javascript:;" onclick="_e(event, 'cvml', 'jonah.maxwell.miller@gmail.com')">jonah.maxwell.miller@gmail.com</a>> wrote:<br>
>>>><br>
>>>> Hi yt users,<br>
>>>><br>
>>>> Does anybody have experience installing the development version of yt on<br>
>>>> blue waters (as opposed to relying on the module pre-provided)? If so,<br>
>>>> do<br>
>>>> you have any tips or gotchas? I will be attempting an installation in<br>
>>>> the<br>
>>>> next few days and I'm sort of hoping it's a solved problem.<br>
>>>><br>
>>>> Best,<br>
>>>> Jonah Miller<br>
>>>> _______________________________________________<br>
>>>> yt-users mailing list<br>
>>>> <a href="javascript:;" onclick="_e(event, 'cvml', 'yt-users@lists.spacepope.org')">yt-users@lists.spacepope.org</a><br>
>>>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
>>><br>
>>><br>
>>><br>
>>> _______________________________________________<br>
>>> yt-users mailing list<br>
>>> <a href="javascript:;" onclick="_e(event, 'cvml', 'yt-users@lists.spacepope.org')">yt-users@lists.spacepope.org</a><br>
>>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
>>><br>
>> _______________________________________________<br>
>> yt-users mailing list<br>
>> <a href="javascript:;" onclick="_e(event, 'cvml', 'yt-users@lists.spacepope.org')">yt-users@lists.spacepope.org</a><br>
>> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
><br>
><br>
> _______________________________________________<br>
> yt-users mailing list<br>
> <a href="javascript:;" onclick="_e(event, 'cvml', 'yt-users@lists.spacepope.org')">yt-users@lists.spacepope.org</a><br>
> <a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
_______________________________________________<br>
yt-users mailing list<br>
<a href="javascript:;" onclick="_e(event, 'cvml', 'yt-users@lists.spacepope.org')">yt-users@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-users-spacepope.org</a><br>
</blockquote>