<div dir="ltr">Hi all,<div><br></div><div>I just want to emphasize that this can be used for a couple really important things:</div><div>1. While developing a new piece of machinery, make a reference of results once you feel like whatever you're working on is giving the right answer.  Then, you can use this to continually test that as you work on things, like optimization, that shouldn't change the answers you're getting.</div>
<div>2. If you want to know whether an incoming pull request changes something you're working on, run a test and create some reference answers, then pull in the PR, rerun the test, and compare.</div><div><br></div><div>
This second thing is something that just about anyone can do to help out with testing and evaluating of PRs.  If you have some functionality that isn't a part of the standard test suite, then doing this can be extremely valuable.</div>
<div><br></div><div>Britton</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jan 27, 2014 at 1:05 PM, Matthew Turk <span dir="ltr"><<a href="mailto:matthewturk@gmail.com" target="_blank">matthewturk@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi all,<br>
<br>
Just as a quick note, Britton, Nathan and I came up with a very simple<br>
answer testing mechanism.  Originally we did this for the unit<br>
refactor.  Here's the PR, with some explanation:<br>
<br>
<a href="https://bitbucket.org/MatthewTurk/yt/pull-request/36/adding-simple-answer-testing" target="_blank">https://bitbucket.org/MatthewTurk/yt/pull-request/36/adding-simple-answer-testing</a><br>
<br>
This will be added to the docs soon, but the long and the short is<br>
that if you can define a function that returns an array, you can<br>
easily check that the answer remains the same by comparing<br>
min,max,sum,std,size, and (optionally) the hash.  You just have to do<br>
something like this:<br>
<br>
<a href="http://paste.yt-project.org/show/4239/" target="_blank">http://paste.yt-project.org/show/4239/</a><br>
<br>
or,<br>
<br>
<a href="http://paste.yt-project.org/show/4245/" target="_blank">http://paste.yt-project.org/show/4245/</a><br>
<br>
If you run with --answer-reference on the command line, it stores, and<br>
if not, it compares.  It'll also pop off a result_basename kwarg to<br>
the function in case you want to run it multiple times with different<br>
result names.<br>
<br>
Anyway, I've just pushed it into the main 3.0 branch, and at some<br>
point it should probably be added to the 2.x branch too.<br>
<br>
-Matt<br>
_______________________________________________<br>
yt-dev mailing list<br>
<a href="mailto:yt-dev@lists.spacepope.org">yt-dev@lists.spacepope.org</a><br>
<a href="http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org" target="_blank">http://lists.spacepope.org/listinfo.cgi/yt-dev-spacepope.org</a><br>
</blockquote></div><br></div>