<div dir="ltr">Dear Prof. Marks,<div><br></div><div style>   Thank you again !</div><div style>   I will do the tests and tell you what happen.</div><div style>   All the best,</div><div style>                Luis</div><div style>
<br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">2013/8/3 Laurence Marks <span dir="ltr">&lt;<a href="mailto:L-marks@northwestern.edu" target="_blank">L-marks@northwestern.edu</a>&gt;</span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I am not sure if I can give you the right answer; My guess is to have<br>
it as 1, but I do not know all the details of your system and if I<br>
remember right you have an sgi system. Try both, then let us/me know<br>
what works (or does not).<br>
<br>
For reference, I have it working fine with USE_REMOTE 1, and I don&#39;t<br>
currently want to change to test (particularly as I am on travel).<br>
<div class="im HOEnZb"><br>
On Fri, Aug 2, 2013 at 8:36 AM, Luis Ogando &lt;<a href="mailto:lcodacal@gmail.com">lcodacal@gmail.com</a>&gt; wrote:<br>
&gt; Dear Prof. Marks,<br>
&gt;<br>
</div><div class="im HOEnZb">&gt;    Just a quick question : in case that the openmpi launcher replaces ssh,<br>
&gt; should I change USE_REMOTE to 0 in a cluster ?<br>
&gt;    Thank you one more time,<br>
&gt;                 Luis<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; 2013/7/27 Laurence Marks &lt;<a href="mailto:L-marks@northwestern.edu">L-marks@northwestern.edu</a>&gt;<br>
&gt;&gt;<br>
</div><div class="HOEnZb"><div class="h5">&gt;&gt; WARNING 1: To be used with care, and customized as needed<br>
&gt;&gt; WARNING 2: Valid for impi and perhaps other, but not all variants<br>
&gt;&gt; WARNING 3: Please look at what these options mean...<br>
&gt;&gt;<br>
&gt;&gt; My parallel_options file with NU&#39;s supercomputer, which contains<br>
&gt;&gt; various debug and other options (some recommended by Intel, some by<br>
&gt;&gt; the local sys_admin):<br>
&gt;&gt;<br>
&gt;&gt; setenv USE_REMOTE 1<br>
&gt;&gt; setenv MPI_REMOTE 0<br>
&gt;&gt; setenv WIEN_GRANULARITY 1<br>
&gt;&gt; setenv DAPL_DBG_TYPE 0<br>
&gt;&gt; # Normal<br>
&gt;&gt; #setenv WIEN_MPIRUN &quot;mpirun -n _NP_ -machinefile _HOSTS_ _EXEC_ &quot;<br>
&gt;&gt;<br>
&gt;&gt; # To turn on verbose<br>
&gt;&gt; #setenv WIEN_MPIRUN &quot;mpirun -bootstrap-exec ~/bin/hssh -n _NP_<br>
&gt;&gt; -machinefile _HOSTS_ _EXEC_ &quot;<br>
&gt;&gt;<br>
&gt;&gt; # To use more recent, privately compiled ssh<br>
&gt;&gt; #setenv WIEN_MPIRUN &quot;mpirun -bootstrap-exec $HOME/local/bin/ssh -n<br>
&gt;&gt; _NP_ -machinefile _HOSTS_ _EXEC_ &quot;<br>
&gt;&gt;<br>
&gt;&gt; # To use openmpi to launch<br>
&gt;&gt; setenv WIEN_MPIRUN &quot;mpirun -bootstrap-exec $WIENROOT/hopen -n _NP_<br>
&gt;&gt; -machinefile _HOSTS_ _EXEC_ &quot;<br>
&gt;&gt;<br>
&gt;&gt; set sleepy = 0.2<br>
&gt;&gt; set delay = 0.1<br>
&gt;&gt; unset DAPL_DBG<br>
&gt;&gt; #Turn on Hydra debug on Quest<br>
&gt;&gt; #setenv I_MPI_HYDRA_DEBUG 1<br>
&gt;&gt; #Turn on MPI DEBUG<br>
&gt;&gt; #setenv I_MPI_DEBUG 1<br>
&gt;&gt; #setenv I_MPI_DEBUG_OUTPUT mpi_debug%h_%r<br>
&gt;&gt; setenv I_MPI_FABRICS_LIST dapl,tcp<br>
&gt;&gt; setenv I_MPI_FALLBACK enable<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Sat, Jul 27, 2013 at 2:53 PM, Luis Ogando &lt;<a href="mailto:lcodacal@gmail.com">lcodacal@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt; Dear Prof. Marks,<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;    Could you, please, send me a template for the parallel_options file<br>
&gt;&gt; &gt; where<br>
&gt;&gt; &gt; this implementation was done ?<br>
&gt;&gt; &gt;    I am sorry for that, but I am really far from being an expert.<br>
&gt;&gt; &gt;    All the best,<br>
&gt;&gt; &gt;                     Luis<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; 2013/7/22 Laurence Marks &lt;<a href="mailto:L-marks@northwestern.edu">L-marks@northwestern.edu</a>&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; A brief followup which may be useful (or not) for others in the future<br>
&gt;&gt; &gt;&gt; with mpi problems. I have been able to work around a mysterious<br>
&gt;&gt; &gt;&gt; impi/ssh bug on NU&#39;s supercomputer by replacing ssh by the<br>
&gt;&gt; &gt;&gt; openmpi/mpirun launcher. The hack is gross, but very stable.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; Step 1:<br>
&gt;&gt; &gt;&gt; 1) Add &quot;--bootstrap-exec=$WIENROOT/hopen&quot; to<br>
&gt;&gt; &gt;&gt; $WIENROOT/parallel_options.<br>
&gt;&gt; &gt;&gt; 2) Create the executable file $WIENROOT/hopen containing<br>
&gt;&gt; &gt;&gt; #!/bin/bash<br>
&gt;&gt; &gt;&gt; a=`echo $@ | sed -e &#39;s/-x -q//&#39;`<br>
&gt;&gt; &gt;&gt; $OPENMPI/bin/mpirun -np 1 --host $a<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; (change $OPENMPI to where it has been compiled).<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Thu, Jul 18, 2013 at 10:38 AM, Laurence Marks<br>
&gt;&gt; &gt;&gt; &lt;<a href="mailto:L-marks@northwestern.edu">L-marks@northwestern.edu</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt; On a cluster I am using I am having a problem with ssh connections as<br>
&gt;&gt; &gt;&gt; &gt; part of impi/mpirun about 0.1-0.2% of the time; what happens is that<br>
&gt;&gt; &gt;&gt; &gt; they fail to launch and become zombie&#39;s (ps shows &quot;[ssh] &lt;defunct&gt;&quot;).<br>
&gt;&gt; &gt;&gt; &gt; Since fiddling through all the options within mpirun can be hard<br>
&gt;&gt; &gt;&gt; &gt; (particularly for impi which is rather fast), I found (after a<br>
&gt;&gt; &gt;&gt; &gt; comment<br>
&gt;&gt; &gt;&gt; &gt; from someone on the openssh list) a useful hack. I am providing it<br>
&gt;&gt; &gt;&gt; &gt; here as it is a nice way around things, and might be useful to others<br>
&gt;&gt; &gt;&gt; &gt; in the future.<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; The &quot;trick&quot; is to add --bootstrap-exec ~/bin/hssh or similar to the<br>
&gt;&gt; &gt;&gt; &gt; mpirun line in $WIENROOT/parallel_options, then create the executable<br>
&gt;&gt; &gt;&gt; &gt; ~/bin/hssh with something similar to:<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; #!/bin/bash<br>
&gt;&gt; &gt;&gt; &gt; a=`echo $@ | sed -e &#39;s/-q/-v/&#39;`<br>
&gt;&gt; &gt;&gt; &gt; ssh $a<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; The above allows me to turn verbose output on in the ssh command<br>
&gt;&gt; &gt;&gt; &gt; since<br>
&gt;&gt; &gt;&gt; &gt; impi insists on setting -q (quiet). For other cases something similar<br>
&gt;&gt; &gt;&gt; &gt; can be done.<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; --<br>
&gt;&gt; &gt;&gt; &gt; Professor Laurence Marks<br>
&gt;&gt; &gt;&gt; &gt; Department of Materials Science and Engineering<br>
&gt;&gt; &gt;&gt; &gt; Northwestern University<br>
&gt;&gt; &gt;&gt; &gt; <a href="http://www.numis.northwestern.edu" target="_blank">www.numis.northwestern.edu</a> <a href="tel:1-847-491-3996" value="+18474913996">1-847-491-3996</a><br>
&gt;&gt; &gt;&gt; &gt; &quot;Research is to see what everybody else has seen, and to think what<br>
&gt;&gt; &gt;&gt; &gt; nobody else has thought&quot;<br>
&gt;&gt; &gt;&gt; &gt; Albert Szent-Gyorgi<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; --<br>
&gt;&gt; &gt;&gt; Professor Laurence Marks<br>
&gt;&gt; &gt;&gt; Department of Materials Science and Engineering<br>
&gt;&gt; &gt;&gt; Northwestern University<br>
&gt;&gt; &gt;&gt; <a href="http://www.numis.northwestern.edu" target="_blank">www.numis.northwestern.edu</a> <a href="tel:1-847-491-3996" value="+18474913996">1-847-491-3996</a><br>
&gt;&gt; &gt;&gt; &quot;Research is to see what everybody else has seen, and to think what<br>
&gt;&gt; &gt;&gt; nobody else has thought&quot;<br>
&gt;&gt; &gt;&gt; Albert Szent-Gyorgi<br>
&gt;&gt; &gt;&gt; _______________________________________________<br>
&gt;&gt; &gt;&gt; Wien mailing list<br>
&gt;&gt; &gt;&gt; <a href="mailto:Wien@zeus.theochem.tuwien.ac.at">Wien@zeus.theochem.tuwien.ac.at</a><br>
&gt;&gt; &gt;&gt; <a href="http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien" target="_blank">http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien</a><br>
&gt;&gt; &gt;&gt; SEARCH the MAILING-LIST at:<br>
&gt;&gt; &gt;&gt; <a href="http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html" target="_blank">http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html</a><br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; Professor Laurence Marks<br>
&gt;&gt; Department of Materials Science and Engineering<br>
&gt;&gt; Northwestern University<br>
&gt;&gt; <a href="http://www.numis.northwestern.edu" target="_blank">www.numis.northwestern.edu</a> <a href="tel:1-847-491-3996" value="+18474913996">1-847-491-3996</a><br>
&gt;&gt; &quot;Research is to see what everybody else has seen, and to think what<br>
&gt;&gt; nobody else has thought&quot;<br>
&gt;&gt; Albert Szent-Gyorgi<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Wien mailing list<br>
&gt;&gt; <a href="mailto:Wien@zeus.theochem.tuwien.ac.at">Wien@zeus.theochem.tuwien.ac.at</a><br>
&gt;&gt; <a href="http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien" target="_blank">http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien</a><br>
&gt;&gt; SEARCH the MAILING-LIST at:<br>
&gt;&gt; <a href="http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html" target="_blank">http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html</a><br>
&gt;<br>
&gt;<br>
<br>
<br>
<br>
--<br>
Professor Laurence Marks<br>
Department of Materials Science and Engineering<br>
Northwestern University<br>
<a href="http://www.numis.northwestern.edu" target="_blank">www.numis.northwestern.edu</a> <a href="tel:1-847-491-3996" value="+18474913996">1-847-491-3996</a><br>
&quot;Research is to see what everybody else has seen, and to think what<br>
nobody else has thought&quot;<br>
Albert Szent-Gyorgi<br>
_______________________________________________<br>
Wien mailing list<br>
<a href="mailto:Wien@zeus.theochem.tuwien.ac.at">Wien@zeus.theochem.tuwien.ac.at</a><br>
<a href="http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien" target="_blank">http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien</a><br>
SEARCH the MAILING-LIST at:  <a href="http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html" target="_blank">http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html</a><br>
</div></div></blockquote></div><br></div>