<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif;color:#000000"><div dir="ltr" style="color:rgb(34,34,34)"><div class="gmail_default" style="font-family:verdana,sans-serif;color:rgb(0,0,0)">For certain, "<span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">/opt/exp_soft/local/generic/</span><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">openmpi/4.1.0_gcc620/bin/</span><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">mpiexec /home/users/mollabashi/codes/</span><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">v21.1/run_lapw -p" is completely wrong. You do not, repear do not use mpirun or mpiexec to start run_lapw. It has to be started by simply "run_lapw -p ..." by itself.</span></div><div class="gmail_default" style="font-family:verdana,sans-serif;color:rgb(0,0,0)"><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)"><br></span></div><div class="gmail_default" style="font-family:verdana,sans-serif;color:rgb(0,0,0)"><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">I suggest that you create a very simple job which has the commands:</span></div><div class="gmail_default" style="font-family:verdana,sans-serif;color:rgb(0,0,0)"><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)"><br></span></div><div class="gmail_default" style="font-family:verdana,sans-serif;color:rgb(0,0,0)"><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">which mpirun</span></div><div class="gmail_default" style="font-family:verdana,sans-serif;color:rgb(0,0,0)"><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">which lapw1_mpi</span></div><div class="gmail_default" style="font-family:verdana,sans-serif">echo $WIENROOT</div><div class="gmail_default" style="font-family:verdana,sans-serif">ldd $WIENROOT/lapw1_mpi</div><div class="gmail_default" style="font-family:verdana,sans-serif">ldd $WIENROOT/lapw1</div><div class="gmail_default" style="font-family:verdana,sans-serif">echo env</div><div class="gmail_default" style="font-family:verdana,sans-serif">echo $PATH</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Run this interactively as well as in a batch job and compare. You will find that there are something which are not present when you are launching your slurm job that are present interactively. You need to repair these with relevant PATH/LD_LIBRARY_PATH etc</div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">Your problems are not Wien2k problems, they are due to incorrect modules/script/environment or similar. Have you asked your sysadmin for help? I am certain that someone local who is experienced with standard linux can tell you very quickly what to do. </div><div class="gmail_default" style="font-family:verdana,sans-serif"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif">N.B., there is an error in your path setting.</div></div><div style="color:rgb(34,34,34)"><div class="gmail-adm" style="margin:5px 0px"><div id="gmail-q_126" class="gmail-ajR gmail-h4" style="font-size:11px;line-height:6px;background-color:rgb(232,234,237);border:none;clear:both;outline:none;width:24px;color:rgb(80,0,80);border-radius:5.5px"><br></div></div></div></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, May 4, 2021 at 3:38 PM leila mollabashi <<a href="mailto:le.mollabashi@gmail.com">le.mollabashi@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">Dear all WIEN2k users,<br>Thank you for your guides.<div>>take care on the correct location ...<br>It is the /usr/share/Modules/init<br>After adding the “source /usr/share/Modules/init/tcsh” line in to the script the same error appeared:<br>mpirun: command not found</div><div><br>In fact, with and without “source /usr/share/Modules/init/tcsh” it is written in slurm.out file that 

“

module load complete

”.</div><div><br></div><div>I noticed that “export” is also the bash command so I used these commands to path the openmpi and fftw:<br>setenv LD_LIBRARY_PATH {$LD_LIBRARY_PATH}:/opt/exp_soft/local/generic/openmpi/4.1.0_gcc620/lib:/opt/exp_soft/local/generic/fftw/3.3.8_gcc620/lib<br>set path = ($path /opt/exp_soft/local/generic/openmpi/4.1.0_gcc620/bin:/opt/exp_soft/local/generic/fftw/3.3.8_gcc620/bin)</div><div>But result is the same:<br>bash: mpirun: command not found<br></div><div><br>By using this line in the script:<br>/opt/exp_soft/local/generic/openmpi/4.1.0_gcc620/bin/mpiexec /home/users/mollabashi/codes/v21.1/run_lapw -p<br>The calculation stopped with the following error:<br>mpirun does not support recursive calls</div><div><br>> I wonder that you have only single modules…<br>There are different versions of ifort and mkl: ifort/15.0.0, ifort/15.0.3, ifort/17.0.1, ifort/19.1.3.304(default) mkl/11.2, mkl/<a href="https://urldefense.com/v3/__http://11.2.3.187__;!!Dq0X2DkFhyF93HkjWTBQKhk!BD88XA2ujgG8Gel0NZaSOKaSrtPN7kq75O9hkG-dnIZQJRbsnQE-ArEqbFqA6XVu7qQFcg$" target="_blank">11.2.3.187</a> mkl/2017.1.132, mkl/2019.2.187, mkl/2020.0.4(default). I used the defaults<br>> you may also wish to make a single module file to be loaded…<br>That is a good idea.<br>> On our cluster we have different W2k modules ….<br>As you know WIEN2k is not a free code and the users of the cluster that I am using are not registered WIEN2k users. Thus, according to my moral commitment to the WIEN2k developers, I cannot ask the administrator to install it on the cluster. I should install it on my user account.</div><div><br></div><div>Sincerely yours,<br>Leila<br>>PS.: maybe one should mention this tcsh "problem" in the slurm.job example on the FAQ page by adding (or similar)…<br>That is a good idea. Thank you for your suggestion.<br></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><br></div></div></div></blockquote></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr">Professor Laurence Marks<br>Department of Materials Science and Engineering<br>Northwestern University<br><a href="http://www.numis.northwestern.edu/" target="_blank">www.numis.northwestern.edu</a><div>"Research is to see what everybody else has seen, and to think what nobody else has thought" Albert <span style="font-family:Arial,Helvetica,sans-serif;font-size:12.8px">Szent-</span><span style="font-family:Arial,Helvetica,sans-serif;font-size:small;color:rgb(34,34,34)">Györgyi</span></div></div></div></div>