<div dir="auto"><div>As an addendum to what Peter said, "mpirun run_lapw" is totally wrong. Remove the mpirun.<br><br><div data-smartmail="gmail_signature">_____<br>Professor Laurence Marks<br>"Research is to see what everybody else has seen, and to think what nobody else has thought", Albert Szent-Gyorgi<br><a href="http://www.numis.northwestern.edu">www.numis.northwestern.edu</a></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Oct 15, 2020, 03:35 Peter Blaha <<a href="mailto:pblaha@theochem.tuwien.ac.at">pblaha@theochem.tuwien.ac.at</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Well, 99% cpu efficiency does not mean that you run efficiently, but my <br>
estimat is that you run at least 2 times slower than what is possible.<br>
<br>
Anyway, please save the dayfile and compare the wall time of the <br>
different parts with a different setup.<br>
<br>
At least now we know that you have 24 cores/node. So the lapw0/dstart <br>
lines are perfectly ok.<br>
<br>
However, lapw1 you run on 3 mpi cores. This is "maximally inefficient". <br>
This gives a division of your matrix into 3x1, but it should be as close <br>
as possible to an even decomposition. So 4x4=16 or 8x8=64 cores is <br>
optimal. With your 24 cores and 96 atom/cell I'd probably go for 12 <br>
cores in mpi and 2-kparallel jobs per node:<br>
<br>
1:x073:12<br>
1:x082:12<br>
1:x073:12<br>
1:x082:12<br>
<br>
Maybe one can even overload the nodes a bit using 16 instead of 12 <br>
cores, but this could be dangerous on some machines because of your <br>
admins might have forced cpu-binding, .... (You can even change the <br>
.machines file (12-->16) "by hand" while your job is running (and maybe <br>
change it back once you have seen whether timing is better or worse).<br>
<br>
In any case, compare the timeings in the dayfile in order to find the <br>
optimal setup.<br>
_______________________________________________<br>
Wien mailing list<br>
<a href="mailto:Wien@zeus.theochem.tuwien.ac.at" target="_blank" rel="noreferrer">Wien@zeus.theochem.tuwien.ac.at</a><br>
<a href="https://urldefense.com/v3/__http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien__;!!Dq0X2DkFhyF93HkjWTBQKhk!A8sB9-qFfbOGiCLPnA6iSE84ZZQy6mW4l0zuzz3NpWm1Wmn2GKqNPUMWg1UBjmQOGPID6g$" rel="noreferrer noreferrer" target="_blank">https://urldefense.com/v3/__http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien__;!!Dq0X2DkFhyF93HkjWTBQKhk!A8sB9-qFfbOGiCLPnA6iSE84ZZQy6mW4l0zuzz3NpWm1Wmn2GKqNPUMWg1UBjmQOGPID6g$</a> <br>
SEARCH the MAILING-LIST at:  <a href="https://urldefense.com/v3/__http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html__;!!Dq0X2DkFhyF93HkjWTBQKhk!A8sB9-qFfbOGiCLPnA6iSE84ZZQy6mW4l0zuzz3NpWm1Wmn2GKqNPUMWg1UBjmSyxhK3Ng$" rel="noreferrer noreferrer" target="_blank">https://urldefense.com/v3/__http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html__;!!Dq0X2DkFhyF93HkjWTBQKhk!A8sB9-qFfbOGiCLPnA6iSE84ZZQy6mW4l0zuzz3NpWm1Wmn2GKqNPUMWg1UBjmSyxhK3Ng$</a> <br>
</blockquote></div></div></div>