<div dir="ltr"><div class="gmail_default" style="font-family:verdana,sans-serif;color:#000000">OK.</div><div class="gmail_default" style="font-family:verdana,sans-serif;color:#000000"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif;color:#000000">One thing to be aware of: IMHO elpa is fast, but has bad memory management. There is a significant spike in the memory useage at the end of it, probably when it is finishing up the eigenvectors. There appears to be no way to know a-priori how much memory it will use or control it, so you may get an OOM crash (of the job or even nodes).</div><div class="gmail_default" style="font-family:verdana,sans-serif;color:#000000"><br></div><div class="gmail_default" style="font-family:verdana,sans-serif;color:#000000">You can mitigate this by being careful about only using a nband value that is a safe few percent above the Fermi energy (unless of course you want the unoccupued DOS or similar).</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Feb 27, 2019 at 8:35 AM Pavel Ondračka <<a href="mailto:pavel.ondracka@email.cz">pavel.ondracka@email.cz</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Wed, 2019-02-27 at 06:54 -0600, Laurence Marks wrote:<br>
> The script I used is below, works fine with  versions 19.0.2.187<br>
> 20190117. You might have wanring/issues with the compilation of their<br>
> test programs; I hacked <a href="http://configure.ac" rel="noreferrer" target="_blank">configure.ac</a> to remove them.<br>
> <br>
> I suspect the issue with HAMILT is misleading, as it has very little<br>
> MKL. I suggest doing "grep Time case.output1" to look at the<br>
> individual parts.<br>
> <br>
<br>
You are of course right. Sigh, I need to read my mails at least once<br>
more before sending... I was of course thinking about DIAG part<br>
(specifically about the single ZHETRD call). HAMILT and HNS are OK. So at least that part I got right.<br>
> ---<br>
> export FFLAGS="-O2 -pc80 -msse4.2 -fminshared -axCORE-AVX512 -pad -ip<br>
> -fimf-precision=high -prec_div -traceback -no-complex-limited-range<br>
> -no-fast-transcendentals -no-ftz "<br>
> export CFLAGS="-O2 -pc80 -msse4.2 -fminshared -axCORE-AVX512 -ip<br>
> -fimf-precision=high -prec_div -traceback -no-complex-limited-range<br>
> -no-fast-transcendentals -no-ftz "<br>
> <br>
> <br>
> <br>
> <br>
> export MPICC=mpiicc<br>
> export CC=mpiicc<br>
> export CXX=mpiicc<br>
> export F77=mpiifort<br>
> export F90=mpiifort<br>
> export FC=mpiifort<br>
> export FCFLAGS=$FFLAGS<br>
> export MPIFC=mpiifort<br>
> export MPIF90=mpiifort <br>
> <br>
> <br>
> export SCALAPACK_LDFLAGS=<br>
> export SCALAPACK_FCFLAGS=<br>
> export CFLAGS+="-mkl=cluster"<br>
> export FCFLAGS+="-mkl=cluster"<br>
> export CXXFLAGS=$CFLAGS<br>
> <br>
> <br>
> ./configure --prefix=/opt/elpaRC1 --disable-shared --enable-avx512 --<br>
> disable-tests --disable-legacy-interface<br>
> make install<br>
<br>
Thank you, I'll test this and post results.<br>
<br>
Best regards<br>
Pavel<br>
<br>
_______________________________________________<br>
Wien mailing list<br>
<a href="mailto:Wien@zeus.theochem.tuwien.ac.at" target="_blank">Wien@zeus.theochem.tuwien.ac.at</a><br>
<a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__zeus.theochem.tuwien.ac.at_mailman_listinfo_wien&d=DwICAg&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=U_T4PL6jwANfAy4rnxTj8IUxm818jnvqKFdqWLwmqg0&m=CtnHNhd8CVQPG4cRlseKM_nQR0Vj1r678zu0BXkuP8Y&s=QYK1ObkG3BRtg2oUpN-zMdpnrADYm4F_Z6ru4SAD5oM&e=" rel="noreferrer" target="_blank">https://urldefense.proofpoint.com/v2/url?u=http-3A__zeus.theochem.tuwien.ac.at_mailman_listinfo_wien&d=DwICAg&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=U_T4PL6jwANfAy4rnxTj8IUxm818jnvqKFdqWLwmqg0&m=CtnHNhd8CVQPG4cRlseKM_nQR0Vj1r678zu0BXkuP8Y&s=QYK1ObkG3BRtg2oUpN-zMdpnrADYm4F_Z6ru4SAD5oM&e=</a><br>
SEARCH the MAILING-LIST at:  <a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__www.mail-2Darchive.com_wien-40zeus.theochem.tuwien.ac.at_index.html&d=DwICAg&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=U_T4PL6jwANfAy4rnxTj8IUxm818jnvqKFdqWLwmqg0&m=CtnHNhd8CVQPG4cRlseKM_nQR0Vj1r678zu0BXkuP8Y&s=KRGqrSZCdlruUQjxE8t8a92-4nwQcKHo8y4xqJuDsDY&e=" rel="noreferrer" target="_blank">https://urldefense.proofpoint.com/v2/url?u=http-3A__www.mail-2Darchive.com_wien-40zeus.theochem.tuwien.ac.at_index.html&d=DwICAg&c=yHlS04HhBraes5BQ9ueu5zKhE7rtNXt_d012z2PA6ws&r=U_T4PL6jwANfAy4rnxTj8IUxm818jnvqKFdqWLwmqg0&m=CtnHNhd8CVQPG4cRlseKM_nQR0Vj1r678zu0BXkuP8Y&s=KRGqrSZCdlruUQjxE8t8a92-4nwQcKHo8y4xqJuDsDY&e=</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><span style="font-size:12.8px">Professor Laurence Marks</span><br></div><div dir="ltr"><span style="font-size:12.8px">"Research is to see what everybody else has seen, and to think what nobody else has thought", </span><span style="font-size:12.8px">Albert Szent-Gyorgi</span><br><a href="http://www.numis.northwestern.edu" target="_blank">www.numis.northwestern.edu</a> ; <span style="font-size:12.8px">Corrosion in 4D: </span><a href="http://MURI4D.numis.northwestern.edu" style="font-size:12.8px" target="_blank">MURI4D.numis.northwestern.edu</a><div><span style="font-size:12.8px">Partner of the CFW 100% program for gender equity, </span><a href="http://www.cfw.org/100-percent" style="font-size:12.8px" target="_blank">www.cfw.org/100-percent</a></div><div>Co-Editor, Acta Cryst A</div></div></div></div></div></div></div></div></div></div></div>