
<html xmlns="http://www.w3.org/1999/xhtml">

<head>

<title></title>

</head>

<body>

<div name="messageBodySection">

<div dir="auto">Dear Wien2k users, <br />

<br />

I’ve recently encountered a strange situation in parallel execution of Wien2k (version 19). Normally I run wien2k jobs using OpenMP and they works without any trouble. But recently there has been a project that I need to run wien2k using k-point parallelization, and I am having a trouble that I couldn’t solve. <br />

<br />

Issue: </div>

<ul>

<li>When running wien2k using k-point parallelization (with the -p option in run_lapw and .machines file), the job suspends at the lapw1 stage and does not produce any lapw1 output (such as case.vector_* files) or error messages. </li>

<li>Terminating the job and running the command “x lapw1 -p” reproduces the symptom. Checking active processes in the compute node while the “x lapw1 -p” command is on does now show any lapw1 jobs running, except the signature of suspended lapw1para script. </li>

<li>Removing the -p option and running in serial or using OpenMP multithreads work totally OK. </li>

</ul>

<div dir="auto">Further info. on my system:</div>

<ul>

<li>Wien2k version: 19.1 (also unofficially tried with version 23, the same problem persists)</li>

<li>System: Ubuntu 20.04 LTS</li>

<li>Compiler, math library: Intel oneapi 2023 version, with intel icc, ifort, mpiifort, and MKL (lapack, blacs, scalapack).</li>

<li>FFTW: FFTW3, compiled using intel compilers from source (ver. 3.3.8)</li>

<li>MPI: Intel MPI included in the Intel oneapi package, and with MPI_REMOTE = 0</li>

<ul>

<li>Tried both using / not using mpi parallelization. The same lapw1 suspension persists. </li>

</ul>

</ul>

<div dir="auto">My .machines file looks like below (for a 4 core test job):<br />

----<br />

granularity:1<br />

1:localhost<br />

1:localhost<br />

1:localhost<br />

1:localhost<br />

extrafine:1<br />

----<br />

<br />

I checked that, after running x lapw1 -p, a list of case.klist_* files and lapw1_*.def files are created in the working directory (and also “.machine* files). Running each of k-divided case using lapw1 (for example, using commands like “lapw1 lapw1_1.def”) works fine and creates case.vector_* files correctly. Strangely, actual "x lapw1 -p" (or “lapw1para_lapw lapw1.def”) does not enter the lapw1-running stage and suspends somewhere before that. <br />

<br />

Because this suspension does not create any error or other messages, I have no idea on how to solve this issue. Currently what I tried are as follows:</div>

<ul>

<li>Recompiling wien2k without any mpi-related options (which means, even with setting MPI_REMOTE to be 1)</li>

<li>Tuning DELAY and SLEEPY in lapw1para</li>

<li>Running the parallel job on a local storage (not on a NFS storage)</li>

<li>As mentioned above, using newer wien2k version 23 (just as a test purpose! I am not producing any scientific results with that)</li>

<li>Removing fftw3. But this should not matter, because lapw1 does not seem to use fftw</li>

</ul>

<div dir="auto">which all were not successful in rectifying the issue. <br />

<br />

I tried searching the previous wien2k mailing list, I might missed, but I couldn’t find any issue similar to mine. Any of your comments will be highly appreciated! <br />

<br />

Best regards,<br />

Heung-Sik</div>

</div>

<div name="messageSignatureSection"><br />

<div class="matchFont">

<div dir="auto"><font style="" color="#FFFFFF">---</font></div>

<font style=""><font color="#E4A5FF" style=""><b><span style=""><span style="">Heung-Sik Kim</span></span></b></font><span style=""><span style=""></span></span><br /></font><font color="#D1D1D1"><i><span style=""><span style="">Assistant Professor</span></span></i></font><span style=""><span style=""></span></span><i><br />

<font color="#D1D1D1"><span style=""><span style="">Department of Physics</span></span></font><span style=""><span style=""></span></span><br />

<font color="#D1D1D1"><span style=""><span style="">Kangwon National University</span></span></font><span style=""><span style=""></span></span></i><span style=""><span style=""></span></span><span style=""></span><br />

<span style=""><span style="">email: <a href="mailto:heungsikim@kangwon.ac.kr">heungsikim@kangwon.ac.kr</a></span></span><span style=""><span style=""></span></span><br />

<a href="https://sites.google.com/view/heungsikim/"><span style=""><span style="">https://sites.google.com/view/heungsikim/</span></span></a></div>

</div>

</body>

</html>