<div dir="ltr"><div dir="ltr"><div><div>Dear Sir,<br></div>         Hyper-threading is disabled (just checked with facility expert). So 12 physical cores per node (intel xeon nehalem based arch.). Available Memory 4gb/core (48gb/node). <br></div>         Lapw1 stops with error "insufficient virtual memory". So i thought better to use 36 cores for 24k points as extra (48gb) memory will be available. I am using pbs queuing system (wien2k  V19.1 compiled with openmpi_parallelization) which generates *.machine file when jobscript executed. Then how to set the omp_thread in *.machine file.  (jobscript file attached for your reference).<br><br></div><div>thanks,<br></div><div>A. kumar<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 12, 2019 at 2:55 PM Pavel Ondračka <<a href="mailto:pavel.ondracka@email.cz" target="_blank">pavel.ondracka@email.cz</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
do you have hyperthreading or not (in other words does this number of<br>
12 already mean there are 6 physical CPUs and 12 virtuals, or 12<br>
physical)? This would influence the advice maybe a bit...<br>
<br>
Otherwise you need to experiment, the optimal setting is heavily<br>
dependent on your specific CPU, memory speed and what you are<br>
calculating (system size). <br>
<br>
When talking about the 24 kpoints and 36 processors, than running<br>
4kpoints on each node  (12 kpoints in parallel) with 3 openmp threads<br>
each might be a reasonable setting.<br>
<br>
It is also possible that just leaving some cores idle might be the best<br>
thing to do (as running a lot of k-points in parallel you can get<br>
limited by the memory speed so leaving some cores idle means more<br>
memory bandwidth for the others):<br>
This would correspond to running 8 kpoints on each node or 4 kpoints on<br>
each node with 2 openmp threads each.<br>
<br>
The linux kernel and modern processors are also usually good at<br>
handling some small overload and load balancing so you can also try to<br>
overload the system a bit, i.e., 8kpoints per node with 2 openmp<br>
threads each. <br>
<br>
Just try the different settings (single lapw1 run for each should be<br>
enough to get some idea) and compare the timings.<br>
<br>
Best regards<br>
Pavel<br>
<br>
BTW for lapw0 I would go with something like 3 MPI processes per node<br>
with 4 OpenMP threads for each in this case.<br>
<br>
On Thu, 2019-12-12 at 12:28 +0530, Ashwani Kumar wrote:<br>
> Hi, <br>
>    This is related to no. of k-points which we provide during the<br>
> initilization. No. of k-gen points given ; 120 with shifted mesh.<br>
> Irr. k-points : 24k points. Running job on 3 nodes (12 x3 processors,<br>
> 48 gb x 3 Ram). Job running on 24 processors only (with granularity:<br>
> 1, extrafine:1 in *.machine file) which means 1kpoint/1-core. How can<br>
> 24 k-points be made to run on 36  cores ?. Or how can 24 kpoints can<br>
> be distributed equally between 36 cores (or let's say 12 kpoints on<br>
> 24 processors to make calculation converge faster). <br>
> <br>
> thanks,<br>
> A. Kumar<br>
> _______________________________________________<br>
> Wien mailing list<br>
> <a href="mailto:Wien@zeus.theochem.tuwien.ac.at" target="_blank">Wien@zeus.theochem.tuwien.ac.at</a><br>
> <a href="http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien" rel="noreferrer" target="_blank">http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien</a><br>
> SEARCH the MAILING-LIST at:  <br>
> <a href="http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html" rel="noreferrer" target="_blank">http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html</a><br>
<br>
_______________________________________________<br>
Wien mailing list<br>
<a href="mailto:Wien@zeus.theochem.tuwien.ac.at" target="_blank">Wien@zeus.theochem.tuwien.ac.at</a><br>
<a href="http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien" rel="noreferrer" target="_blank">http://zeus.theochem.tuwien.ac.at/mailman/listinfo/wien</a><br>
SEARCH the MAILING-LIST at:  <a href="http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html" rel="noreferrer" target="_blank">http://www.mail-archive.com/wien@zeus.theochem.tuwien.ac.at/index.html</a><br>
</blockquote></div>