<div dir="ltr"><div>Dear Wien2k Experts,</div><div>I am trying to submit a job but the chance of job submission failure are more than 90%.</div><div><br></div><div>It is SGE resource manager system and job file is take from FAQs as such.</div><div><br></div><div>In job.out file, I am getting this message:</div><div><br></div><div>qrsh_starter: cannot change to directory /mnt/oss/hod/wien_case/TCO_1: No such file or directory</div><div>qrsh_starter: cannot change to directory /mnt/oss/hod/wien_case/TCO_1: No such file or directory</div><div><div class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><span style="color:rgb(0,0,0)"><br></span></div><div dir="ltr"><span style="color:rgb(0,0,0)">In job.err:</span><br></div><div dir="ltr"><div dir="ltr" style="color:rgb(0,0,0)"><br></div><div dir="ltr" style="color:rgb(0,0,0)">qrsh_starter: cannot change to directory <span style="color:rgb(34,34,34)">/mnt/oss/hod/wien_case/TCO_1</span>: No such file or directory</div><div dir="ltr" style="color:rgb(0,0,0)">qrsh_starter: cannot change to directory <span style="color:rgb(34,34,34)">/mnt/oss/hod/wien_case/TCO_1</span>: No such file or directory</div><div dir="ltr" style="color:rgb(0,0,0)">[mpiexec@compute-0] control_cb (./pm/pmiserv/pmiserv_cb.c:717): assert (!closed) failed</div><div dir="ltr" style="color:rgb(0,0,0)">[mpiexec@compute-1] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status</div><div dir="ltr" style="color:rgb(0,0,0)">[mpiexec@compute-2] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:435): error waiting for event</div><div dir="ltr" style="color:rgb(0,0,0)">[mpiexec@compute-3] main (./ui/mpich/mpiexec.c:901): process manager error waiting for completion</div><div style="color:rgb(0,0,0)"><br></div><div dir="ltr" style="color:rgb(0,0,0)"><br></div><div style="color:rgb(0,0,0)">I tried with varying number of cores (16/32/48/64) but the problem persists. </div><div style="color:rgb(0,0,0)"><br></div><div style="color:rgb(0,0,0)">System specifications:</div><div style="color:rgb(0,0,0)"><span style="color:rgb(34,34,34);font-size:12.8px"><br></span></div><div style="color:rgb(0,0,0)"><span style="color:rgb(34,34,34);font-size:12.8px">sge cluster (</span><span style="font-size:12.8px;white-space:pre-wrap">linuxifc) </span><span style="color:rgb(34,34,34);font-size:12.8px">with 5 nodes with each node having 16 core and each core has 4GB RAM (~2GB/ processor), </span><span style="font-size:12.8px;font-family:"times new roman";text-align:justify">40 Gbps Infiniband interconnect</span><span style="color:rgb(34,34,34);font-size:12.8px">. I used "mpiifort" and "mpiicc"   compiler with scalapck, blas, fftd3 and blacs library (without ELPA and LIBXC-3.0.0). </span><br></div><div style="color:rgb(0,0,0)"><br></div><div style="color:rgb(0,0,0)"><br></div><div style="color:rgb(0,0,0)">Parallel options:</div><div style="color:rgb(0,0,0)"><br></div><div><div><font color="#000000">setenv TASKSET "no"</font></div><div><font color="#000000">if ( ! $?USE_REMOTE ) setenv USE_REMOTE 0</font></div><div><font color="#000000">if ( ! $?MPI_REMOTE ) setenv MPI_REMOTE 0</font></div><div><font color="#000000">setenv WIEN_GRANULARITY 1</font></div><div><font color="#000000">setenv DELAY 0.1</font></div><div><font color="#000000">setenv SLEEPY 1</font></div><div><font color="#000000">setenv WIEN_MPIRUN "mpirun -np _NP_ -machinefile _HOSTS_ _EXEC_"</font></div><div><font color="#000000">setenv CORES_PER_NODE 16</font></div><div><font color="#000000"># if ( ! $?PINNING_COMMAND) setenv PINNING_COMMAND "--cpu_bin=map_cpu:" </font></div><div><font color="#000000"># if ( ! $?PINNING_LIST ) setenv PINNING_LIST "0,8,1,9,2,10,3,11,4,12,5,13,6,14,7,15" </font></div></div><div style="color:rgb(0,0,0)"><br></div><div style="color:rgb(0,0,0)">Sincerely</div><div style="color:rgb(0,0,0)">Bhamu<br></div></div></div></div></div></div></div></div>
</div>