<div>
                    <span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">Hi Everyone,</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">I am having a major issue I can't figure out.&nbsp; When I start pbs_server I get the following error:</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">PBS_Server: LOG_ERROR::get_parent_and_</span><wbr style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">child, Cannot find closing tag</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">PBS_Server: LOG_ERROR::svr_recov_xml, Error creating attribute resources_assigned</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">I also find that and changes I make with qmgr are undone when I restart pbs_server and also pbs_server crashes when my users are using it.&nbsp; There is nothing in the log, even at log level 7, it just dies.&nbsp; It seems like the server can't write to the torque home directory (/var/spool/torque).&nbsp; When I start over with pbs_server -t create, the error goes away for a while.&nbsp; Then after some number of restarts, the error is back.</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">This is the third time this has happened, before this the queue at least restarted successfully.&nbsp; This time, one of my queues just disappeared, and all of the jobs associated with it were deleted when the server was restarted.&nbsp; This is a MAJOR problem, as it represents hours of lost time for my users.</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">Part of the qmgr config disappeared.&nbsp; Not all of it, just the default queue that was being used, and some of my changes to the server config.</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">You can look at the attached log.&nbsp; It is only log level 0, but you can see close to the top where I restarted the server and then all of this mayhem happened.&nbsp; I should note that I made no changes to the server config before this restart.</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">I am using torque 4.0.2 (I can't use 4.1.2 because I have a hyphen in my hostname which totally throws it for a loop, and jobs just don't run) with maui 3.3.1.&nbsp; It was compiled with the following options:</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">./configure --enable-blcr --enable-docs --enable-syslog</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">The permissions of /var/spool/torque:</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-xr-x&nbsp;&nbsp; 13&nbsp; root root 4.0K Oct 24 17:01 .</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-xr-x.&nbsp; 17&nbsp; root root 4.0K Oct 23 19:20 ..</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-xr-x&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 24 10:13 aux</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxrwxrwt&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 23 19:20 checkpoint</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-xr-x&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 23 19:20 job_logs</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-xr-x&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 30 00:01 mom_logs</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-x--x&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; root root 4.0K Oct 23 19:23 mom_priv</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">-rw-r--r--&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; root root&nbsp;&nbsp; 66&nbsp; Oct 23 21:07 pbs_environment</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-xr-x&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 23 19:24 sched_logs</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-x---&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; root root 4.0K Oct 23 21:07 sched_priv</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-xr-x&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 30 00:00 server_logs</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">-rw-r--r--&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; root root&nbsp;&nbsp; 14&nbsp; Oct 23 21:07 server_name</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxr-x---&nbsp;&nbsp;&nbsp; 13&nbsp; root root 4.0K Oct 30 20:05 server_priv</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxrwxrwt&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 24 10:13 spool</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">drwxrwxrwt&nbsp;&nbsp; 2&nbsp; root root 4.0K Oct 23 19:20 undelivered</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">output of qmgr -c 'p s':</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "># Create queues and set their attributes.</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "># Create and define queue default</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">create queue default</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default queue_type = Execution</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default Priority = 0</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default resources_max.neednodes = slave</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default resources_default.neednodes = slave</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default resources_default.nice = 0</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default resources_available.ncpus = 160</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default resources_available.neednodes = slave</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default resources_available.nodes = 20</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default max_user_run = 100</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default enabled = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue default started = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "># Create and define queue long</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">create queue long</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long queue_type = Execution</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long Priority = -10</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long max_running = 140</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_max.mem = 32gb</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_max.ncpus = 128</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_max.neednodes = slave</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_max.nodes = 16</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_min.cput = 02:00:01</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_default.mem = 2gb</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_default.neednodes = slave</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_default.nice = 15</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_available.mem = 600gb</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_available.ncpus = 128</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_available.neednodes = slave</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long resources_available.nodes = 16</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long enabled = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue long started = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "># Create and define queue high_priority</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">create queue high_priority</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue high_priority queue_type = Execution</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue high_priority Priority = 10000</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue high_priority resources_max.walltime = 56:00:00</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue high_priority resources_default.nice = -10</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue high_priority resources_default.walltime = 48:00:00</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue high_priority enabled = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set queue high_priority started = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "># Set server attributes.</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">#</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server acl_hosts = fraser-server</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server default_queue = default</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server log_events = 511</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server mail_from = adm</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server query_other_jobs = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server resources_available.mem = 625gb</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server resources_default.mem = 4gb</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server scheduler_iteration = 600</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server node_check_rate = 150</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server tcp_timeout = 300</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server job_stat_rate = 45</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server poll_jobs = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server mom_job_sync = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server allow_node_submit = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server next_job_number = 3301</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; ">set server moab_array_compatible = True</span><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><br style="color: rgb(34, 34, 34); font-family: arial, sans-serif; "><font color="#222222" face="arial, sans-serif">-Mike</font>
                </div>
                <div></div>