<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 12 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:1371496243;
        mso-list-type:hybrid;
        mso-list-template-ids:-1158275698 67698705 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-text:"%1\)";
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">Michael,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp; Two possibilities worth exploring:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoListParagraph" style="text-indent:-.25in;mso-list:l0 level1 lfo1"><![if !supportLists]><span style="color:#1F497D"><span style="mso-list:Ignore">1)<span style="font:7.0pt &quot;Times New Roman&quot;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style="color:#1F497D">It seems like you must be using different ports, I see references pbs_mom actions on nodes 58, 40 and 2 related to ports 707, 726 and 746&nbsp; , normally I&#8217;d expect TORQUE &nbsp;port numbers in the 15000&#43; range.<o:p></o:p></span></p>
<p class="MsoListParagraph"><span style="color:#1F497D">Is there an issue with a mismatch of ports between nodes ?<o:p></o:p></span></p>
<p class="MsoListParagraph"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoListParagraph" style="text-indent:-.25in;mso-list:l0 level1 lfo1"><![if !supportLists]><span style="color:#1F497D"><span style="mso-list:Ignore">2)<span style="font:7.0pt &quot;Times New Roman&quot;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></span></span><![endif]><span style="color:#1F497D">The following two URLS relate to the resolution of an issue that seems similar to yours (recent upgrade, Torque having problems some of the time.)
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><a href="http://www.clusterresources.com/pipermail/torqueusers/2011-March/012540.html">http://www.clusterresources.com/pipermail/torqueusers/2011-March/012540.html</a>
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><a href="http://serverfault.com/questions/253932/torque-works-half-of-the-time-fails-no-permission-the-other-half">http://serverfault.com/questions/253932/torque-works-half-of-the-time-fails-no-permission-the-other-half</a><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:16.0pt;font-family:Consolas;color:#1F497D">James Coyle, PhD<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:16.0pt;font-family:Consolas;color:#1F497D">High Performance Computing Group&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:16.0pt;font-family:Consolas;color:#1F497D">&nbsp;Iowa State Univ.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:16.0pt;font-family:Consolas;color:#1F497D">web:
<a href="http://www.public.iastate.edu/~jjc"><span style="color:blue">http://jjc.public.iastate.edu/</span></a><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> torqueusers-bounces@supercluster.org [mailto:torqueusers-bounces@supercluster.org]
<b>On Behalf Of </b>Stevens, Michael<br>
<b>Sent:</b> Thursday, April 19, 2012 11:43 AM<br>
<b>To:</b> torqueusers@supercluster.org<br>
<b>Subject:</b> [torqueusers] pbs_sched cores - repost<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">I had posted this question a few weeks ago, and received no response.&nbsp; Would it be more appropriate to post this to &#8211;dev? &nbsp;<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">I am running a 115 node cluster using torque 2.5.7 under CentOS 6.2. This cluster is in turn running on a Vmware ESX 4.0 cluster; the idea here being that we can use the physical resources of the torque cluster when no jobs are running.<br>
<br>
I am seeing crashes of pbs_sched when the cluster gets busy. Following is some data I&#8217;ve been able to assemble thus far:<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">/var/log/messages<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:53:31 node103 dhclient[1540]: DHCPREQUEST on eth0 to 10.80.101.10 port 67 (xid=0x6c91cbd5)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:53:31 cluster1 dhcpd: DHCPREQUEST for 10.80.101.123 from 00:50:56:b4:7b:a3 via eth0<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:53:31 cluster1 dhcpd: DHCPACK on 10.80.101.123 to 00:50:56:b4:7b:a3 via eth0<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:53:31 node103 dhclient[1540]: DHCPACK from 10.80.101.10 (xid=0x6c91cbd5)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:53:33 node103 ypbind: NIS domain: affymetrix.com, NIS server: nis2<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:53:33 node103 dhclient[1540]: bound to 10.80.101.123 -- renewal in 16219 seconds.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:54:09 node58 pbs_mom: LOG_ERROR::Operation now in progress (115) in scan_for_exiting, cannot connect to port 707 in client_to_svr - errno:115 Operation now in
 progress<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:54:15 cluster1 abrt[3555]: saved core dump of pid 2911 (/usr/sbin/pbs_sched) to /var/spool/abrt/ccpp-2012-04-19-08:54:14-2911.new/coredump (3100672 bytes)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:54:15 cluster1 abrtd: Directory 'ccpp-2012-04-19-08:54:14-2911' creation detected<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:54:21 cluster1 abrtd: Package 'torque-scheduler' isn't signed with proper key<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:54:21 cluster1 abrtd: Corrupted or bad dump /var/spool/abrt/ccpp-2012-04-19-08:54:14-2911 (res:2), deleting<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:55:46 node40 pbs_mom: LOG_ERROR::Operation now in progress (115) in post_epilogue, cannot connect to port 726 in client_to_svr - errno:115 Operation now in progress<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Apr 19 08:55:47 node2 pbs_mom: LOG_ERROR::Operation now in progress (115) in post_epilogue, cannot connect to port 746 in client_to_svr - errno:115 Operation now in progress<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">scheduler log<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:55;0040; pbs_sched;Job;302539.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:55;0040; pbs_sched;Job;302540.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:55;0040; pbs_sched;Job;302541.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:55;0040; pbs_sched;Job;302542.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:55;0040; pbs_sched;Job;302543.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:55;0040; pbs_sched;Job;302544.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:55;0080; pbs_sched;Svr;main;brk point 38178816<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:52:58;0040; pbs_sched;Job;302545.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:53:08;0040; pbs_sched;Job;302546.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:53:10;0040; pbs_sched;Job;302547.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:53:14;0040; pbs_sched;Job;302548.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:53:18;0040; pbs_sched;Job;302549.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 08:53:24;0040; pbs_sched;Job;302550.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 09:14:01;0002; pbs_sched;Svr;Log;Log opened<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 09:14:01;0002; pbs_sched;Svr;TokenAct;Account file /var/lib/torque/sched_priv/accounting/20120419 opened<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 09:14:01;0002; pbs_sched;Svr;main;/usr/sbin/pbs_sched startup pid 4707<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">04/19/2012 09:14:54;0040; pbs_sched;Job;302552.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">gdb of the crash file<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">[root@cluster1 sched_priv]# gdb -e /usr/sbin/pbs_sched -c core.2911<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">GNU gdb (GDB) Red Hat Enterprise Linux (7.2-50.el6)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Copyright (C) 2010 Free Software Foundation, Inc.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">License GPLv3&#43;: GNU GPL version 3 or later &lt;<a href="http://gnu.org/licenses/gpl.html">http://gnu.org/licenses/gpl.html</a>&gt;<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">This is free software: you are free to change and redistribute it.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">There is NO WARRANTY, to the extent permitted by law.&nbsp; Type &quot;show copying&quot;<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">and &quot;show warranty&quot; for details.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">This GDB was configured as &quot;x86_64-redhat-linux-gnu&quot;.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">For bug reporting instructions, please see:<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">&lt;<a href="http://www.gnu.org/software/gdb/bugs/">http://www.gnu.org/software/gdb/bugs/</a>&gt;.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">[New Thread 2911]<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Missing separate debuginfo for
<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Try: yum --disablerepo='*' --enablerepo='*-debuginfo' install /usr/lib/debug/.build-id/23/1bd9599ad974226f19adfdc4dae3691396c81d<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Reading symbols from /usr/lib64/libtorque.so.2.0.0...Reading symbols from /usr/lib/debug/usr/lib64/libtorque.so.2.0.0.debug...done.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">done.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Loaded symbols for /usr/lib64/libtorque.so.2.0.0<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Reading symbols from /lib64/libc.so.6...(no debugging symbols found)...done.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Loaded symbols for /lib64/libc.so.6<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Reading symbols from /lib64/ld-linux-x86-64.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Loaded symbols for /lib64/ld-linux-x86-64.so.2<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Reading symbols from /lib64/libnss_files.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Loaded symbols for /lib64/libnss_files.so.2<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Reading symbols from /lib64/libnss_dns.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Loaded symbols for /lib64/libnss_dns.so.2<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Reading symbols from /lib64/libresolv.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Loaded symbols for /lib64/libresolv.so.2<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Core was generated by `/usr/sbin/pbs_sched -d /var/lib/torque -a 600'.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Program terminated with signal 11, Segmentation fault.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">#0&nbsp; 0x0000003ff4a13c44 in pbs_rescquery (c=0, resclist=&lt;value optimized out&gt;, num_resc=&lt;value optimized out&gt;,
<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">&nbsp;&nbsp;&nbsp;&nbsp;available=0x7fffba82910c, allocated=0x7fffba829108, reserved=0x7fffba829104, down=0x7fffba829100)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">&nbsp;&nbsp;&nbsp; at ../Libifl/pbsD_resc.c:215<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">215&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *(available &#43; i) = *(reply-&gt;brp_un.brp_rescq.brq_avail &#43; i);<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">Missing separate debuginfos, use: debuginfo-install glibc-2.12-1.47.el6_2.5.x86_64<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">(gdb) bt<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">#0&nbsp; 0x0000003ff4a13c44 in pbs_rescquery (c=0, resclist=&lt;value optimized out&gt;, num_resc=&lt;value optimized out&gt;,
<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">&nbsp;&nbsp;&nbsp;&nbsp;available=0x7fffba82910c, allocated=0x7fffba829108, reserved=0x7fffba829104, down=0x7fffba829100)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">&nbsp;&nbsp;&nbsp; at ../Libifl/pbsD_resc.c:215<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">#1&nbsp; 0x000000000040c8d6 in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">#2&nbsp; 0x00007fffba829100 in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">#3&nbsp; 0x0000000000000000 in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">(gdb)
<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">The last few lines of strace<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;182&#43;11des&quot;..., 53) = 53<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;182&#43;11des&quot;..., 53) = 53<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;252&#43;11des&quot;..., 62) = 62<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;272&#43;11des&quot;..., 64) = 64<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;192&#43;11des&quot;..., 54) = 54<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;182&#43;11des&quot;..., 53) = 53<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;182&#43;11des&quot;..., 53) = 53<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;51&#43;9Scheduler&#43;12&#43;232&#43;11des&quot;..., 60) = 60<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;6&#43;0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;24&#43;9Scheduler&#43;0&#43;12&#43;13nodes&quot;..., 42) = 42<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;9&#43;1&#43;1&#43;0&#43;0&#43;0&quot;, 262144) = 20<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">stat(&quot;/etc/localtime&quot;, {st_mode=S_IFREG|0644, st_size=2819, ...}) = 0<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;11&#43;9Scheduler&#43;2&#43;22&#43;3830255&quot;..., 124) = 124<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;1&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 10<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;15&#43;9Scheduler2&#43;38302551.cl&quot;..., 67) = 67<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 0 (Timeout)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;11&#43;9Scheduler&#43;2&#43;22&#43;3830255&quot;..., 139) = 139<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 0 (Timeout)<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">write(8, &quot;&#43;2&#43;12&#43;24&#43;9Scheduler&#43;0&#43;12&#43;13nodes&quot;..., 42) = 42<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">read(8, &quot;&#43;2&#43;1&#43;0&#43;0&#43;1&quot;, 262144)&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;= 10<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;">--- SIGSEGV (Segmentation fault) @ 0 (0) ---<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-family:&quot;Courier New&quot;"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal" style="margin-bottom:12.0pt">If there is any other information I can provide, please let me know as this is reproducible.<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Consolas">--<o:p></o:p></span></p>
<p class="MsoNormal">Mike Stevens <o:p></o:p></p>
<p class="MsoNormal">Senior UNIX Administrator <o:p></o:p></p>
<p class="MsoNormal">Affymetrix | 3420 Central Expressway | Santa Clara, CA 95051
<o:p></o:p></p>
<p class="MsoNormal">Tel: 408-731-5804 | Cell: 408-507-5738<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</div>
</body>
</html>