<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:p="urn:schemas-microsoft-com:office:powerpoint" xmlns:a="urn:schemas-microsoft-com:office:access" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:s="uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882" xmlns:rs="urn:schemas-microsoft-com:rowset" xmlns:z="#RowsetSchema" xmlns:b="urn:schemas-microsoft-com:office:publisher" xmlns:ss="urn:schemas-microsoft-com:office:spreadsheet" xmlns:c="urn:schemas-microsoft-com:office:component:spreadsheet" xmlns:odc="urn:schemas-microsoft-com:office:odc" xmlns:oa="urn:schemas-microsoft-com:office:activation" xmlns:html="http://www.w3.org/TR/REC-html40" xmlns:q="http://schemas.xmlsoap.org/soap/envelope/" xmlns:rtc="http://microsoft.com/officenet/conferencing" xmlns:D="DAV:" xmlns:Repl="http://schemas.microsoft.com/repl/" xmlns:mt="http://schemas.microsoft.com/sharepoint/soap/meetings/" xmlns:x2="http://schemas.microsoft.com/office/excel/2003/xml" xmlns:ppda="http://www.passport.com/NameSpace.xsd" xmlns:ois="http://schemas.microsoft.com/sharepoint/soap/ois/" xmlns:dir="http://schemas.microsoft.com/sharepoint/soap/directory/" xmlns:ds="http://www.w3.org/2000/09/xmldsig#" xmlns:dsp="http://schemas.microsoft.com/sharepoint/dsp" xmlns:udc="http://schemas.microsoft.com/data/udc" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:sub="http://schemas.microsoft.com/sharepoint/soap/2002/1/alerts/" xmlns:ec="http://www.w3.org/2001/04/xmlenc#" xmlns:sp="http://schemas.microsoft.com/sharepoint/" xmlns:sps="http://schemas.microsoft.com/sharepoint/soap/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:udcs="http://schemas.microsoft.com/data/udc/soap" xmlns:udcxf="http://schemas.microsoft.com/data/udc/xmlfile" xmlns:udcp2p="http://schemas.microsoft.com/data/udc/parttopart" xmlns:wf="http://schemas.microsoft.com/sharepoint/soap/workflow/" xmlns:dsss="http://schemas.microsoft.com/office/2006/digsig-setup" xmlns:dssi="http://schemas.microsoft.com/office/2006/digsig" xmlns:mdssi="http://schemas.openxmlformats.org/package/2006/digital-signature" xmlns:mver="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns:mrels="http://schemas.openxmlformats.org/package/2006/relationships" xmlns:spwp="http://microsoft.com/sharepoint/webpartpages" xmlns:ex12t="http://schemas.microsoft.com/exchange/services/2006/types" xmlns:ex12m="http://schemas.microsoft.com/exchange/services/2006/messages" xmlns:pptsl="http://schemas.microsoft.com/sharepoint/soap/SlideLibrary/" xmlns:spsl="http://microsoft.com/webservices/SharePointPortalServer/PublishedLinksService" xmlns:Z="urn:schemas-microsoft-com:" xmlns:st="&#1;" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>I had posted this question a few weeks ago, and received no response.&nbsp; Would it be more appropriate to post this to &#8211;dev? &nbsp;<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>I am running a 115 node cluster using torque 2.5.7 under CentOS 6.2. This cluster is in turn running on a Vmware ESX 4.0 cluster; the idea here being that we can use the physical resources of the torque cluster when no jobs are running.<br><br>I am seeing crashes of pbs_sched when the cluster gets busy. Following is some data I&#8217;ve been able to assemble thus far:<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>/var/log/messages<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:53:31 node103 dhclient[1540]: DHCPREQUEST on eth0 to 10.80.101.10 port 67 (xid=0x6c91cbd5)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:53:31 cluster1 dhcpd: DHCPREQUEST for 10.80.101.123 from 00:50:56:b4:7b:a3 via eth0<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:53:31 cluster1 dhcpd: DHCPACK on 10.80.101.123 to 00:50:56:b4:7b:a3 via eth0<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:53:31 node103 dhclient[1540]: DHCPACK from 10.80.101.10 (xid=0x6c91cbd5)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:53:33 node103 ypbind: NIS domain: affymetrix.com, NIS server: nis2<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:53:33 node103 dhclient[1540]: bound to 10.80.101.123 -- renewal in 16219 seconds.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:54:09 node58 pbs_mom: LOG_ERROR::Operation now in progress (115) in scan_for_exiting, cannot connect to port 707 in client_to_svr - errno:115 Operation now in progress<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:54:15 cluster1 abrt[3555]: saved core dump of pid 2911 (/usr/sbin/pbs_sched) to /var/spool/abrt/ccpp-2012-04-19-08:54:14-2911.new/coredump (3100672 bytes)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:54:15 cluster1 abrtd: Directory 'ccpp-2012-04-19-08:54:14-2911' creation detected<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:54:21 cluster1 abrtd: Package 'torque-scheduler' isn't signed with proper key<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:54:21 cluster1 abrtd: Corrupted or bad dump /var/spool/abrt/ccpp-2012-04-19-08:54:14-2911 (res:2), deleting<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:55:46 node40 pbs_mom: LOG_ERROR::Operation now in progress (115) in post_epilogue, cannot connect to port 726 in client_to_svr - errno:115 Operation now in progress<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Apr 19 08:55:47 node2 pbs_mom: LOG_ERROR::Operation now in progress (115) in post_epilogue, cannot connect to port 746 in client_to_svr - errno:115 Operation now in progress<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>scheduler log<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:55;0040; pbs_sched;Job;302539.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:55;0040; pbs_sched;Job;302540.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:55;0040; pbs_sched;Job;302541.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:55;0040; pbs_sched;Job;302542.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:55;0040; pbs_sched;Job;302543.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:55;0040; pbs_sched;Job;302544.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:55;0080; pbs_sched;Svr;main;brk point 38178816<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:52:58;0040; pbs_sched;Job;302545.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:53:08;0040; pbs_sched;Job;302546.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:53:10;0040; pbs_sched;Job;302547.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:53:14;0040; pbs_sched;Job;302548.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:53:18;0040; pbs_sched;Job;302549.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 08:53:24;0040; pbs_sched;Job;302550.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 09:14:01;0002; pbs_sched;Svr;Log;Log opened<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 09:14:01;0002; pbs_sched;Svr;TokenAct;Account file /var/lib/torque/sched_priv/accounting/20120419 opened<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 09:14:01;0002; pbs_sched;Svr;main;/usr/sbin/pbs_sched startup pid 4707<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>04/19/2012 09:14:54;0040; pbs_sched;Job;302552.cluster1.cluster.affymetrix.com;Job Run<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>gdb of the crash file<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>[root@cluster1 sched_priv]# gdb -e /usr/sbin/pbs_sched -c core.2911<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>GNU gdb (GDB) Red Hat Enterprise Linux (7.2-50.el6)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Copyright (C) 2010 Free Software Foundation, Inc.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>License GPLv3+: GNU GPL version 3 or later &lt;http://gnu.org/licenses/gpl.html&gt;<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>This is free software: you are free to change and redistribute it.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>There is NO WARRANTY, to the extent permitted by law.&nbsp; Type &quot;show copying&quot;<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>and &quot;show warranty&quot; for details.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>This GDB was configured as &quot;x86_64-redhat-linux-gnu&quot;.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>For bug reporting instructions, please see:<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>&lt;http://www.gnu.org/software/gdb/bugs/&gt;.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>[New Thread 2911]<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Missing separate debuginfo for <o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Try: yum --disablerepo='*' --enablerepo='*-debuginfo' install /usr/lib/debug/.build-id/23/1bd9599ad974226f19adfdc4dae3691396c81d<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Reading symbols from /usr/lib64/libtorque.so.2.0.0...Reading symbols from /usr/lib/debug/usr/lib64/libtorque.so.2.0.0.debug...done.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>done.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Loaded symbols for /usr/lib64/libtorque.so.2.0.0<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Reading symbols from /lib64/libc.so.6...(no debugging symbols found)...done.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Loaded symbols for /lib64/libc.so.6<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Reading symbols from /lib64/ld-linux-x86-64.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Loaded symbols for /lib64/ld-linux-x86-64.so.2<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Reading symbols from /lib64/libnss_files.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Loaded symbols for /lib64/libnss_files.so.2<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Reading symbols from /lib64/libnss_dns.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Loaded symbols for /lib64/libnss_dns.so.2<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Reading symbols from /lib64/libresolv.so.2...(no debugging symbols found)...done.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Loaded symbols for /lib64/libresolv.so.2<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Core was generated by `/usr/sbin/pbs_sched -d /var/lib/torque -a 600'.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Program terminated with signal 11, Segmentation fault.<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>#0&nbsp; 0x0000003ff4a13c44 in pbs_rescquery (c=0, resclist=&lt;value optimized out&gt;, num_resc=&lt;value optimized out&gt;, <o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp;&nbsp;available=0x7fffba82910c, allocated=0x7fffba829108, reserved=0x7fffba829104, down=0x7fffba829100)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp; at ../Libifl/pbsD_resc.c:215<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>215&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *(available + i) = *(reply-&gt;brp_un.brp_rescq.brq_avail + i);<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>Missing separate debuginfos, use: debuginfo-install glibc-2.12-1.47.el6_2.5.x86_64<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>(gdb) bt<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>#0&nbsp; 0x0000003ff4a13c44 in pbs_rescquery (c=0, resclist=&lt;value optimized out&gt;, num_resc=&lt;value optimized out&gt;, <o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp;&nbsp;available=0x7fffba82910c, allocated=0x7fffba829108, reserved=0x7fffba829104, down=0x7fffba829100)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp; at ../Libifl/pbsD_resc.c:215<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>#1&nbsp; 0x000000000040c8d6 in ?? ()<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>#2&nbsp; 0x00007fffba829100 in ?? ()<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>#3&nbsp; 0x0000000000000000 in ?? ()<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>(gdb) <o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>The last few lines of strace<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+182+11des&quot;..., 53) = 53<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+182+11des&quot;..., 53) = 53<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+252+11des&quot;..., 62) = 62<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+272+11des&quot;..., 64) = 64<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+192+11des&quot;..., 54) = 54<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+182+11des&quot;..., 53) = 53<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+182+11des&quot;..., 53) = 53<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+51+9Scheduler+12+232+11des&quot;..., 60) = 60<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+6+0&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 12<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+24+9Scheduler+0+12+13nodes&quot;..., 42) = 42<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+9+1+1+0+0+0&quot;, 262144) = 20<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>stat(&quot;/etc/localtime&quot;, {st_mode=S_IFREG|0644, st_size=2819, ...}) = 0<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+11+9Scheduler+2+22+3830255&quot;..., 124) = 124<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+1&quot;, 262144)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = 10<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+15+9Scheduler2+38302551.cl&quot;..., 67) = 67<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 0 (Timeout)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+11+9Scheduler+2+22+3830255&quot;..., 139) = 139<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 0 (Timeout)<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>write(8, &quot;+2+12+24+9Scheduler+0+12+13nodes&quot;..., 42) = 42<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>poll([{fd=8, events=POLLIN|POLLHUP}], 1, 20000) = 1 ([{fd=8, revents=POLLIN}])<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>read(8, &quot;+2+1+0+0+1&quot;, 262144)&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;= 10<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'>--- SIGSEGV (Segmentation fault) @ 0 (0) ---<o:p></o:p></span></p><p class=MsoNormal style='text-autospace:none'><span style='font-family:"Courier New"'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal>If there is any other information I can provide, please let me know as this is reproducible.<br><br><o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas'>--<o:p></o:p></span></p><p class=MsoNormal>Mike Stevens <o:p></o:p></p><p class=MsoNormal>Senior UNIX Administrator <o:p></o:p></p><p class=MsoNormal>Affymetrix | 3420 Central Expressway | Santa Clara, CA 95051 <o:p></o:p></p><p class=MsoNormal>Tel: 408-731-5804 | Cell: 408-507-5738<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></body></html>