Openstack：計算節點沒法啟動的一次排查過程

openstack的控制節點和計算節點重新開機後，在控制節點上檢視計算資源的狀态：

<code>[root@linux-node1 ~]</code><code># openstack compute service list</code>

<code>+----+------------------+------------------------+----------+---------+-------+----------------------</code>

<code>| ID | Binary           | Host                   | Zone     | Status  | State | Updated At                 |</code>

<code>|  1 | nova-conductor   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:00:40.000000 |</code>

<code>|  2 | nova-scheduler   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:00:41.000000 |</code>

<code>|  3 | nova-consoleauth | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:00:45.000000 |</code>

<code>|  7 | nova-compute     | linux-node1.wanwan.com | nova     | enabled | up    | 2017-03-10T03:00:38.000000 |</code>

<code>|  8 | nova-compute     | linux-node2.wanwan.com | nova     | enabled | down  | 2017-03-10T02:28:39.000000 |</code>

居然發現計算節點node02沒有起來，如上在計算節點上檢視下狀态

<code>[root@linux-node2 ~]</code><code># systemctl status openstack-nova-compute.service</code>

<code>● openstack-nova-compute.service - OpenStack Nova Compute Server</code>

<code>   </code><code>Loaded: loaded (</code><code>/usr/lib/systemd/system/openstack-nova-compute</code><code>.service; enabled; vendor preset: disabled)</code>

<code>   </code><code>Active: activating (start) since Fri 2017-03-10 10:49:08 CST; 12min ago</code>

<code> </code><code>Main PID: 2261 (nova-compute)</code>

<code>   </code><code>CGroup: </code><code>/system</code><code>.slice</code><code>/openstack-nova-compute</code><code>.service</code>

<code>           </code><code>└─2261 </code><code>/usr/bin/python2</code> <code>/usr/bin/nova-compute</code>

<code>Mar 10 10:49:08 linux-node2.wanwan.com systemd[1]: Starting OpenStack Nova Compute Server...</code>

<code>[root@linux-node2 ~]</code><code># systemctl start openstack-nova-compute.service</code>

<code>啟服務，發現一直處于卡住的狀态，檢視下日志檔案</code>

<code>-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

<code>2017-03-10 10:58:19.846 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

<code>2017-03-10 10:58:51.944 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

<code>2017-03-10 10:59:24.076 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

<code>2017-03-10 10:59:56.191 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

<code>2017-03-10 11:00:28.302 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

<code>2017-03-10 11:01:00.411 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

<code>2017-03-10 11:01:33.521 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again </code><code>in</code> <code>32 seconds. Client port: None</code>

提示AMQP不可達，這個時候我就開始懷疑消息隊列是否正常，繼續檢查

<code>[root@linux-node1 ~]</code><code># lsof -i :5672</code>

<code>COMMAND    PID     USER   FD   TYPE DEVICE SIZE</code><code>/OFF</code> <code>NODE NAME</code>

<code>nova-cons 1171     nova    5u  IPv4  30613      0t0  TCP linux-node1:40614-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   52u  IPv6  29124      0t0  TCP *:amqp (LISTEN)</code>

<code>beam.smp  1173 rabbitmq   53u  IPv6  31152      0t0  TCP linux-node1:amqp-&gt;linux-node1:40614 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   54u  IPv6  31176      0t0  TCP linux-node1:amqp-&gt;linux-node1:40624 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   55u  IPv6  31180      0t0  TCP linux-node1:amqp-&gt;linux-node1:40626 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   56u  IPv6  31183      0t0  TCP linux-node1:amqp-&gt;linux-node1:40628 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   57u  IPv6  31193      0t0  TCP linux-node1:amqp-&gt;linux-node1:40630 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   58u  IPv6  31197      0t0  TCP linux-node1:amqp-&gt;linux-node1:40632 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   59u  IPv6  31255      0t0  TCP linux-node1:amqp-&gt;linux-node1:40640 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   60u  IPv6  31321      0t0  TCP linux-node1:amqp-&gt;linux-node1:40646 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   61u  IPv6  31355      0t0  TCP linux-node1:amqp-&gt;linux-node1:40654 (ESTABLISHED)</code>

<code>beam.smp  1173 rabbitmq   62u  IPv6  35079      0t0  TCP linux-node1:amqp-&gt;linux-node1:40670 (ESTABLISHED)</code>

<code>nova-sche 1186     nova    7u  IPv4  31192      0t0  TCP linux-node1:40630-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-comp 2091     nova    4u  IPv4  31168      0t0  TCP linux-node1:40624-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-comp 2091     nova    5u  IPv4  31179      0t0  TCP linux-node1:40626-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-comp 2091     nova   21u  IPv4  31898      0t0  TCP linux-node1:40654-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-comp 2091     nova   22u  IPv4  35882      0t0  TCP linux-node1:40670-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-cond 3265     nova    7u  IPv4  31196      0t0  TCP linux-node1:40632-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-cond 3265     nova    8u  IPv4  31833      0t0  TCP linux-node1:40646-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-cond 3267     nova    7u  IPv4  30623      0t0  TCP linux-node1:40628-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>nova-cond 3267     nova    8u  IPv4  31750      0t0  TCP linux-node1:40640-&gt;linux-node1:amqp (ESTABLISHED)</code>

<code>沒發現有異常，嘗試清除下iptables</code>

<code>[root@linux-node1 ~]</code><code># iptables -F</code>

<code>[root@linux-node1 ~]</code><code># iptables -X</code>

<code>[root@linux-node1 ~]</code><code># iptables -Z</code>

<code>再次進行檢查</code>

<code>|  1 | nova-conductor   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:08:40.000000 |</code>

<code>|  2 | nova-scheduler   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:08:41.000000 |</code>

<code>|  3 | nova-consoleauth | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:08:45.000000 |</code>

<code>|  7 | nova-compute     | linux-node1.wanwan.com | nova     | enabled | up    | 2017-03-10T03:08:48.000000 |</code>

<code>|  8 | nova-compute     | linux-node2.wanwan.com | nova     | enabled | up    | 2017-03-10T03:08:40.000000 |</code>

如上，可以發現計算節點已經恢複正常了，看來iptables一定要記得清空政策

本文轉自 冰凍vs西瓜 51CTO部落格，原文連結：http://blog.51cto.com/molewan/1905064，如需轉載請自行聯系原作者