2019年2月5日 星期二

[經驗分享]開啟 Proxmox VE 的 IPMI Watchdog 支援



Proxmox VE 基於伺服器上使用廣泛的 Linux 作業系統，運作穩定，但人生總是有 Bug But 存在：若 Proxmox VE 的節點死當了該怎麼辦呢？

做為無人值守的機房伺服器，不管是應用軟體當機、作業系統當機，都應該俱備有自我恢復機制，讓服務能夠重新上線。









監測機制

在伺服器服務上，我們經常使用 Watchdog (看門狗) 這樣的機制。

設置一個自動計數的計時器不斷的進行，讓運作的服務或程式透過定期來把計數器重置，讓 Watchdog 知道服務還活著。

或服務或系統死當導致無法對 Watchdog 計數器發出重置指令時，當達到所預先設定的計數器門檻值，Watchdog 就會對系統發出指定的動作，通常是強制重新啟動，或者關閉。

這個 Watchdog 裝置可以是外掛硬體，也可以是主機所內建的硬體裝置。在現代的伺服器系統上，通常具備有 IPMI 或與其相容 (例如 Dell iDRAC、HP iLO 等) 的管理介面，而這些管理介面也都擁有 Watchdog 的機制。





運作模式

在 Proxmox VE 裡，提供了兩種 Watchdog 模式。



Proxmox VE Watchdog 層級示意



Proxmox VE 同時支援了作業系統級監測與硬體物理級監測，但不管是這種兩種的那一種模式，都提供了兩個必要的功能。



Watchdog 主要功能


這兩種方式各有優缺點，說明如下。

作業系統級監測

  • [優] 不需硬體 Watchdog 裝置即可支援
  • [優] 不需設定即已內建啟用與支援
  • [優] 相容與泛用性最好
  • [缺] 若作業系統死當到連 Softdog 也死掉，無法自我重啟
  • [缺] 自我重啟時間較久
     

硬體物理級監測

  • [優] 較準確的系統生存狀態判斷
  • [優] 可以完全重啟作業系統
  • [優] 可以更快速的完成重啟動作
  • [缺] 需要硬體支援
  • [缺] 需要另外設定開啟






設定方式

若要啟用 IPMI Watchdog 支援，需要調整系統設定檔。在修改重要檔案前都應該先做好備份。為此，官方手冊上還提出了一份警訊。



官方手冊對於啟用 IPMI Watchdog 的警語


官方說啟用硬體式的 Watchdog 就如同「一把上了膛的槍」，表示若您沒有正確的設定好這件事，反而會造成大災難，例如節點會不斷的自我重新啟動。

若您已做好心理準備與備份，還是可以進行設定。

在過去 PVE 4.x 或更早的版本，要設定這件事非常麻煩，後來的 PVE 5.x 版越改越簡單，現在您只需要開啟一個設定檔案 /etc/default/pve-ha-manager。



啟用 IPMI Watchdog


請將第二行 #WATCHDOG_MODULE=ipmi_watchdog 最前方的註解 # 給去掉，並於存檔退出後重新開機，即可生效。

開機完成後，可以執行服務狀態指令確認是否已經生效，採用 ipmi watchdog 了。
查看 watchdog 服務
service watchdog-mux status

執行以後，會顯示服務的狀態資訊，其中已經有我們需要的關鍵。



查看 watchdog 服務狀態


請留意最後幾行的記錄內容，顯示 ... Watchdog driver 'IPMI' ... 即表示已成功使用 IPMI Watchdog 機制。

若想要更進一步的了解 IPMI Watchdog 的目前資訊，可以使用 IPMI 工具查詢，此工具預設沒有安裝，請先安裝方能使用。
安裝 IPMI Tool
apt-get install ipmitool
查看 IPMI Watchdog 設定
ipmitool mc watchdog get


這個指令可以顯示在 IPMI 裝置上，目前的 Watchdog 設定值內容。



查看 IPMI Watcdoh 設定值


在這個資訊中，我們只需要關注幾項重點：

  • Watchdog Timer Is: Started/Running
    這個計數器的狀態為 Started/Running 表示正常，運作中。
     
  • Watchdog Timer Actions: Hard Reset (0x01)
    當計數器到達門檻時，要做硬體重新開機的動作。
     
  • Initial Countdown: 10 sec
    表示計數器門檻為10秒，達到後觸發 Actions 所定義的動作。






結論

Proxmox VE 提供了越來越好的硬體設備整合能力，以及越來越簡單的設定方法，這些都讓我們使用的穩定成熟度提升。

 在 Watchdog 這件重要的事情上，Proxmox VE 同時提供了兩種方案，本意都是希望縮短服務中斷的時間，確保服務的品質與上線能力，我們可以善加運用。





參考資料



發佈：
標籤： , , , , , ,