跳到主要內容
節省工具箱Jason Tools
經驗分享

WireGuard 回應卡在 PPPoE 舊連線

Jason Cheng 發布 瀏覽 1 次
WireGuard 回應卡在 PPPoE 舊連線
本文目錄
  1. 環境與事故經過
  2. 查修過程
  3. 原因:回應被送往舊的 PPPoE session
  4. 額外發現:異地的端點通訊埠填錯
  5. 解法:換一組 5-tuple
  6. 預防措施
  7. 結論
  8. 參考資料

兩端的 IP 都對、DDNS 也沒錯,兩邊也都在送封包,VPN 卻斷了將近 8 小時,封包到底去了哪裡?

我的主站與異地備援機房各有一台 OPNsense,用 WireGuard 做 site-to-site VPN,兩邊都是 PPPoE 撥接,異地的監控、備份與 syslog 全靠這條通道。某天中午發現異地整個連不到,第一個直覺是異地 PPPoE 換了 IP、DDNS 沒跟上,結果完全猜錯。

最後在主站 PPPoE 底層的實體網路卡上抓封包,才看到真相:異地的回應其實有回來,只是帶著 PPPoE「舊連線」的編號,主站根本不會收。換一個埠號,10 秒就恢復。這篇記錄整個查修過程、原因推論,以及之後讓它自動恢復的做法。

環境與事故經過

文中的對外 IP 都換成文件專用的範例位址,主機名稱、DDNS 名稱也是範例,金鑰一律顯示為 <public-key>。終端機畫面是把實際指令輸出重新排版、替換位址後的結果,時間、封包長度與 session 編號都是實際數值。

項目主站 fw-main異地 fw-branch
WANPPPoE 固定 IP 203.0.113.10,另有一條固定 IP 專線 WAN2PPPoE 浮動 IP 192.0.2.20,用 DDNS
WireGuard 監聽埠5182059820
對方端點異地的 DDNS 名稱主站的固定 IP
內網10.0.1.0/2410.0.11.0/24

事後從主站閘道記錄整理出的時間軸:

  • 05:21:50
    主站 PPPoE 閘道開始掉封包(Loss 12%)
  • 05:22:04
    閘道監測判定 PPPoE 線路不可用(Loss 37%),預設閘道切到 WAN2,接著 PPPoE 連續重新撥號好幾次
  • 05:23:39
    PPPoE 恢復,預設閘道切回 PPPoE
  • 05:21 之後
    WireGuard 的最後一次成功握手停在 05:21:21,之後再也沒成功過
  • 11:30 左右
    發現異地連不到,開始查修
  • 13:27
    找到原因,換埠號後 10 秒內恢復。從最後一次握手算起,中斷約 6 小時才發現,到恢復共約 8 小時
主站「系統: 閘道: 記錄檔案」:05:21 到 05:23 PPPoE 掉封包、斷線、恢復
主站「系統: 閘道: 記錄檔案」:05:21 到 05:23 PPPoE 掉封包、斷線、恢復

發現時的狀況:從主站 ping 異地內網與通道 IP 全部不通;主站的 WireGuard 大約每 5 秒送一次握手請求,但從來沒有收到回應。奇怪的是,主站自己上網、對外服務與其他站點的監控都正常,只有這條 VPN 斷了(經過 VPN 的異地監控當然也一起斷了)。

查修過程

懷疑 DDNS 沒跟上(錯)

主站先執行 OPNsense 內建的「重新解析 WireGuard 端點」:

configctl wireguard renew

這個動作對「超過 135 秒沒握手」的 peer,用設定檔裡的端點重新設定一次,名稱會重新解析。結果解析出來還是同一個 IP。到異地查「服務: 動態 DNS」,目前 IP 與異地實際的對外 IP 一致,DDNS 本來就是對的。

異地「服務: 動態 DNS」:目前 IP 正確,不是 DDNS 的問題
異地「服務: 動態 DNS」:目前 IP 正確,不是 DDNS 的問題

懷疑防火牆擋掉

異地 WAN 上放行 WireGuard 的規則,原本只允許主站特定的來源 IP。05:22 主站 PPPoE 斷線、預設閘道切到 WAN2 時,WireGuard 封包改從 WAN2 的 IP 送出,這段時間確實會被異地擋下。

但 05:23 PPPoE 就恢復了,之後主站都是從 PPPoE 的 IP 送出,照理說應該會通。清掉主站防火牆裡與異地相關的連線狀態也沒有改善(只需清這組 IP 的狀態,不必全部清除,以免中斷其他連線),所以這只是觸發點之一,不是一直不通的原因。

兩端同時抓封包

猜不出來就看證據。異地 WAN 抓封包,有收到主站的握手請求(148 bytes),也有送出回應(92 bytes):

異地 WAN 封包擷取:收到握手請求,也送出了回應
異地 WAN 封包擷取:收到握手請求,也送出了回應

主站在 pppoe0 上抓,卻只看得到自己送出的請求,異地的回應一個都沒有:

主站 pppoe0 只看到送出的握手請求,最後一次握手停在 05:21
主站 pppoe0 只看到送出的握手請求,最後一次握手停在 05:21

到這裡可以確定:封包是在「異地送出」到「主站 pppoe0 收到」之間不見的。

往下一層抓實體網路卡

PPPoE 是跑在實體網路卡(這台是 igb1)上面的,每一條 PPPoE 連線都有一個 session 編號。pppoe0 上看不到的封包,有可能還在實體網路卡上,所以直接在 igb1 抓 PPPoE 封包,pppoes 篩選條件會解開 PPPoE 的標頭再比對裡面的 UDP(實體介面帶 VLAN 標籤時,篩選條件要另外加上 vlan):

tcpdump -ni igb1 -c 8 'pppoes and udp port 51820'
關鍵證據:主站送出走 session 0xb,異地的回應卻帶著舊的 session 0x1
關鍵證據:主站送出走 session 0xb,異地的回應卻帶著舊的 session 0x1
  • 主站送出的封包是 ses 0xb,就是目前的 PPPoE 連線
  • 異地回來的封包是 ses 0x1,不是目前的連線,依時間點推斷是重新撥號前的舊連線
  • pppoe0 只接收 0xb 的封包,0x1 的回應直接被丟掉
  • 同時間依 session 統計,其他流量進出都正常走 0xb,只有這組 WireGuard 的回應走 0x1

原因:回應被送往舊的 PPPoE session

事故示意圖:固定 5-tuple 的 WireGuard 回應被送往舊的 PPPoE session
事故示意圖:固定 5-tuple 的 WireGuard 回應被送往舊的 PPPoE session

05:22 主站 PPPoE 短時間內連續重新撥號,原本的 session 是 0x1,最後穩定下來的是 0xb。之後 ISP 端對「同一組來源/目的 IP 與埠號」(加上協定,合稱 5-tuple)的回程封包,仍然送往舊的 session 0x1。我推測 ISP 端留有以連線為單位的轉送記錄,重新撥號時沒有清掉。

注意:ISP 內部怎麼實作我們看不到,上面是依封包推論。能確定的事實只有一件:同一個 IP 的回應封包,帶的是舊的 PPPoE session 編號。

如果推論成立,WireGuard 的運作方式剛好會讓這筆舊記錄一直不過期:

  • 5-tuple 一直不變
    PPPoE 恢復之後、手動換埠之前,兩邊的 IP、埠號都固定,失敗的這組流量始終是同一組來源與目的
  • 握手失敗會一直重試
    握手請求沒有回應時,WireGuard 大約每 5 秒(加上少許隨機延遲)重送一次,一輪重試沒成功會暫停;只要還有封包要送(監控、syslog,或設了 Keepalive),就會再觸發新的握手,這組 5-tuple 一直有流量,舊記錄的有效時間就一直被延長

一般新建立的連線多半會用新的來源埠,等於新的 5-tuple,就可能避開這筆舊記錄。這也可以解釋為什麼當時只有 VPN 斷、其他網路都正常。

額外發現:異地的端點通訊埠填錯

整理截圖時發現,異地 peer 的「端點通訊埠」填的是 59820,這是異地自己的監聽埠,主站實際監聽的是 51820。

異地 peer 設定(修正前):端點通訊埠誤填成自己的監聽埠 59820
異地 peer 設定(修正前):端點通訊埠誤填成自己的監聽埠 59820

也就是說,異地照設定檔主動送出的握手請求,會送到主站沒有監聽的埠。平常感覺不到,是因為主站會主動連過去,異地收到合法的封包後,WireGuard 會自動改用封包的來源位址當作對方端點(roaming),之後異地主動發起的握手也就會成功。

這個自動學到的端點只存在執行中的狀態。我查了 OPNsense 目前的原始碼(2026/11),每次 WAN 取得新 IP(PPPoE 重新撥號也算),OPNsense 都會執行 wg syncconf,把端點設回設定檔裡的值。所以異地只要一重新撥號,就會回到那個錯的埠號,只能等主站來連。

這次異地送回主站的握手回應進不了主站的 WireGuard,異地照設定檔主動連線又送錯埠,兩條路同時斷掉,通道才會斷 8 小時。修正方式是把異地 peer 的端點通訊埠改成主站的 51820。

解法:換一組 5-tuple

既然問題綁在這組 5-tuple 上,換掉它就好。主站把 WireGuard 的監聽埠從 51820 改成 51821:

wg set wg1 listen-port 51821
換埠號後 10 秒內握手成功,ping 異地內網恢復
換埠號後 10 秒內握手成功,ping 異地內網恢復
  • 10 秒內握手成功
    換了 5-tuple 之後,回應正常帶著 0xb 回來,也符合「舊記錄綁在原本那組 5-tuple 上」的推論
  • 異地不用改設定
    異地收到從新埠號送來的合法封包,會自動把主站的端點更新成 :51821
  • 主站防火牆不用另外開 51821
    是主站主動往外送,異地的回應會對應到這條連線的狀態。但這只限主站先送出的情況:主站停在 51821 時,異地若重新載入設定,會照設定檔送往 51820 而失敗,要等主站的 Keepalive 送過去、異地重新學到端點才會接上
  • 只是暫時的
    wg set 只改執行中的狀態,不會寫進設定檔;之後套用 WireGuard 設定、重新開機,或 WAN 取得新 IP 時的 wg syncconf,都會回到 51820
主站「VPN: WireGuard: 狀態」:監聽埠 51821、握手正常
主站「VPN: WireGuard: 狀態」:監聽埠 51821、握手正常

預防措施

目標是任何一邊 PPPoE 重新撥號、換 IP、切換閘道之後,都不用人處理就能自己接回來。

兩邊都設 Keepalive,端點填對方的埠

到「VPN → WireGuard → 端點」編輯對方的 peer,Keepalive interval 設 25。沒有流量時也會每 25 秒送一次,斷線後兩邊都會持續重試,哪一邊先通就由哪一邊接上。

主站 peer 設定:端點是異地的 DDNS 名稱與監聽埠 59820,Keepalive 25
主站 peer 設定:端點是異地的 DDNS 名稱與監聽埠 59820,Keepalive 25

兩邊 peer 的端點位址與端點通訊埠,都要填「對方」的位址與監聽埠。填成自己的埠號不會有任何錯誤訊息,平常也靠對方主動連線撐著;但只要這一側從設定檔載入端點(例如重新撥號後的 wg syncconf),在重新學到正確端點之前,它的主動連線都不會成功。

浮動 IP 端主動連固定 IP 端

異地(浮動 IP)的端點指向主站的固定 IP,再加上 Keepalive,異地換 IP 後會馬上主動連回來,主站收到後自動更新對方位址,不必等 DDNS 更新與重新解析。

WireGuard 的防火牆規則不限制來源

原本只放行主站一個來源 IP,主站一切換線路就被擋。本例主站兩條線都是固定 IP,比較好的做法是建立別名,把兩個 IP 都放進去;對方是浮動 IP、無法列舉時,才把來源改成「任一」。我們這次先改成「任一」,主站不管從哪一條線路出去,異地都收得到。

異地 WAN 規則:UDP、來源任一、目的 WAN 位址埠 59820
異地 WAN 規則:UDP、來源任一、目的 WAN 位址埠 59820

開放任一來源時要分清楚兩件事:沒有對應私鑰的人無法建立通道;隨機掃描因為不知道接收端的公鑰,算不出握手封包的驗證碼,WireGuard 也不會回應,看起來跟沒開這個埠一樣。但公鑰不是秘密,這個埠仍然會收封包、佔用一些處理資源,能限定來源時還是限定比較好。

自動換埠的 watchdog

這次在 IP 與設定的埠號都沒變的情況下,OPNsense 內建的功能(重新啟動 WireGuard、清連線狀態、重新解析 DNS)都換不掉 5-tuple。要依條件自動換埠,我用了一支自訂腳本。主站放一支 /usr/local/sbin/jt-wg-watchdog.sh:

#!/bin/sh
# WireGuard watchdog: if no handshake for MAX seconds, switch listen-port
# 51820 <-> 51821 (a new 5-tuple avoids a stale ISP flow mapping after
# PPPoE redial) and re-resolve peer DNS.
IF=wg1; A=51820; B=51821; MAX=300; HOLD=240
ST=/var/run/jt-wg-watchdog.last; ZF=/var/run/jt-wg-watchdog.zero
now=$(date +%s)
last=$(wg show $IF latest-handshakes 2>/dev/null | awk 'NR==1{print $2}')
[ -z "$last" ] && exit 0
if [ "$last" -eq 0 ]; then
  [ -f $ZF ] || { echo $now > $ZF; exit 0; }
  age=$((now - $(cat $ZF)))
else
  rm -f $ZF
  age=$((now - last))
fi
[ $age -le $MAX ] && exit 0
prev=$(cat $ST 2>/dev/null || echo 0)
[ $((now - prev)) -lt $HOLD ] && exit 0
cur=$(wg show $IF listen-port)
if [ "$cur" = "$A" ]; then new=$B; else new=$A; fi
wg set $IF listen-port $new
echo $now > $ST
logger -t jt-wg-watchdog "no handshake for ${age}s, listen-port $cur -> $new, renew dns"
/usr/local/sbin/configctl wireguard renew >/dev/null 2>&1
exit 0
  • 超過 5 分鐘沒有握手,就在 51820 與 51821 之間切換,並重新解析對方的 DDNS
  • 切換後至少等 4 分鐘才會再切,不會來回跳;剛開機還沒握手時,從第一次執行算起等 5 分鐘才動作
  • 每次切換都寫進 syslog(標籤 jt-wg-watchdog),送到集中記錄系統就查得到

要讓它出現在 OPNsense 的排程選單,建立 configd 動作檔 /usr/local/opnsense/service/conf/actions.d/actions_jtwg.conf:

[watchdog]
command:/usr/local/sbin/jt-wg-watchdog.sh
parameters:
type:script
message:JT WireGuard watchdog
description:JT WireGuard watchdog (switch port when handshake stale)
chmod 755 /usr/local/sbin/jt-wg-watchdog.sh
service configd restart
configctl jtwg watchdog      # 手動測一次

接著到「系統 → 設定 → Cron」新增作業,命令選「JT WireGuard watchdog (switch port when handshake stale)」,分、小時、月份中的日期、月、一週中的日期都填 *,也就是每分鐘執行。

系統: 設定: Cron:watchdog 每分鐘執行
系統: 設定: Cron:watchdog 每分鐘執行

使用前請注意這支腳本的適用範圍:

  • 只看第一個 peer,但換的是整個介面
    寫給一對一的 site-to-site 用;監聽埠是整個 WireGuard 介面的設定,介面上有多個 peer 時會一起受影響。介面名稱與埠號依自己的環境修改
  • 換回原本的埠不保證有效
    第一次換埠能避開舊記錄,但之後切回 51820 時又是原本那組 5-tuple;ISP 端的記錄多久會過期沒有公開資料。腳本也沒有檢查換埠是否成功,所以仍要有斷線告警,不能只靠它
  • 要搭配 Keepalive
    有 Keepalive 時通道正常就會定期重新握手;沒設的話,閒置太久也會被當成斷線而切換埠號
  • 不在 OPNsense 的設定備份裡
    腳本與動作檔是額外放進去的檔案,設定檔 config.xml 只記得那筆 Cron 作業;換機或重新安裝後還原設定,要另外把這兩個檔案放回去

其他建議

  • 動態 DNS 更新快一點
    檢查間隔調短,IP 取得方式選「介面」,直接從 PPPoE 介面取得位址,換 IP 後在下一次檢查時更新
  • 留意 IDS 誤判
    主站的 Suricata 把 WireGuard 封包判成 ET MALWARE Possible KEYPLUG/Downadup/Conficker-C P2P encrypted traffic UDP Ping Packet(SID 2009206)。這條規則比對高埠號之間的加密 UDP,ET Open 預設是停用的;有啟用的話預設動作只是告警;但若啟用 IPS 模式,且這條規則經由政策改成 drop,命中的 WireGuard 封包就會被丟棄。建議針對這個 SID 與這組 IP 調整,不要整組 IP 都略過檢查
  • 斷線要有告警
    用 Monit 或監控系統 ping 對方內網,或對 jt-wg-watchdog 的 syslog 設告警。告警要從通道這一側發出,或偵測「多久沒收到對方資料」,因為對方的記錄與通知也走這條 VPN,斷線時送不出來。這次是斷了約 6 小時才發現
異地「VPN: WireGuard: 狀態」:主站端點已自動更新成 :51821
異地「VPN: WireGuard: 狀態」:主站端點已自動更新成 :51821

結論

這次最大的教訓是:「IP 都對」不代表封包到得了。一開始判斷成 DDNS 問題是錯的,兩端各抓一次封包,馬上就知道問題在中間那一段。PPPoE 環境還要再往下一層,pppoe0 上看不到的封包,可能還在實體網路卡上,只是帶錯了 session 編號。

WireGuard 固定的 5-tuple 加上不斷重試,讓錯誤的狀態一直維持下去,換一個埠號就是換一組 5-tuple。另一個體會是,兩邊都能主動連,才算真的有備援:這次異地的端點通訊埠填錯,平常靠主站單向撐著,一出事就沒有第二條路。

參考資料

Jason Cheng

Jason Cheng

企業開源技術顧問,專注架構規劃與實務導入

關於作者 →

延伸閱讀