jt-live-whisper 台灣華語語音合成與朗讀

Jason Cheng 發布 2026.11.02 瀏覽 2 次

本文目錄

兩種用法
播放與存檔
合成模型與設定
台灣念法的處理
英文與數字
內建聲音
匯入自己的聲音
硬體需求
應用情境
目前的限制
結論
參考資料

現在的 AI 語音合成已經很自然，但拿來念中文時，常常一開口就是大陸念法：「垃圾」念成ㄌㄚㄐㄧ，「星期」的「期」念成一聲，「企業」的「企」念成三聲。聽得懂，但不像台灣的說法。

jt-live-whisper 是我開發的全地端 AI 語音工具箱，v2.27.0 起加入「文字轉語音：台灣華語朗讀」，可以把文字念出來，或直接轉成 MP3、WAV 語音檔。念法以台灣日常說法為準，合成在自己的 GPU 伺服器或 Apple Silicon Mac 上進行，文字不會送到雲端，也不使用作業系統內建的語音。

上一篇介紹的線上會議英中雙向口譯，念中文給我聽用的也是這套朗讀。

兩種用法

文字轉語音是選用安裝的元件：GPU 伺服器在安裝或檢查時會詢問要不要裝（預設「否」，裝完約佔 11 GB），Apple Silicon Mac 本機則在安裝時詢問（預設「是」，約 4 GB）。升級到 v2.27.0 之後也要重新啟動 WebUI。

裝好後，WebUI 的「輸入來源」多了兩個選項：

文字內容朗讀
一邊念一邊顯示字幕。
文字轉語音檔
不播放，直接存成 MP3 或 WAV。

要念的文字可以直接貼上，也可以從執行 WebUI 那台主機的 recordings/、logs/ 資料夾選 .txt、.md、.srt、.vtt 檔，或把文字檔拖進來上傳，一次最多 100,000 字。字幕檔的時間軸、條列符號、網址參數不會念出來；jt-live-whisper 自己產生的會議摘要，只念「重點摘要」那一段。

播放與存檔

播放裝置可以選執行 WebUI 那台主機的喇叭或耳機，也可以選「瀏覽器」。選瀏覽器時，聲音在開著網頁的那台電腦播放，所以 jt-live-whisper 裝在沒有喇叭的伺服器或容器上也能用。用瀏覽器播放時，朗讀中請勿重新整理或關閉那個分頁，沒有分頁在播放時，約 90 秒後就會停止朗讀；只需要音訊檔的話，用「文字轉語音檔」比較合適。

勾選「同時存成音訊檔」的話，念完會在執行 WebUI 那台主機的 recordings/ 留下一份 MP3 或 WAV，從其他電腦使用時，可以用結束卡片上的連結下載。

按「開始」後，每一段開始念的時候才顯示那一段字幕。

每段字幕前有兩個時間：「合」是這段合成花的秒數，比這段音訊本身短時顯示綠色；「等」是播放時等合成的秒數，第一段代表按下開始後多久出聲。這張截圖拍攝時 GPU 伺服器同時在跑其他工作，所以合成比平常慢。

播放中可以暫停或停止，停止時已經合成的部分照樣存檔。每段字幕後面的「從這段念」會從那一段念到最後；念完後結束卡片上有音訊檔的下載連結，也可以按「重新朗讀」用同樣的文字與設定再念一次。

「文字轉語音檔」的畫面相同，只是不播放，按鈕變成「重新產生」。

合成模型與設定

預設的合成模型是 OpenBMB 的 VoxCPM2（Apache-2.0）。選它是為了速度：專案在 NVIDIA DGX Spark 的實測，合成時間約是音訊長度的 0.9 倍，在 Mac M5（32 GB）本機約 1.1 倍，兩種機器都能邊合成邊播放。但它主要學的是大陸念法，台灣念法要由 jt-live-whisper 補上，做法在下一節。

另外可以選用聯發科的 BreezyVoice（Apache-2.0），它以台灣華語訓練，口音比較道地，但專案實測的合成時間約是音訊長度的 1.2～2.5 倍，不適合即時朗讀，而且只能在 GPU 伺服器上用，適合不趕時間、要轉成語音檔的時候。

語速有慢（0.8 倍）、正常、稍快（1.2 倍）、快（1.5 倍），調整時音調不變，存成的音訊檔也是這個速度。段落停頓可以選 0.2、0.5 或 1 秒。

台灣念法的處理

以下說明的是預設的 VoxCPM2。送進模型之前，程式先決定每個字的台灣念法，通常只對和模型預設念法不同的字加上讀音提示，罕用字與模型已知容易念錯的字則一律指定：

教育部《重編國語辭典修訂本》為基礎
以詞為單位查辭典，同一個詞有多個讀音時（大家、便宜）依上下文挑。「垃圾」念ㄌㄜˋ ㄙㄜˋ、「星期」的「期」念ㄑㄧˊ，都是辭典本來的念法。
辭典和台灣日常說法不同的，改用日常說法
例如液晶的「液」念ㄧˋ、亞洲的「亞」念ㄧㄚˇ、市場的「場」念ㄔㄤˇ、強制的「強」念ㄑㄧㄤˊ，以及角色、參與等詞。
無法確定的念法由人試聽決定
做成同一句兩種念法試聽，蝸牛、優酪乳、從容這類詞最後決定照教育部的念法。
辭典沒收的詞由 g2pW 依上下文判斷
例如「伺服器」不在辭典裡，「伺」念ㄙˋ 是 g2pW 判斷的。
模型不認得的罕用字一律指定讀音
例如矽谷的「矽」和人名用字，送進模型的是拼音形式的讀音提示。

沒有指定讀音的字，會轉成簡體再送進模型。專案以 188 句自動偵測，疑似念錯的地方從 119 處降到 26 處。BreezyVoice 則不轉簡體，加注音的位置照它原本的規則，念法同樣採用台灣日常念法、教育部辭典與發音字典。

想知道一句話會怎麼念，可以在「發音字典」按「預覽念法」，大括號裡就是改用台灣念法的字。

公司名稱、產品名稱或人名老是念錯的話，管理者可以在發音字典自己加，一行一個「詞 = 注音」，一個字一個注音、以空白分開。單字的自訂念法只用在辭典詞以外，例如預設的「和 = ㄏㄢˋ」不會影響「和平」「暖和」。

念法也經過大量自動檢查：用近 400 句台灣華語句子自動合成，再辨識回來逐字比對，並把將近 5,000 句裡指定的念法逐一檢查。不過語音辨識會把聲調錯誤「修正」回正確的字，自動檢查只能找出疑似念錯的地方，聲調與口音仍要靠人工試聽確認。

英文與數字

英文單字、縮寫、產品名，以及日期、時間、IP、版本號、電話、百分比這類寫法，模型大多念得對。實測會念錯的三種寫法，送進模型前會先轉換，預覽念法也看得到：

寫法	轉換後
千分位：1,250,000	一百二十五萬
負數：-5°C、-3.2%	零下5度、負3.2%
金錢符號：NT$3,500、$1,999	新台幣三千五百元、一千九百九十九美元（`$` 一律當美元，新台幣請寫 NT$）

內建聲音

裝好就能用的聲音有 8 個，女聲、男聲各 4 個。它們都是 VoxCPM2 依文字描述產生的 AI 聲音，不是真人錄音，沒有選擇時預設用「女聲・溫柔」。

下面是 8 個聲音念同一句話，句子裡特別放了垃圾、星期、角色這幾個容易念錯的詞：「大家好，這是台灣華語朗讀的示範。星期五下午記得把垃圾拿去倒，新進同仁的角色分工也請再確認一次。」

女聲・溫柔（預設）

女聲・主播

女聲・活潑

女聲・沉穩

男聲・低沉

男聲・清爽

男聲・主播

男聲・溫和

上面截圖裡的兩次朗讀，產生的檔案如下，內容都是虛構的示範文字：

會議通知，女聲・溫柔

週報，男聲・低沉

匯入自己的聲音

也可以匯入特定人的聲音。管理者在「管理聲音」上傳一段錄音，10～20 秒最好，附上一字不差的逐字稿。合成出來的音色、口音、節奏都來自這段錄音，所以要用台灣華語的錄音。

聲音屬於可以識別個人的資料，匯入前必須取得錄音者的書面同意，同意書的用途、範圍、期限與刪除方式請法務確認。匯入時要填寫錄音來源並勾選已取得同意，沒有勾選、沒有填寫就無法匯入；不過程式只檢查有沒有勾、有沒有填，同意是否屬實仍要由管理者負責。

硬體需求

合成位置	需求與速度
GPU 伺服器	另外安裝 jt-live-whisper 伺服器端的 NVIDIA 顯示卡主機。VoxCPM2 在 DGX Spark 實測約佔 9.5 GB（行程 3.6 GB＋顯示卡 5.8 GB，這台的 CPU 與 GPU 共用記憶體），可用記憶體不足 10 GB 時預設不啟動；BreezyVoice 約佔 7 GB，預設門檻 8 GB
Apple Silicon Mac 本機	記憶體 16 GB 以上，合成時另需約 7～10 GB，磁碟約 4 GB。預設擴散 6 步，Mac M5 實測約是音訊長度的 1.1 倍；改成音質較好的 10 步約 1.5 倍

本機合成目前只支援 Apple Silicon Mac（16 GB 以上，VoxCPM2）；Windows、Linux 即使有 NVIDIA 顯示卡，也要透過 GPU 伺服器合成，Intel Mac 同樣不支援本機合成。Windows 搭配 NVIDIA 顯示卡的本機合成正在開發，之後會以選用安裝的 Beta 功能提供。合成位置預設是「自動」，會先用 GPU 伺服器，連不上或沒有設定時，才改用 Apple Silicon Mac 本機。

另外兩點限制：