Re: [分享] openai_whisper / faster-whisper /webui

[blarc (blarc)]

先感謝大大分享跟介紹!

最近使用fast-whisper-large-v2來翻譯日綜

有一些心得跟問題想請教

目前翻譯的效果還可以, 至少可以看懂7成內容了, 但感覺還有改善空間

遇到一些人名/地名/專有名詞會比較苦手

這部份我是利用Initial Prompt來改善

先把藝人名或節目介紹的地名先打上去, 翻譯會比較傾向用你提示的內容

不過好像有224個token限制的樣子


另外有時候會遇到一段翻譯一直重複同一個句子長達幾分鐘

感覺像是卡住或是落入loop

我有試著把VAD - Max Merge Size 從90改成180或更高

或是去Full頁面把Condition on previous text取消掉

可以減少這種重複句子的問題


最後有兩個想請教的地方

web-ui上有translate model和language欄位

這兩個欄位的用途是? for translate task用的嗎?

還是跟翻譯成中文有關?


另外我透過修改config的方式下載其他model來做transcrbie

ex: zh-plus/faster-whisper-large-v2-japanese-5k-steps

arc-r/faster-whisper-large-v2-mix-jp

不過效果怎麼比原本faster-whisper-large-v2還差 @@

我以為這些model是為了加強日語辨識, 還是我還少做了什麼步驟嗎?

謝謝.

※ 引述《avans (阿緯)》之銘言：
: whisper這是openai公開的語音辨識模型
: 非常強大相信不少人已經聽過或使用過了
: 沒聽過也沒關係這邊做個使用介紹
: 這裡主要要介紹的是
: whisper與faster-whisper
: 還有whisper-webui(網頁版本)
: openai/whisper
: https://github.com/openai/whisper
: guillaumekln/faster-whisper
: https://github.com/guillaumekln/faster-whisper
: aadnk/whisper-webui
: https://huggingface.co/spaces/aadnk/whisper-webui

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 210.71.217.243 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1694048944.A.49C.html
推 avans: whisper官方只有實作其他語言翻譯為英文，沒有提供任意翻譯
→ avans: 你說的translate model和language欄位是指我fork的版本的嗎
→ blarc: 是的!
→ avans: 如果是的話，那是結合FB(Meta)推出的NLLB翻譯模型來翻譯的
→ avans: 後來我發現Initial Prompt輸入"繁體:"有時候會導致whisper
→ avans: 產出的字幕怪怪的，連"繁體"兩字也吃進去
→ avans: 我還沒有使用過其他whisper model過...這個幫不到
→ blarc: 那請問NLLB Model有需要選嗎? 選了會幫助翻譯中文更準確嗎?
→ blarc: 問了一下bard, 看起來預設whisper是連網用chatgpt翻譯, 而
→ blarc: 大大提供的NLLB Model選項是能夠離線使用fb的翻譯模型
→ blarc: 我這樣的理解是否正確呢?
→ avans: 應該不是，whisper翻譯不需要連網也非用chatgpt翻譯
→ avans: 畢竟我也沒輸入chatgpt的key給whisper使用
→ avans: 不過whisper只有實作他語言到英文的翻譯，其他語言時好時壞
→ avans: 都是正常的，使用NLLB Model選項就是離線翻譯模型
→ avans: 使用NLLB Model的話，whisper的language欄位就選聲音的語言
→ avans: NLLB的language欄位就選擇你要翻譯的語言
→ blarc: 嗯 我也覺得沒輸入api key怎麼可能用chatgpt翻譯, bard又在
→ blarc: 唬爛我.. 我再繼續研究一下各種組合好了, 感謝大大回覆
推 tzouandy2818: 不要相信Bard 唬爛程度超高