[LLMs] 使用AI工具整理逐字稿？

[ZMTL (Zaious.)]

不知道有沒有版友願意討論一下這部分的心得，原本我以為很簡單實際上意外的困難。


目前做法：
使用Word聽寫功能得到Word版的逐字稿(準確率大概7成)

然後用GPT4-8k Model下以下的Prompt:
        {"role":"system", "content": "你是位專業的逐字稿整理師"},
        {"role":"user", "content": "我會給你一份(主題說明)的講座紀錄，
         請你幫我整理逐字稿，除了修正錯字贅字外盡可能保留原本的用詞。"},

實際問題：
1.GPT4目前只有8k，最多只能進4000tokens(約2500中文字)回4000tokens，
  GPT3.5有16K，但幻覺很嚴重。

  等於一次大概只能處理15分鐘左右的逐字稿。
  (不然就是等GPT4-32K開放)

2.目前我怎麼調Prompt都很容易進4000tokens回1500tokens，把逐字稿內容刪減的太過頭


其他選擇：
OpenAI Whisper AI
好像無法區分講者，所以我沒試

有沒有人專案上做過相關嘗試或研究的？感謝



--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1692861690.A.A46.html
推 AlanCloud: whisper不能區分講者，你試試看用時間軸分，然後用其他
→ AlanCloud: 可以分辨講者的辨識也定義時間軸比對看看？
推 olctw: Whisper 產生的字幕檔案搭配編輯軟體已經相當準確與省下很
→ olctw: 多時間，搭配影片區分應該還算容易
→ ZMTL: 我的需求是從一段純語音對話內容整理資料
→ ZMTL: 剛剛用電腦跑Whisper Large模型，準度還不錯，但無法辨識講
→ ZMTL: 者導致整理有點麻煩
推 Supasizeit: 竹子稿一個字都不能錯哩，所以還不是要重聽重修
→ Supasizeit: 我上次是整理論壇，ChatGPT 可以從語意中判斷某段話
→ Supasizeit: 誰講的，蠻厲害的
推 cgjosephlee: 長文本可以參考langchain map reduce summarizatiin
→ cgjosephlee: 調整一下prompt 後3萬字的總結效果也不錯
→ cgjosephlee: 我有寫了個網頁做這個 提供給你參考
→ cgjosephlee: https://github.com/cgjosephlee/summarizeGPT
→ cgjosephlee: STT分講者可以搜尋diarization, whisper.cpp 有實驗
→ cgjosephlee: 性功能 https://bit.ly/3OKoSKy
→ cgjosephlee: 有興趣我們可以再討論，希望有幫上忙
推 rent2ez: Vocol.ai怎麼做成可以分析講者的阿？
→ rent2ez: 它不是也用chatgpt api嗎？
→ ZMTL: 感謝討論，我之後研究一下
→ ZMTL: 我目前使用相當硬幹的方式完成我的需求
→ ZMTL: 1.提取Word轉錄的講者 2.配對到Whisper逐字稿文本
→ ZMTL: 3.把逐字稿文本每一段分開請GPT4修整精簡
推 andersonhaha: 用 Langchain 寫了一段 audio to text/summary
→ andersonhaha: 使用 gpt-3.5-turbo-16k 來處理
→ andersonhaha: https://whisperai.streamlit.app
→ andersonhaha: https://whisper-summary.streamlit.app
推 venroxas: Azure的認知服務應該有機會解決
→ ZMTL: @cgjosephlee 感謝，我正在閱讀你的Langchain方法，很有幫助
→ ZMTL: @andersonhaha 想請問這是部屬在伺服器上的?不然我怎麼可以
→ ZMTL: 連上去?好酷，不知道方不方便學習整個專案的建置
→ ZMTL: @rent2ez 看了一下，有人用whisper ai實現辨識講者，但不是
→ ZMTL: openai原本模型有的能力，是另外掛了音調辨識的模型上去
→ ZMTL: https://reurl.cc/3xdrDM
推 andersonhaha: 最近學的Langchain 程式，連結 whisper，在 strea
→ andersonhaha: mlit 部署就可以直接使用了。只是Prompts 內容無法
→ andersonhaha: 讓使用者自填 。
推 sajanny: 這是我最近在用的，逐字稿內容濃縮的還不錯
→ sajanny: https://www.portfoliopals.net/summascript/
推 ping40336: Vocol.ai很讚欸 錯字率低，也可以匯出Srt.txt檔，方便