[問題] safetensors 轉gguf後 答非所問

[gostjoke (鬼笑話)]

不好意思 版上有人遇到這個問題嗎?

我之前準備了一個測試訓練 強化某問題(instruction)

模型是 Chinese llama 1.3B

然後再FT 後可以回答出該問題

但用llama.cpp轉gguf後答案整個歪掉 此外原本的許多問題都答不出來或答非所問

有人遇到這個問題嗎?

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.202.231.110 (美國)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1726020135.A.78E.html
推 DaOppaiLoli: 你要不要附上指令參數，可能跟 prompt format 有關
我用llama Factory 訓練的
你是說這個的參數嗎? 但是是轉gguf後才怪怪的 之前沒問題
※ 編輯: gostjoke (73.202.231.110 美國), 09/12/2024 12:40:26
推 DaOppaiLoli: 在 llama factory 文件中似乎沒有提到跟 gguf 有關
→ DaOppaiLoli: 的章節，請問你是如何訓練模型並轉換成 gguf 格式的
Llama Factory訓練後產生safetensors檔 然後用llama.cpp(去github看)轉
要安裝cmake跟vs2022, 用linux環境會比較簡單
※ 編輯: gostjoke (73.202.231.110 美國), 09/14/2024 00:03:23
推 DaOppaiLoli: 你是用 llama.cpp 的 llama-cli 執行 .gguf 檔的嗎?
→ DaOppaiLoli:  你是如何下指令參數的?