[閒聊] AI採譜

[siscon (e-diot)]

ACG點

某些小眾動漫粉 特別熱衷於把ACG曲改編成鋼琴譜

然後其實本來就有好幾個軟體能用 但效果都不是很好

但半年前出的這個新的 個人覺得算進展一大步吧


以下是一些DEMO 給AI聽三首原曲 輸出MIDI

原曲1
https://youtu.be/dJ0Xcu0vJNU

原曲2
https://youtu.be/pOAf4UoqFq0

原曲3
https://youtu.be/T_D_pp283nw

結果: AI聽了上面的音樂之後輸出的MIDI
https://youtu.be/Uy65VfiXJ0M

注意到這個軟體還只能鋼琴轉MIDI而已

不能多樂器 也不能從MIDI轉成樂譜(雖然可以搭配其他工具做到)


這軟體其實是一家名為字節跳動的公司 裡面的員工發佈的論文

(字節跳動就是 抖音的公司)

之前最頂尖是google brain 2018出的一篇論文

而這篇超過google那篇

大概看了一下論文 google原本最小的frame size(最短時間單位)是32 ms

而這篇新的 用類似內插的方式去算按下琴鍵的時間點(onset)

可以說在按下琴鍵的解析度上遠比32 ms好

然後這篇還多預測踏板跟放開琴鍵的時間點(offset)


onset跟offset的準度有多重要呢

舉個例子 王羽佳演奏的大黃蜂的飛行 Cziffra改編版

BPM=108 一拍要按8次

所以每秒要按14.4次 每次的時間69.4 ms

google那篇解析度32 ms 明顯是不夠用的

實際差距可以聽聽看以下影片

https://youtu.be/OknF2KVJnRM


對於ACG採譜者的影響

大概是以後不用靠耳朵 可以用眼睛把別人彈奏的ACG曲直接寫下來


而對於做MIX的人來說

以前有一段想用的音樂 要不直接當一軌音軌 要不自己聽過寫下來

如果想做細節或是風格的編輯 就一定要寫下來

但現在能夠直接生成MIDI的話 就能省去寫下來的功夫

直接對生成的MIDI編輯就可以了


對於做音樂生成的人

比起對音訊檔去做分析

MIDI可以說是更加簡潔的表示式

所以說要training什麼的也會比較方便

這篇其中一個貢獻就是把古典鋼琴轉成MIDI的dataset

以前要有這種dataset非常麻煩

要請鋼琴家在能夠精確測量的鋼琴上演奏才能收集數據


參考資料 提供給有興趣的人

1.軟體載點
https://github.com/bytedance/GiantMIDI-Piano
2.簡易安裝教學
https://youtu.be/2gRfhL_TAvU
3.這篇論文
https://arxiv.org/abs/2010.01815
4.google論文
https://arxiv.org/abs/1710.11153
5.一些中文討論
https://www.bilibili.com/video/BV1e5411E7vA
6.關於這個議題的更多介紹
https://bit.ly/2NkUiM1

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.58.75 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1614014207.A.0A4.html
推 yorkyoung: 有沒有AI演奏 給AI跑譜讓它彈
→ dos01: 跑譜根本不需要AI 隨便一個編曲軟體都能跑
推 twosheep0603: 這是抓/扒譜吧 對於保存一些歷史資料應該有用
→ yorkyoung: 哦哦哦
→ yorkyoung: 感恩
→ Ricestone: https://www.yamaha.com/en/about/ai/dear_glenn/
→ Ricestone: AI演奏
→ Ricestone: 實際演奏的演繹方式本來就跟編曲軟體跑譜意思不同
→ siscon: 什麼是跑譜?
→ Ricestone: 就照著彈一次吧
→ muCiKC54821: *王羽佳
我打錯 謝謝提醒
※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:35:52
→ siscon: 懂跑譜的意思了 但這篇不是跑譜 是用機器把演奏手法記下來
→ siscon: 包含每個音的彈奏時長 力度 還有踏板
→ siscon: 我知道為什麼會有這樣的疑問了 等我把原本演奏的版本貼上
經板友提醒 補充說明
※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:43:42
推 haohwang: 感覺很有潛力。同樣樂譜，大師級跟新手演奏手法就天差地
→ haohwang: 遠。現在似乎是著重在保存歷史資料?繼續發展,搞不好以後
→ haohwang: 只要有樂譜就能模擬某大師級不曾演奏過的曲目??
推 aszx4510: 推 這個好酷  還有A叔的編曲和演奏超級讚
推 th123: 推個，滿喜歡鋼琴版的
推 chuegou: 字節跳動就抖音那間對吧
→ chuegou: 抱歉我沒注意你有寫xd