[閒聊] AI採譜
ACG點
某些小眾動漫粉 特別熱衷於把ACG曲改編成鋼琴譜
然後其實本來就有好幾個軟體能用 但效果都不是很好
但半年前出的這個新的 個人覺得算進展一大步吧
以下是一些DEMO 給AI聽三首原曲 輸出MIDI
原曲1
https://youtu.be/dJ0Xcu0vJNU
原曲2
https://youtu.be/pOAf4UoqFq0
原曲3
https://youtu.be/T_D_pp283nw
結果: AI聽了上面的音樂之後輸出的MIDI
https://youtu.be/Uy65VfiXJ0M
注意到這個軟體還只能鋼琴轉MIDI而已
不能多樂器 也不能從MIDI轉成樂譜(雖然可以搭配其他工具做到)
這軟體其實是一家名為字節跳動的公司 裡面的員工發佈的論文
(字節跳動就是 抖音的公司)
之前最頂尖是google brain 2018出的一篇論文
而這篇超過google那篇
大概看了一下論文 google原本最小的frame size(最短時間單位)是32 ms
而這篇新的 用類似內插的方式去算按下琴鍵的時間點(onset)
可以說在按下琴鍵的解析度上遠比32 ms好
然後這篇還多預測踏板跟放開琴鍵的時間點(offset)
onset跟offset的準度有多重要呢
舉個例子 王羽佳演奏的大黃蜂的飛行 Cziffra改編版
BPM=108 一拍要按8次
所以每秒要按14.4次 每次的時間69.4 ms
google那篇解析度32 ms 明顯是不夠用的
實際差距可以聽聽看以下影片
對於ACG採譜者的影響
大概是以後不用靠耳朵 可以用眼睛把別人彈奏的ACG曲直接寫下來
而對於做MIX的人來說
以前有一段想用的音樂 要不直接當一軌音軌 要不自己聽過寫下來
如果想做細節或是風格的編輯 就一定要寫下來
但現在能夠直接生成MIDI的話 就能省去寫下來的功夫
直接對生成的MIDI編輯就可以了
對於做音樂生成的人
比起對音訊檔去做分析
MIDI可以說是更加簡潔的表示式
所以說要training什麼的也會比較方便
這篇其中一個貢獻就是把古典鋼琴轉成MIDI的dataset
以前要有這種dataset非常麻煩
要請鋼琴家在能夠精確測量的鋼琴上演奏才能收集數據
參考資料 提供給有興趣的人
1.軟體載點
https://github.com/bytedance/GiantMIDI-Piano
2.簡易安裝教學
https://youtu.be/2gRfhL_TAvU
https://arxiv.org/abs/2010.01815
4.google論文
https://arxiv.org/abs/1710.11153
5.一些中文討論
https://www.bilibili.com/video/BV1e5411E7vA
6.關於這個議題的更多介紹
https://bit.ly/2NkUiM1
--
有沒有AI演奏 給AI跑譜讓它彈
跑譜根本不需要AI 隨便一個編曲軟體都能跑
這是抓/扒譜吧 對於保存一些歷史資料應該有用
哦哦哦
感恩
AI演奏
實際演奏的演繹方式本來就跟編曲軟體跑譜意思不同
什麼是跑譜?
就照著彈一次吧
*王羽佳
我打錯 謝謝提醒
※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:35:52懂跑譜的意思了 但這篇不是跑譜 是用機器把演奏手法記下來
包含每個音的彈奏時長 力度 還有踏板
我知道為什麼會有這樣的疑問了 等我把原本演奏的版本貼上
經板友提醒 補充說明
※ 編輯: siscon (61.230.58.75 臺灣), 02/23/2021 01:43:42感覺很有潛力。同樣樂譜,大師級跟新手演奏手法就天差地
遠。現在似乎是著重在保存歷史資料?繼續發展,搞不好以後
只要有樂譜就能模擬某大師級不曾演奏過的曲目??
推 這個好酷 還有A叔的編曲和演奏超級讚
推個,滿喜歡鋼琴版的
字節跳動就抖音那間對吧
抱歉我沒注意你有寫xd
爆
[24夏] 敗北女角太多了 1254
[閒聊] NexusMods ban了戰神 Angrboda的膚色模組51
[妮姬] 金亨泰、柳亨錫專訪 - 小紅帽復刻可能 / 劍星聯動46
[敗北] 以後沒有老八要怎麼活:(48
[24夏] 敗北女角12 8K野外?/八奈見火力全開59
[情報] 星城Online漏洞 玩家竟狂撈3.6億枚星幣爆
[閒聊] 不死不運是敗在人設不好看嗎?78
Re: [閒聊] 芙莉蓮監督齋藤圭一郎X:二期!?38
[閒聊] 伊藤美來 x 水瀨祈 專訪57
[MyGO] 迷子團誰的live裝最好看?31
Re: [問題] 為什麼大家對AI圖很詬病!31
[討論] 仔細想想,戰場上單挑孔子勝算超低吧?28
[閒聊] RE0劇情會不會很難讓人理解?27
[討論] 彌助弄成忍者會成功嗎?25
[敗北] 三次元的情侶們也會這樣吃東西嗎?30
[額頭] 山本崇一朗 經理日常 0923
[閒聊] CS現場比賽選手把桌子槌爛了23
[Holo] R團的屁股真的這麼好摸嗎39
[閒聊] 現在小孩都不看機器人卡通嗎?73
[Holo] R團番長是新一代舞后嗎22
[推薦] 金元壽子 (如果有妹妹就好了)21
[問題] 12集下來,對牢八失去感覺正常嗎?20
[閒聊] 孤獨搖滾二期是不是要等更久了20
[敗北] 佳樹原來也是科技流的嗎55
[情報] 遊戲專利律師:任天堂告帕魯不見得穩贏27
[閒聊] 受讚頌者實在太精采了 動畫值得追嗎84
[情報] 林士平編輯 集英社退社68
[閒聊] 三國無雙哪一代最好玩27
[活俠] 活畜傳24
[情報] 藍色監獄 277 那個男人開秀