PTT評價

Re: [問卦] 為什麼現在新的深度學習模型都很少割

看板Gossiping標題Re: [問卦] 為什麼現在新的深度學習模型都很少割作者
sxy67230
(charlesgg)
時間推噓 推:0 噓:0 →:4

※ 引述《ruthertw (督人無數就是我)》之銘言:
: "為什麼現在新的深度學習模型都很少割出test dataset?"
: 在進行實驗的時候,
: 發現近三年來的研究工作,
: 很多都沒有切割test dataset,
: 論文裡也沒有列出test dataset的實驗結果.
: 反而都直接以validation dataset包含test dataset.
: 比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
: 變成 train:val = 8:2
: 很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
: 為什麼現在新的深度學習模型都很少割出test dataset?
: 這些新模型其實只是舉手之勞就可以做這到件事,
: 而且按照指導教授的要求,
: 論文裡要是沒有test dataset的實驗結果,
: 應該是不能被刊登.
: 不得其解...
: 大大們可以詳細說明解釋這個原因嗎?
: 還有,
: 想知道指導教授的堅持是對的嗎?
: 以及有沒有上述眾多問題的八卦?
: 先謝謝各位深度學習的高手~

看到我以為我跑錯版了,嚇死寶寶,
阿肥我來回答一下啦。

傳統訓練集就是拿來擬合模型參數的,驗證集是拿來做超參估計,然後鐵定要是無偏的樣本,跟訓練集彼此獨立的。

然後測試集就是最後評估整體模型的,也是要無偏獨立上面兩種。

還有一種方法是k-fold,就是把原始訓練集切成多個子集,再進一步把其中一個子集做驗證,其他子集就訓練,輪k次,很多文獻就乾脆把原本的測試集直接寫是驗證集,就變成80:20。

然後最後有一點就是其實現在很多模型尤其是OPEN AI那些超巨量模型你也很難做超參估計跟模型選擇,訓練一次就耗費幾億的,乾脆就一樣分80:20訓練跟驗證,反正只要確認20%是無偏獨立樣本就好了。


--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.168.15 (臺灣)
PTT 網址

snow3804 08/14 17:03只有我看不懂嗎

※ 編輯: sxy67230 (49.216.168.15 臺灣), 08/14/2021 17:08:40

jjlee 08/14 17:23就是 siae 夠大也夠不偏差,dataset一筆分

jjlee 08/14 17:23兩份,不另外生test set出來用

jjlee 08/14 17:23size