PTT評價

[請益] 為什麼現在新的深度學習模型都很少割出te

看板Soft_Job標題[請益] 為什麼現在新的深度學習模型都很少割出te作者
ruthertw
(督人無數就是我)
時間推噓12 推:12 噓:0 →:16

"為什麼現在新的深度學習模型都很少割出test dataset?"


在進行實驗的時候,

發現近三年來的研究工作,

很多都沒有切割test dataset,

論文裡也沒有列出test dataset的實驗結果.

反而都直接以validation dataset包含test dataset.

比例也從以往常用 train:val:test = 8:1:1 (7:2:1)

變成 train:val = 8:2


很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.


為什麼現在新的深度學習模型都很少割出test dataset?


這些新模型其實只是舉手之勞就可以做這到件事,

而且按照指導教授的要求,

論文裡要是沒有test dataset的實驗結果,

應該是不能被刊登.


不得其解...


大大們可以詳細說明解釋這個原因嗎?


還有,
想知道指導教授的堅持是對的嗎?

先謝謝各位深度學習的高手~

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.215.133 (臺灣)
PTT 網址

yiche08/14 16:26請問可以條列出幾篇有這種情況的ICCV CVPR論文嗎?

lukelove08/14 16:39一般的benchmark應該是光data就有分train/test吧 哪有必

lukelove08/14 16:39要再把train的一部分拿去切test

Raymond071008/14 17:19有DataScience板

sooge08/14 17:32你要相信投上的paper 還是相信你教授的話

KindWei08/14 18:34本質上並沒有 test ,都看到的ground truth,大家一起調

KindWei08/14 18:34分數就好啦,除非像 kaggle,有一個公正方把 test 藏起

KindWei08/14 18:34來不給看,大家不要 overfit valid 才有意義

andy565608/14 20:51除非不曉得test set的label 不然有沒有切是一樣的

itis042308/14 23:06哪些 paper 沒有切 test set 啊好奇

jamfly08/14 23:37你可以舉例你看的文章嗎?因為通常都會有公定的benchmark

jamfly08/14 23:37來比較分數,不太有可能會有你說的只report validation se

jamfly08/14 23:37t的成績

sooge08/15 00:08有小型dataset 一載下來就切 train 和test 而已 說到底vali

sooge08/15 00:08dation 和test 都是不被訓練過的資料 本質根本一樣用誰去測

sooge08/15 00:08哪有什麼差

sooge08/15 00:10並不是paper 不切 而是dataset 本身就沒切三份

sooge08/15 00:16我這篇CVPR paper的室內資料集就是切train和test而已

sooge08/15 00:31然後很特別是這篇是從train data 再切validation出來

sooge08/15 00:36這篇hawp同樣用上面那篇的dataset就沒再切validation出來

sooge08/15 00:38所以一個validation真的是各種表態 唯一不變的是 人家拿的

sooge08/15 00:38那份,你要稱validation還是稱test 的dataset要拿去當評分

sooge08/15 00:38標準的 就絕對不能那下去訓練就對了

DarkIllusion08/15 01:10validation的評估指標參與模型選擇 跟test是有差的

followwar08/15 21:28sooge是國人? 該篇作者都是大陸人耶

agario08/19 20:33sooge 那篇是沒切 val 但原po說的是沒切test吧