[請益] 為什麼現在新的深度學習模型都很少割出te
"為什麼現在新的深度學習模型都很少割出test dataset?"
在進行實驗的時候,
發現近三年來的研究工作,
很多都沒有切割test dataset,
論文裡也沒有列出test dataset的實驗結果.
反而都直接以validation dataset包含test dataset.
比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
變成 train:val = 8:2
很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
為什麼現在新的深度學習模型都很少割出test dataset?
這些新模型其實只是舉手之勞就可以做這到件事,
而且按照指導教授的要求,
論文裡要是沒有test dataset的實驗結果,
應該是不能被刊登.
不得其解...
大大們可以詳細說明解釋這個原因嗎?
還有,
想知道指導教授的堅持是對的嗎?
先謝謝各位深度學習的高手~
--
請問可以條列出幾篇有這種情況的ICCV CVPR論文嗎?
一般的benchmark應該是光data就有分train/test吧 哪有必
要再把train的一部分拿去切test
有DataScience板
你要相信投上的paper 還是相信你教授的話
本質上並沒有 test ,都看到的ground truth,大家一起調
分數就好啦,除非像 kaggle,有一個公正方把 test 藏起
來不給看,大家不要 overfit valid 才有意義
除非不曉得test set的label 不然有沒有切是一樣的
哪些 paper 沒有切 test set 啊好奇
你可以舉例你看的文章嗎?因為通常都會有公定的benchmark
來比較分數,不太有可能會有你說的只report validation se
t的成績
有小型dataset 一載下來就切 train 和test 而已 說到底vali
dation 和test 都是不被訓練過的資料 本質根本一樣用誰去測
哪有什麼差
並不是paper 不切 而是dataset 本身就沒切三份
我這篇CVPR paper的室內資料集就是切train和test而已
然後很特別是這篇是從train data 再切validation出來
這篇hawp同樣用上面那篇的dataset就沒再切validation出來
所以一個validation真的是各種表態 唯一不變的是 人家拿的
那份,你要稱validation還是稱test 的dataset要拿去當評分
標準的 就絕對不能那下去訓練就對了
validation的評估指標參與模型選擇 跟test是有差的
sooge是國人? 該篇作者都是大陸人耶
sooge 那篇是沒切 val 但原po說的是沒切test吧
97
Re: [閒聊] AI終於進化到這步了嗎剛好我本身在做AI相關 下班閒暇之餘就做自己的side project, 分享成果給大家看看 用stylegans train的, 用的是公開的anime dataset 以下是隨機生成的幾張34
[閒聊] 驚!看色圖不求人 AI是否也能畫色圖?雖然下了很農場的標題 但這一篇認真的研究論文 大家或許以為AI跟色圖很遙遠 但事實真的是這樣嗎 在一年前可能沒有錯 但經過最近的突飛猛進 故事已經進入了新的轉捩點24
[討論] 跑實驗數據要跑多次取平均嗎大家好 是這樣的 我在做深度學習相關領域的論文 架構差不多好了 但是跑實驗要很久 每做一個實驗就要花上大量的時間17
Re: [請益] 我該找前端工作 或專心學習ai?我不知道內容有無違反版規,因為身為一個老人潛水很久了。 本來認為自己可能沒有機會再發文章。 個人認為AI是個很大的領域。至少,在我開始學這東西以前這名詞就存在了。 至今我仍然習慣自己所學叫做"機器學習",不習慣稱呼自己學的東西叫AI。 如果自介自我學習時間很重要的話,那我自學機器學習時間至今約11年。17
Re: [討論] 跑實驗數據要跑多次取平均嗎路過看到這篇 自己剛好有參與過幾篇ML相關PAPER 來隨手回一下 想到啥就打啥可能有點亂 另外有錯也麻煩推文講一下我再修改 以下只講正規作法 先不討論一些偷雞做法 首先 實驗的目的就是為了證明自己的架構/做法比別人更好 那實驗重點就是要用嚴謹的方式來證明這一點16
Re: [創作] 用深度學習幫分類&整理CG沒想到真的有人用我寫的這個工具, 先放上我最後整理的某繪師結果: 2W多張的CG, 已分類好的CG總數為13939張, 想要的分類共有179類+Others共180類, 其中Others佔4007張(歸類為不在乎的CG), 剩下的7000多張CG暫時沒有繼續分類的打算, 因為喜歡的角色作品都分得差不多了, 剩下的7000多張是還未分類的作品, 打算有閒想開8
Fw: [新聞] AI藏種族歧視因子 清大跨國團隊揭醫作者: ryanw ( ) 看板: NTHU_Talk 標題: Re: [新聞] AI藏種族歧視因子 清大跨國團隊揭醫 時間: Wed Jun 15 13:41:48 2022 嗨大家好,我是郭老師的學生也是這個研究團隊的成員之一,這幾天看到不管臉書ptt上都看 到很多人對我們的這個研究有些誤解,所以想藉此來澄清一下,很多人說這只是data的問題X
[請益] 請問老闆要我變更進行的方法的意思是?老闆(指導教授)今天咪聽時跟我說, 不要直接從深度模型開始做實驗, 要從"下而上"開始進行研究工作. 因為他好像正在生氣中, 所以我不敢繼續問"下而上"的意思和細節.2
[問卦] model 怎麼 tune是這樣的啦 本人廢物煙酒生 前陣子接手一個學長訓練的深度學習的模型要交計劃 最近期末審查快到了,想說跑起來看一下效果怎麼樣,但學長一直不給人家看 說是之前搞錯 dataset,所以沒辦法直接在需求單位那邊用1
Re: [新聞] Meta英翻台 全靠閩南語劇阿肥外商碼農大金粉啦~ 先說一下,過往這塊語音轉語音技術都是需要經過phoneme或是tri-phone轉換後,然後有些 會轉成s2t的文字任務再轉換逆向回去。 然後老師去年有一篇Paper是Audio Albert跟直接語音轉換語音表達式有關的,這邊看到Met a的新聞單純想到也許Meta閩南語有用到這塊的預訓練模型(或是沒有?)?