[討論] 跑實驗數據要跑多次取平均嗎
大家好
是這樣的
我在做深度學習相關領域的論文
架構差不多好了 但是跑實驗要很久
每做一個實驗就要花上大量的時間
所以我需要固定random seed 跑很多次（Ex.3-5次）取平均嗎
我看同領域其他論文提供的code
有些人會取五次 也有人只跑一次
問學長姐也沒什麼定論
所以請問這部分有什麼慣例或是規定嗎
--
※ 編輯: jack1218 (114.136.235.174 臺灣), 09/16/2022 00:08:42
顯卡買起來就沒問題惹
K-Fold validation 瞭解一下
如果實驗上換seed就落差很大才要吧 跟kfold應該沒關係
看架構，但是我建議你取最好的那次xD
但是我沒有做過 random seed 差很多的架構，頂多統計值
落差千分之五左右
我每次審文章 沒做K-fold就發回重審 建議固定隨機種子
以8:2比例跑5次flod取平均 除非你能說服我為什麼你不
用做k-flod 但目前沒有學生說服成功
請問如果資料集太小 我做k-flod 但是把val set混入train set 這樣做法是可行的嗎 比方說做跑5次flod取平均 原本比例8：2 變成 10：2
※ 編輯: jack1218 (114.136.235.174 臺灣), 09/16/2022 02:08:33
不可以 test set 或 Val set 不可加入訓練過程
感謝回答 我還有一個問題 如果當中使用一個component 不具備reproducibility （hugging face 的某些transformer固定random seed 還是不會有一樣的結果） 請問實驗上可以無視這個問題嗎
※ 編輯: jack1218 (114.136.235.174 臺灣), 09/16/2022 13:00:24
固定seed 固定模型情況下 的確會有不一樣的結果 這是
梯度下降的現象 但不應相差太多
樓上認真！？kfold不就是把train set跟valid set混一
起後分成k份然後每次拿一份來做validation 嗎？
而且random seed沒什麼好取平均的吧，不就是找到最好
的seed然後用它就好
回樓上 如果把val混在train裡面一起練 那不管怎樣Val
的acc 都會是好的 那就沒有驗證的必要
Val要有意義就是不參與訓練過程
原po說的8:2 變成 10:2 訓練 這樣的方式是不恰當的 va
l不能參與訓練過程
再來 如果有做的完整交叉驗證 隨機種子的確不重要
希望我的回答對你來說夠認真
但我之前學到的以及網路查的到的k-fold都是k個部分輪
流當valid set來跑，而且原本valid set就是手動把
labeled data分一些出來不是嘛？如果不把valid set混
進去切那跑的時候不就有兩個valid set (train data的
1/k跟原本的valid set)，這樣的意義是什麼？
附個網路找到圖，還是你說的是圖中的testing set
我理解你會誤會我的原因了 我是指是在一開始不將test
集固定 所有資料集8:2分 2=test或Val 但不論如何 Val
或test都不能被訓練 你的解釋是對的 但你可能誤解我
的意思 導致你覺得我是錯的
回到原po的案例 用多種RS取平均沒有意義 因為無法證
明所有RS有使test集遍歷資料集
所以我提出不要用多個RS 而是使用fold 8:2 得到五次
平均結果 會比多個RS有意義
接著原po提出因為資料集小 切8:2 可能會讓原本資料集
更小 但我很懷疑 因為小資料集跟原po說的大量時間是
互斥的
我的資料集雖然只有8000多筆 但是input有影片 文字和聲音 分別使用transformer 效能需求頗高 使用的設備也不盡理想 再加上要跑不少實驗 所以才需要花不少時間
不管如何 我就直接假設他的網路非常複雜
回到你提出的圖 我認為更嚴謹的處理方式依然是不將TES
T固定 並分train:Val:test 然後跑fold 這邊Val可以用
於earlystop 但依然不能成為訓練集
TEST會被固定的場景大概就數據競賽或kaggle
請問若官方有切分好train val test 先將train val 合併 並且固定random seed 跑5-fold 這樣是比較嚴謹的做法嗎
※ 編輯: jack1218 (114.136.235.174 臺灣), 09/17/2022 02:53:33※ 編輯: jack1218 (114.136.235.174 臺灣), 09/17/2022 02:58:02
這樣說吧 因為你開頭說是論文 所以我說明論文該怎麼設
計實驗 如果是競賽設計好的train val test 當然以大
賽規定為主
是論文 我說官方提供是發dataset的人有切分好了
你跑5fold出來就5個model拿去測test一樣5筆沒意義啊
切了train val test情況，標準做法是挑val高的測test
要發paper的話直接無腦測test挑最高的也大有人在
我就是看有人的是這樣做的 所以才問這個問題~ 但總覺得哪裡怪怪的
※ 編輯: jack1218 (114.136.235.174 臺灣), 09/17/2022 09:47:23
答案是沒有 只要足以說明你提出的方法就好
你要用5fold挑weight去測那你test result就要用範圍表示
跟要對比的文獻採用一樣做法就可以了
但現在實paper跑kfold的人很少了，因為耗時又不能偷雞
所以其實要發paper 不做k fold可以 不要被我審到就好X
D
總之沒有正確答案 只有更嚴謹的做法而已
真是太感謝你了 請受小弟一拜
多看幾篇頂級會議的做法吧
感謝上面討論
train valid test 三個彼此要獨立
選最好的那次
論文的話選最好的那次 記得設seed到時發表才可符合r
eproducibility
爆
[問題] 我這樣算是公主病嗎？最近因為一些原因搬家， 因為很趕沒時間慢慢看， 於是我找到了一間老舊公寓， 雖然設施比較舊， 但功能都正常我覺得可以接受，![[問題] 我這樣算是公主病嗎？](https://i.imgur.com/7kfXawRb.jpg "[問題] 我這樣算是公主病嗎？")
爆
[心情] 我的女友是控制狂嗎？交往三年，但我覺得她情況越來越嚴重。 不管對她怎麼好， 例如陪了她兩個晚上，她似乎也很開心， 但隔天依然會為小事大鬧， 好像前幾天的努力完全沒意義。![[心情] 我的女友是控制狂嗎？](https://i.imgur.com/Mp8i6FYb.jpg "[心情] 我的女友是控制狂嗎？")
爆
[討論] 真的是我的問題嗎？最近跟男友討論到結婚的問題 婚後勢必要跟公婆一起住 我最在意的點就是男友家的廁所 因為馬桶老舊 前一位上完廁所下一位使用者沒辦法使用![[討論] 真的是我的問題嗎？](https://i.imgur.com/30RNQBUb.jpg "[討論] 真的是我的問題嗎？")
爆
[求助] 是我的問題嗎？是不是該離開？背景說明： 結婚6年，2個小孩，3歲跟4個月，都是男寶 無後援，雙薪家庭 我跟先生是第一代移民，除了我們跟兩個小孩外，所有家人都在台灣。 我是職業婦女，固定一到五上班，每天接送小孩再加回家大概1-1.5小時車程。（8點出門爆
[閒聊] 買車一定要跑遠才有價值嗎？不知道這個可不可以在車版討論 當初自己買車的目的就是在市區或周邊縣市通勤時 以及未來搬到龜山後日常使用 結果今天被人家說買車不去外面玩 ex:露營 很浪費 買了車不開遠或不開不如買模型 如果給她開 一定一直出去玩![[閒聊] 買車一定要跑遠才有價值嗎？](https://i.imgur.com/hk4YzNLb.jpg "[閒聊] 買車一定要跑遠才有價值嗎？")
87
[討論] 休旅車大空間的使用率都很高嗎？這幾年休旅車是大家買車的主流選項 很多人買休旅車的重要考量都是為了空間，這在很多訪問和研究資料幾乎都看得到 通常多半是有小孩、家庭用途，又或是採買、載東西很方便 只是我疑惑的是另一種人 我有不只一位的朋友，還沒成家、沒有家庭方面的需求![[討論] 休旅車大空間的使用率都很高嗎？](https://i.imgur.com/5QhXGPPb.jpg "[討論] 休旅車大空間的使用率都很高嗎？")
35
[求助] 是我的問題嗎？跟男友交往半年多 我24 在工作了 男友22 大學生 事情就發生在剛剛 今天上班很累![[求助] 是我的問題嗎？](https://img.youtube.com/vi/RNkROZKV33M/mqdefault.jpg "[求助] 是我的問題嗎？")
66
[討論] 棒球非常基礎的問題但我回答不出來最近跟不太看棒球的人一起看 有些習以為常的問題我完全回答不出來... 需要尋求一下協助 1.(盜壘、暴投時) →「為什麼壘上跑者可以自己跑?」XX
[討論] 有需要氣成這樣嗎？如題 剛剛那一壘挑戰 如果轉播水準就這樣 小房間只有這個鏡頭可以看 那要改判out其實也很勉強吧？![[討論] 有需要氣成這樣嗎？](https://img.youtube.com/vi/GH37-ictQ58/mqdefault.jpg "[討論] 有需要氣成這樣嗎？")