[問卦] python做科學運算,要分享什麼?
欸欸 我明天group meeting要分享python科學數值運算小技巧
我目前想到要講的
1. 介紹numpy
2. 不要用迴圈 用numpy
3. 用numba jit編譯
4. 用multiprocessing加速
5. 藉由torch 使用gpu做運算
科學運算相關的python小技巧
臥虎藏龍的鄉民還有什麼好建議嗎?
--
睡著惹
hello world 的技巧
即時 AI 換臉。換自己當A片男主角不用等
我覺得第5項可以改cupy,或者也介紹cupy
我之前測了一下cupy 很多功能沒比torch快 你有興趣可以認真跑個benchmark看看
cupy的優點是用起來跟numpy差不多
torch我覺得也差不多啊
※ 編輯: newwu (128.146.189.73 美國), 01/21/2022 05:30:03你是用cupy幾版啊? 之前 anaconda 是v6
的時候有些是真的滿慢的
科學運算青青幾時會被起訴
我沒有用過torch,但numpy 跟 cupy 用起
來幾乎就是把程式瑪裡面的 numpy改cupy
torch 也這麼方便喔?
我覺得幾乎是這樣 這也是我用torch 不用tensorflow的理由 最近的版本更是大多數的numpy function都有對應 和cupy比不知道哪個涵蓋得多
我覺得很吃 interperter 有時候向量運
算會被解成迴圈讀取…benchmark出來會
一樣(#
沒道理啊 都用numpy了 應該是用numpy底層的c編譯出的code吧
faiss
pytorch 我覺得最好用的是可以一次扔一
整個 tensor 做 矩陣乘法 再用 nn.func
tion去運算 自己土炮出來的底層可能比
較快 但沒那麼方便跟直觀
multiprocessing 我覺得可以往後放,這個
上面是不討論 numpy 狀況 我的意思是 b
uilt-in function for python
隨便寫可能會遇到 PicklingError
感謝分享 因為有人想要學我才放的 不然我也沒用過幾次
我之前也是自己跑模擬被multiprocessing
炸到才知道有那鳥事
numba jit 真的很不賴
真的 而且會optimize 你假如用numpy向量運算沒注意細節,jit會快很多
拍聳的爬蟲 不是滿好用的嗎
numpy numba jit parallel mp cupy
是說說到gpu 我覺得julia cuda超好寫 比c好寫太多 效率也不差
※ 編輯: newwu (128.146.189.73 美國), 01/21/2022 05:58:54介紹pytorch 剩下不重要
python 連文組都會還要報啥
現在幾點而已竟然這麼多樓
文組不會的是 numpy 呀
啥group meeting= = meeting報這種大家可以
自己學的東西 誰會感興趣= =
又不是我要求的 我們的group meeting很free啦 大部分的時候都不是報paper那種 反正半小時結束也可以
group meeting 報這個誰要聽?
broadcasting吧
這倒是值得一說
猛 我也想聽
group meeting報paper也沒人要聽阿
老闆通常只想聽有甚麼研究上的progress
喔喔 我們的group meeting不是這樣 主要是學生分享一些實用的主題 有些內容本來就很課本
報這幹麻?非本科?
廢話 CS報這個是要笑死人嗎
PYTHON的歷史
這最無用吧 有人看程式書很認真讀完這一部份的嗎
有沒有整理完的slide 想讀
我可以把notebook分享給你
※ 編輯: newwu (128.146.189.73 美國), 01/21/2022 06:46:47scikit learn and jupiter
偶在初學Python 也想要Notebook @@
Panda, Django
不如介紹copy paste
想要notebook+1
我都用 fortran 寫
想要+1
想要+1
pickle有安全性問題,少用
調用是支語,可以用英文名詞嗎?虧
你ip還是美國。
雖然我不在意,修了 主要是已經太多英文了 不想太晶晶體
想要筆記!謝謝
+1, thank you for sharing
Dynamic programming
學cython
視覺化方面有plotly,簡單幾行能做
互動式,3d,時間軸的圖
我喜歡plotly 不過感覺系上的人都沒特別感興趣(畫圖就是要發paper啊) dash還能簡單就做出互動界面
還有操作excel的xlwings,不用存檔
直接操作
MongoDB非結構化資料庫跟python 整
合不錯
直接用pandas啦,numpy 比較低階
看用途啦
jax 幾乎是無縫版的gpu-numpy
主要是我看benchmark,jax的速度好像也不如torch
科學運算還是用fortran居多
數值運算能力 有fortran效能好..
我不會 已經會c python julia了 懶得多學 現在也越來越少fortran了 都是老人/老闆傳下來的code python的好處還有可以直接接軌業界
想知道call c++ dll 跟純c++差異
Python 社群的分享精神真好,連在八卦
版都這麼認真討論回答 推
等我明天會站內信給要的,可是是英文喔
※ 編輯: newwu (128.146.189.73 美國), 01/21/2022 09:16:49notebook +1
我也想要,謝謝您,再麻煩站內了
想要+1
可以分享notebook嗎?感謝
想要notebook+1
可以也寄notebook給我嗎?謝謝
想要+1 最近有想學 謝謝><
求分享+1
想要++求分享 感謝
+1 Thx
求分享++跪謝
求分享,謝謝。
求分享+1
需要 謝謝
想要筆記++ 感謝
++
想要筆記+1 謝謝~
++
筆記+1
求分享筆記,謝謝
想要筆記 +1,謝謝~
+1 notebook
想拜讀高手的分享!先謝謝您慷慨分享
想要+1
+1感謝!
站內++
站內+1
把騎兵全部變成步兵片啊
notebook++
想要筆記+1 求分享感謝~
想要+1
站內+1
Notebook+1
站內+1
想要notebook +1 謝謝
站內+1
+1
筆記++
想要+1 謝謝!
求分享,謝謝
站內++
+1
站內notebook+1
想要筆記+1 感謝
求分享 感謝~
筆記謝謝 雖然一定不會給
站內++ 謝謝
筆記+1 謝謝
有興趣Notebook +1,先感謝分享
notebook+1 感謝
想要筆記+1 謝謝~
站內+1 感謝
想要+1
python 的引數傳送非常靈活,是這原因才
讓一堆東西寫在上面嗎?不然明明想要速度
想要+1
就用 C或組語重寫啊..
+1 謝謝
你沒要用自動微分功能換pytorch幹麻
想跑在gpu用cupy就好了
torch有些相同功能的跟numpy名稱不同
還更不方便
你要教torch那就直接教怎麼寫custom
backward fundtion, cpp extension
想要+1 感謝分享
tf2.0也差不多了
說到數值運算的小技巧我推薦是einsum
除非你tensor要消掉的維度很複雜
不然einsum有夠慢
一般人的usecase最多只需要用到bmm
@Huang因為生態圈支援完整吧
速度倒是不用擔心 數值運算套件的底
層全部是編譯語言 python只是當個界
面XD
生態圈應該是大者恒大,除非財團介入力推
C語言因為可攜性,不是建立生態圈很久了?
notebook+1 感謝
做數值運算跟研究的沒這麼需要可攜
性吧XD
站內++ 謝謝
站內++ 謝謝
我要 站內++ 謝謝
筆記++,感恩!
+1
站內++ 謝謝
站內++ 感恩!!
notebook +1! 謝謝
求分享,也想要學習,謝謝
想要notebook +1, 謝謝!
我整理一下 看看這邊晚上或明天會寄
想要瞭解+1,是否方便分享筆記,謝謝
您
想要notebook+1 ++
已寄出, 假如沒有要,但是我不小心寄了,抱歉 如果有跟我要沒收到,再跟我說
太神啦 八卦良心 謝謝您
有些例子寫錯了 修正一下
※ 編輯: newwu (65.27.155.65 美國), 01/23/2022 06:52:45想要+1 不知道還來得及嗎QQ 感謝
54
Re: [新聞] 外派年薪百萬挨轟雷到爆 華碩回應了小弟不懂 接觸的幾乎所有ML DL都是用python寫的 paper提供的code也是python kaggle平台也只支援python跟R (某些比賽也是有人用c++ 不過要轉)44
[問卦] 初學Python是不是養成一堆壞習慣?現在流行入門學Python,真的會養成一堆壞習慣耶 昨天看學生寫的code,一堆人在那邊: for s in list: If list.index(s) % 2 == 0 看到快吐血47
[請益] 想從零開始轉行當AI軟體工程師幫朋友發文代問 ———————————————————— 大家好,小弟最近下定決心要轉行,對AI的部分有點興趣 大概了解之後發現AI是用Python寫的,但做程式相關的朋友說轉行的話不太建議用Python 當起手33
[問題] 新鮮人求職困擾去年私大商科學士畢業 無工作實習經驗 有幾張證券業的證照(高業等...) 基本上算一張 白紙 語言只會英文 中文 程式的話會一點python跟SQL python的程度大概就pandas跟numpy SQL就join MS全家餐也 會基本的22
[問卦] Python是怎麼突然爆紅的?在2015年左右以前 程式語言的霸主要嘛以偏底層可以控制記憶體的C/C++為主 要嘛是物件導向能力強大的Java、C# 或者是網頁在使用的html、php、JavaScript 即使是資料科學分析也有R 工程科學也有matlab 結果就是Python在這幾年迅速竄起 直追Java和C的龍頭寶座23
Re: [問題] matlab 軟體取得既然大家還是在學生,不使用MATLAB的話,也不用考慮Octave或Freemat還是SciLab, 直接用 Numpy (Python) 這個可以避免你一直當 MATLAB的禁臠 現在也不像以前要自己傷腦筋抓一堆有的沒的,步驟很簡易 1. 到Anaconda網頁下載安裝整包東西10
[情報] Python 實作資料科學常見問題與解法分享[分享教學影片] 使用 Python 實作資料科學時常會遇到的小問題與解法 問題: 1.請問 DataFrame 要如何輸出為 CSV 檔呢? 2.請問如何一次合併多個具有相同欄位的資料表? 3.請問 DataFrame 中有很多欄和列,在 Jupyter Notebook 中有部分資料顯示不出來,7
Re: [爆卦] 小商人發文啦 (青青最新發文)1 : i = 1 : for _4thNum in range(10): : for _5thNum in range(10): : sum = sumOfKnownNum + _4thNum * 5 + _5thNum * 4
爆
[問卦] 為何很多社運學運的後來都變垃圾?爆
[問卦] 有什麼經典的邪教口號?爆
[問卦] 橘子真的有被通緝嗎?爆
[問卦] 德國人叫台灣女生sushi算是歧視嗎?95
[問卦] 給你11億,但是要逃往海外,要嗎???爆
[問卦] 通常都怎麼判斷有沒有逃亡之虞的?爆
Re: [新聞] 獨/陳啟昱涉台鹽綠能弊案 高雄檢警漏夜63
[問卦] 飯店「不提供備品」 房費可以降多少?55
[問卦] 檢座:台灣人目無法紀 這樣算是誰的鍋87
[問卦] 靠北喔 真的有人可以這麼蠢?爆
[問卦] 青鳥怎麽看慶富案台鹽綠能?43
[問卦] 東大寺真是太美了,為什麼媽祖廟不學學?41
[問卦] 震驚!《中國人》這首歌作詞作曲是台灣人87
[問卦] 幹人妻有多爽38
[問卦] 青鳥收到誰的指示開始嘴劉德華了36
[問卦] 錫蘭為何一直狙擊台灣YTR啊35
[問卦] WD-40的導管不見了該怎麼辦?73
[問卦] 連續八年交通死亡人數都三千何解?23
Re: [新聞] 影/陳啟昱涉台鹽綠能弊案落跑 直擊農舍現況:只剩2隻忠76
[問卦] 不懂就問 抹劉德華能幹嘛?23
[問卦] 淸水寺很美但是塞滿人是不是很難玩啊?24
[問卦] 有人虐兔!!請去愛兔協會看影片!36
[問卦] 周杰倫怎麼越老越紅?22
Re: [新聞] 獨/陳啟昱涉台鹽綠能弊案 高雄檢警漏夜22
[問卦] 有沒哪個男藝人專幹男粉絲的?19
[問卦] 青鳥一直出征對岸大咖幹嘛?19
[問卦] 歐洲人覺得台灣人不喜歡走路?70
[問卦] 黑11億的逃出國外會有黑道追殺令嗎?16
[問卦] 已售完?20
[問卦] 康師傅撤出台灣很可惜吧?