[請益] 海量EXCEL資料運算比較吃重哪方面的硬體?
AS TITLE
問題重點在這句:計算海量EXCEL檔資料會比較吃重哪方面的硬體?
(CPU ? 快取? 還是什麼? SSD是基本的我知道)
下文為詳述
因工作之故會處理極大量EXCEL檔,計算的累積數字都是幾千萬到幾億這樣綜合交叉比對
偏偏前陣子家人送我一台低階文書機(老人家不懂)一整個ERRRRRRR.....
開檔案等很久的問題已用SSD解決掉
但幾個分頁之間光是串基本的公式就會開始無限迴圈等到抓狂
最近就連公司的桌機也越跑越慢
(現在處理的資料僅累積1至4月而已,難以想像年底要怎麼面對1~12月累積的海量資料)
所以想請教專業人士,拜託了
--
CPU 而且是單核效能要高 多核沒用
所以我要找主打單核高效能CPU的電腦這樣 ?
改用資料庫
請問資料庫是指處理軟體的類型嗎? 非IT所以不太懂...
吃cpu 而且必須非常好
你說的根本不太可能LAG 一定是連動的計算太多
閣下的說法跟我公司前輩說法相同, 那EXCEL連動計算太多的負荷量需要哪方面的硬體來COVER?
excel問題也是個原因 東西越來越多
是excel本身的問題嗎?
※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 22:28:18改Access或SQLite....?
2014年後版本的Excel都確定支援多核
6核跟4核的差距最大 8核也比6核快不少
至少買個6核的CPU 多線程比較沒有差別 買個6C6T實在
excel 多核?? 真的啊..公司那個正版看來有用處了
RAM 8G 就很夠了
對了 我說的是 windows64位元 Mac應該沒支援多核
海量資料就不該交給Excel.....
如果能對處理做最佳化, 說不定只要1/10效能就跑得動
軟體問題吧...數億資料給excel跑?
CPU好一點 RAM16G起跳沒關係 只是EXCEL有點沒救
海量資料要開始就不該交給excel啊!
簡單來說 Excel不是設計來這樣用的...
就像你拿超跑載貨 不見得比較快
同意 你是不是用錯工具..
感謝各位高手解惑,我漸漸開始有概念了 之前自己做基本功課後認為需要i5 9400以上+RAM的評估看來八九不離十 上面的硬體問題看來有解決方向了 但專業分工的問題,除非把這種工作交給會資料庫技能的人,不然解決不了對吧 (苦笑)
※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 23:05:48RAM對Excel而言只是存放部分計算結果的
真正慢(卡)的是運算部分 CPU是最大影響因素
海量資料改用access比直接換硬體還有用啦
請愛用access或sql...
你這換硬體只是治標 最後必然要換SQL的
用資料庫
你函數串太多層了,初步可以寫巨集把連動的資料切割
開,進一步就用資料庫或SQLㄅ
關閉自動重算,最後F9。但要小心服用!
這方面用A13搞不好比i9還強
Excel一個分頁有百萬筆資料的限制 公式再套進去運
算 電腦就不用動了
檔案轉資料庫 見過包商妹子開個excel要15分鐘超無言
他就只會那樣用然後檔案累資三年 當時快300M 超奇葩
用excel就是個錯了
趁現在轉access 效率真的會高很多
就是得要會用一些基本的語法
excel資料多很容易轉圈圈耶
軟體問題
趁現在換軟體吧
海量...
access很好上手的
終極解決方式就是學資料庫
想要繼續用office就access
CPU跟記憶體 然後要用64bit的office版本
很多電腦office裝32bit 版本不同跑大檔有差
上次也有一個來問的,Access解決一切問題
資料庫
office安裝片放進去 setup預設進去灌的都是32bit...
資料庫去圖書館借書回來看幾天你就會了 沒啥難度
無痛Access 有痛SQL之類的
改用python pandas就好了
熊貓最高
這是軟體問題,你就算改用最簡單的資料庫.還要會簡單
SQL語法,基本上excel大概10萬筆資料還能正常跑,超過
就該用資料庫,這樣可以撐到千萬筆的規模,到億筆
就要考慮硬體規劃跟索引檔,還有SQL語法的效能
如果你習慣用Excel了最快的方式是轉存到Access這樣
有部份excel的函式還能通用,不用重新寫函式
如果你決定要轉移到SQLServer資料庫那還是花錢找專
業幫你規劃,沒規劃的資料庫schema比excel還差
千萬筆以下的資料量以目前的資料庫來說都不難
超過千萬筆的會讓你難過倒叫不要不要
我用i7-7700HQ+16GBram+雙SSD跑8千萬筆資料的查詢
pandas唯一解
比較Oracle跟SQLServer的查詢效能,說真的差不大
換掉只會excel的人就解決了 (疑
SQL語法,看書就會了,沒這麼難好嗎
資料量百萬筆以下,你就算下了會TableScan的SQL是沒
差,超過千萬筆的你下一次就準備被吊起來打了
公司電腦i5-9500f+16G RAM+500G sata SSD開到第二
個Excel之後都卡卡
其實我一直以為原文是說幾億的"數字" 不是資料筆數
如果是資料量的話 你公司最好找個專職的DBA...
不過大家都心裡有數 所以...
用神A的1.8NA引擎拖2兩個20尺貨櫃應該是拖不動吧
先定義海量 但如果這樣就跑不動你一定得用sql or
python pandas 幫你處理資料
sql
sql 看書 加水管影片就能會了
I7-9700一樣卡 難道要用到I9嗎?
Access:Am I a joke ...
海量?大量?用詞怪怪的
這種需求用資料庫處理拉....就算上億筆也是輕鬆處理
直接換Dataframe操作啦
還用Excel這個莫名bug這麼多的軟體喔?
處理學生成績 幾十萬筆就覺得excel…
pandas吧
資料量上億筆用excel管理...這在現在算世界奇觀吧
勸你快換資料庫
建議還是維持原作業方式。會用Excel處理海量資料的
多不是資訊單位,改用Access或SQL只會弄得更累,以
後這類業務將都是你處理
大數據還用excel 根本菜逼八
都什麼時代了.......
為什麼沒人推R語言?
推R 語言 + RODBC套件連資料庫
海量是西岸用語?
百萬級資料還沒死機啊
32
[心得] ASUSPRO Series 低階款ASUS商用電腦 規格: i3 -9100 DDR4 2400 4g*2 SSD 金士頓 sata 256g19
[請益] excel轉資料庫(大量計算)各位大大您們好, 我正在做實價登錄的分析,因為實價登錄的資料有點亂,所以我寫了一堆算式去算,但是 一個檔案都太大(至少150-180MB),所以每次更新都要跑一整個晚上,重點是還不知道 是否有跑完(三不五時會發現計算錯誤)。。。。 想改到資料庫或其他的架構,是不是真的會比較快?但是重點是有辦法處理大量的計算。18
[請益] 會計事務所用的文書機朋友工作(會計事務所)使用的桌機想升級,常常碰到作帳用excel樞紐及excel資料非常多 請問這台電腦如果要升級,要改什麼會比較好 主要做十幾萬筆的資料excel樞紐要等一分鐘 有了想升級或是換新的念頭 請問如果要升級要換哪些,謝謝11
[菜單] 20K文書機預算/用途:公務上使用的文書機,因為常常要用很多顧客資料,且大量使用EXCEL, 現在的電腦三年前的已經不敷使用,主要是希望EXCEL可以順暢使用, 所以挑選運算能力較好的CPU,參考版上跟Google的一些菜單大概配置如下 CPU (中央處理器):Intel i7-9700【8核/8緒】3.0GHz(↑4.7GHz)/UHD630/65W MB (主機板):技嘉 H370 AORUS GAMING 3 WIFI11
[請益] NAS選購最近小弟想購入NAS存一些資料 稍微爬了一下文大家都比較推薦Synology(軟體較優) 最後在DS420j 跟 DS420+ 做抉擇 想請問各位前輩這兩台使用起來會有什麼很大的差別嗎? (主要用途:存一些電路、軟體的專案,海量的excel9
[菜單] 15k excel+網頁多開 文書機已買/未買/已付訂金(元): 預算/用途: 辦公室要用的電腦,會上還原系統,會開多個網頁+excel,有時會有幾萬筆資料套公式比 對 A選手5
[問題] 手機 excel 看不清楚請問一下強者: 有在google雲端硬碟放一個 excel 檔, 紀錄生活事情; 然後希望在公司電腦 家裡電腦 手機上 可以在不同地方需要時查詢 修改, 通常在電腦上看沒問題 但手機就有問題, 通常小的檔案沒問題 大的檔案有問題,5
Re: [請益] 工程師excel要會用精通嗎?認真回,excel 不是文書技能,word 才是 excel 我個人會歸類為資料類技能, 無論是 HR 算薪資出勤,或工程師分析產品良率,學校老師分析學生成績落點,無聊的工程師拿來做 AI 與影像分析.... 另外既然這是很基本的東西, 花一下午把它學起來不是什麼問題,3
Re: [問卦] 如何30天內精通C++啊?急在線等!其實看你需求就先去google找類似的程式碼 我個人也是大概30天內搞定excel vba 不過我只是看自己需求 其他複雜的我就不行了 就工作上用到的搞定他 例如: 1.大量文字檔或excel檔案整批匯進excel- Excel公式跟樞紐分析弄熟我覺得蠻基本的 最好要會多個公式一起使用,尤其是有條件判斷式的公式 Excel書多看幾本大概就OK了 邏輯訓練得還不錯之後就可以玩VBA 一個人再怎麼厲害終究還是一個人