PTT評價

[請益] 海量EXCEL資料運算比較吃重哪方面的硬體?

看板PC_Shopping標題[請益] 海量EXCEL資料運算比較吃重哪方面的硬體?作者
ZenEmpty
( 竹子)
時間推噓41 推:44 噓:3 →:52

AS TITLE

問題重點在這句:計算海量EXCEL檔資料會比較吃重哪方面的硬體?

(CPU ? 快取? 還是什麼? SSD是基本的我知道)

下文為詳述

因工作之故會處理極大量EXCEL檔,計算的累積數字都是幾千萬到幾億這樣綜合交叉比對

偏偏前陣子家人送我一台低階文書機(老人家不懂)一整個ERRRRRRR.....

開檔案等很久的問題已用SSD解決掉

但幾個分頁之間光是串基本的公式就會開始無限迴圈等到抓狂

最近就連公司的桌機也越跑越慢
(現在處理的資料僅累積1至4月而已,難以想像年底要怎麼面對1~12月累積的海量資料)

所以想請教專業人士,拜託了

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.216.235 (臺灣)
PTT 網址
※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 22:18:34

HiJimmy 05/01 22:19CPU 而且是單核效能要高 多核沒用

所以我要找主打單核高效能CPU的電腦這樣 ?

pbram 05/01 22:21改用資料庫

請問資料庫是指處理軟體的類型嗎? 非IT所以不太懂...

tedcat 05/01 22:21吃cpu 而且必須非常好

E6300 05/01 22:22你說的根本不太可能LAG 一定是連動的計算太多

閣下的說法跟我公司前輩說法相同, 那EXCEL連動計算太多的負荷量需要哪方面的硬體來COVER?

hduek153 05/01 22:25excel問題也是個原因 東西越來越多

是excel本身的問題嗎?

※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 22:28:18

spfy 05/01 22:27改Access或SQLite....?

Sswatt 05/01 22:332014年後版本的Excel都確定支援多核

Sswatt 05/01 22:346核跟4核的差距最大 8核也比6核快不少

Sswatt 05/01 22:35至少買個6核的CPU 多線程比較沒有差別 買個6C6T實在

enjoyself 05/01 22:36excel 多核?? 真的啊..公司那個正版看來有用處了

Sswatt 05/01 22:37RAM 8G 就很夠了

Sswatt 05/01 22:41對了 我說的是 windows64位元 Mac應該沒支援多核

wahaha99 05/01 22:51海量資料就不該交給Excel.....

wahaha99 05/01 22:52如果能對處理做最佳化, 說不定只要1/10效能就跑得動

ccbbaa 05/01 22:52軟體問題吧...數億資料給excel跑?

ricky7899 05/01 22:52CPU好一點 RAM16G起跳沒關係 只是EXCEL有點沒救

d8846325 05/01 22:53海量資料要開始就不該交給excel啊!

wahaha99 05/01 22:53簡單來說 Excel不是設計來這樣用的...

wahaha99 05/01 22:53就像你拿超跑載貨 不見得比較快

Reshiram 05/01 22:56同意 你是不是用錯工具..

感謝各位高手解惑,我漸漸開始有概念了 之前自己做基本功課後認為需要i5 9400以上+RAM的評估看來八九不離十 上面的硬體問題看來有解決方向了 但專業分工的問題,除非把這種工作交給會資料庫技能的人,不然解決不了對吧 (苦笑)

※ 編輯: ZenEmpty (36.225.216.235 臺灣), 05/01/2020 23:05:48

Sswatt 05/01 22:59RAM對Excel而言只是存放部分計算結果的

Sswatt 05/01 22:59真正慢(卡)的是運算部分 CPU是最大影響因素

pha123661 05/01 23:01海量資料改用access比直接換硬體還有用啦

lajji 05/01 23:08請愛用access或sql...

spfy 05/01 23:09你這換硬體只是治標 最後必然要換SQL的

P14 05/01 23:10用資料庫

Aquarius126 05/01 23:26你函數串太多層了,初步可以寫巨集把連動的資料切割

Aquarius126 05/01 23:26開,進一步就用資料庫或SQLㄅ

kamitengo 05/01 23:35關閉自動重算,最後F9。但要小心服用!

ultratimes 05/01 23:43這方面用A13搞不好比i9還強

lavign 05/02 00:22Excel一個分頁有百萬筆資料的限制 公式再套進去運

lavign 05/02 00:22算 電腦就不用動了

ariadne 05/02 00:45檔案轉資料庫 見過包商妹子開個excel要15分鐘超無言

ariadne 05/02 00:46他就只會那樣用然後檔案累資三年 當時快300M 超奇葩

corlos 05/02 00:50用excel就是個錯了

HiJimmy 05/02 00:50趁現在轉access 效率真的會高很多

HiJimmy 05/02 00:51就是得要會用一些基本的語法

maplefoxs 05/02 01:36excel資料多很容易轉圈圈耶

CJhang 05/02 01:37軟體問題

pirrysal 05/02 01:41趁現在換軟體吧

ee8iqp7x 05/02 01:50海量...

dan8013 05/02 01:56access很好上手的

KotoriCute 05/02 02:46終極解決方式就是學資料庫

KotoriCute 05/02 02:47想要繼續用office就access

lovespre 05/02 03:46CPU跟記憶體 然後要用64bit的office版本

lovespre 05/02 03:48很多電腦office裝32bit 版本不同跑大檔有差

RaiGend0519 05/02 04:21上次也有一個來問的,Access解決一切問題

a2470abc 05/02 04:35資料庫

WeAntiTVBS 05/02 05:21office安裝片放進去 setup預設進去灌的都是32bit...

ventxyz 05/02 07:37資料庫去圖書館借書回來看幾天你就會了 沒啥難度

Simonfenix 05/02 08:38無痛Access 有痛SQL之類的

hansioux 05/02 08:53改用python pandas就好了

buster52079805/02 09:29熊貓最高

mirage13 05/02 09:55這是軟體問題,你就算改用最簡單的資料庫.還要會簡單

mirage13 05/02 09:56SQL語法,基本上excel大概10萬筆資料還能正常跑,超過

mirage13 05/02 09:58就該用資料庫,這樣可以撐到千萬筆的規模,到億筆

mirage13 05/02 09:59就要考慮硬體規劃跟索引檔,還有SQL語法的效能

mirage13 05/02 10:00如果你習慣用Excel了最快的方式是轉存到Access這樣

mirage13 05/02 10:01有部份excel的函式還能通用,不用重新寫函式

mirage13 05/02 10:02如果你決定要轉移到SQLServer資料庫那還是花錢找專

mirage13 05/02 10:04業幫你規劃,沒規劃的資料庫schema比excel還差

mirage13 05/02 10:06千萬筆以下的資料量以目前的資料庫來說都不難

mirage13 05/02 10:07超過千萬筆的會讓你難過倒叫不要不要

mirage13 05/02 10:10我用i7-7700HQ+16GBram+雙SSD跑8千萬筆資料的查詢

abc65379 05/02 10:10pandas唯一解

mirage13 05/02 10:11比較Oracle跟SQLServer的查詢效能,說真的差不大

XDD 05/02 10:12換掉只會excel的人就解決了 (疑

oldmove 05/02 10:15SQL語法,看書就會了,沒這麼難好嗎

mirage13 05/02 10:18資料量百萬筆以下,你就算下了會TableScan的SQL是沒

mirage13 05/02 10:19差,超過千萬筆的你下一次就準備被吊起來打了

madmic25 05/02 10:22公司電腦i5-9500f+16G RAM+500G sata SSD開到第二

madmic25 05/02 10:22個Excel之後都卡卡

spfy 05/02 10:27其實我一直以為原文是說幾億的"數字" 不是資料筆數

spfy 05/02 10:28如果是資料量的話 你公司最好找個專職的DBA...

spfy 05/02 10:31不過大家都心裡有數 所以...

mirage13 05/02 10:36用神A的1.8NA引擎拖2兩個20尺貨櫃應該是拖不動吧

dd84607dd 05/02 10:44先定義海量 但如果這樣就跑不動你一定得用sql or

dd84607dd 05/02 10:45python pandas 幫你處理資料

waiter337 05/02 10:56sql

waiter337 05/02 10:56sql 看書 加水管影片就能會了

blueslin 05/02 12:18I7-9700一樣卡 難道要用到I9嗎?

AkikaCat 05/02 13:14Access:Am I a joke ...

andyting 05/02 13:54海量?大量?用詞怪怪的

pupuliao 05/02 13:59這種需求用資料庫處理拉....就算上億筆也是輕鬆處理

jhangyu 05/02 19:00直接換Dataframe操作啦

jhangyu 05/02 19:00還用Excel這個莫名bug這麼多的軟體喔?

aa2468291 05/02 20:29處理學生成績 幾十萬筆就覺得excel…

aa2468291 05/02 20:30pandas吧

Ekmund 05/02 20:38資料量上億筆用excel管理...這在現在算世界奇觀吧

ken841520 05/03 01:51勸你快換資料庫

maria001 05/03 02:17建議還是維持原作業方式。會用Excel處理海量資料的

maria001 05/03 02:17多不是資訊單位,改用Access或SQL只會弄得更累,以

maria001 05/03 02:17後這類業務將都是你處理

ortisbaga 05/03 09:00大數據還用excel 根本菜逼八

ortisbaga 05/03 09:01都什麼時代了.......

eva19452002 05/03 09:51為什麼沒人推R語言?

FA88124 05/03 10:00推R 語言 + RODBC套件連資料庫

jacky841224j05/04 01:28海量是西岸用語?

aidansky098905/05 10:05百萬級資料還沒死機啊