PTT評價

[情報] 外媒稱聯發科 SoC效能分數造假,官方否認

看板MobileComm標題[情報] 外媒稱聯發科 SoC效能分數造假,官方否認作者
Lsamia
(samia)
時間推噓15 推:15 噓:0 →:18

https://technews.tw/2020/04/10/mobile-benchmark-cheating/
外媒稱聯發科 SoC 效能分數造假,官方否認但反駁又來了

現在的手機跑分,真的是不能信。
手機產商、芯片廠商越來越追求芯片的跑分數值,Benchmark (基準性能測試)逐漸成為衡量設備性能的重要標準。但在一味追求分值的同時,廠商們也逐漸深陷“分值禁錮”之中,近期的聯發科,就是如
此。

聯發科芯片benchmark 造假事情的開始,要從OPPO Reno3 說起。
外媒Anandtech 發現,搭載P95 CPU 的歐洲版OPPO Reno3 Pro 的跑分數值比搭載性能更強大的最新Dimensity 1000L CPU 的國行版Reno3 的高,這引起了Anandtech 的質疑。
由此,Anandtech 分別使用匿名版(可幫助分值作弊)和常規版的PCMark 對MediaTek
P95 CPU 進行跑分。結果顯示,P95 CPU的真實總分比匿名版得分低30%;在寫入負載方面,二者得分的差異甚
至達到75%。同時,Anandtech指出,通過對OPPO Reno3 Pro進行測試,結果表明並非是OPPO Reno3
Pro導致的跑分差異。也就是說,造成跑分差異的根源在於聯發科芯片。為了證明這一結論, Anandtech 對Reno3 搭載的聯發科芯片作進一步調查。結果發現,
在手機的固件(/vendor/etc 文件夾)中,包含一個“power_whitelist_cfg.xml”文件


該文件中存在一個涵蓋各種基準測試的列表,包括GeekBench、AnTuTu、3 dbench,、
PCMark、魯大師、AndroBench2 等。不僅如此,列表中還新增了人工智能基準測試,包括Master Lu AIBench、ZTH AI 。在這其中,Anandtech 找到了PCMark 的APK ID,發現ID 中配置了一些電源管理提示,其
中一個共同的提示為“運動模式”。

該模式能夠修正SoC 芯片的一些DVFS (動態電壓頻率調整)特性,比如始終以最大頻率運行內存控制器。另外,在負載跟踪方面,調度器也被更改了設置,在工作負載時CPU 核心的頻率能夠更快地上升,並停留更長時間。

不僅如此,其APK ID 還包含了企業版的GFXBench,雖然在清單中沒有配置“運動模式”
提示,但在使用應用程序是會改為默認的DVFS、熱力和調度器設置。值得注意的是,
“power_whitelist_cfg.xml”文件不僅存在於OPPO設備上,Anandtech還在其他設備上
(搭載聯發科芯片的設備)發現了類似文件以及幾乎相同的基準清單條目。如表所示:
巧合的是,在Anandtech 解壓文件之後,OPPO 向手機推送了一個固件更新,文件中原有的基準列表消失了。Anandtech 認為該文件列表僅是被移動了位置,因為基準測試中依然能夠觸發“運動模式”,從而使性能大大提升。


聯發科回應

對於Anandtech 提出的質疑,聯發科方面也給出了正面回應。以下為回應聲明:
聯發科技遵循公認的行業標準,並且對基準測試準確地代表了我們芯片組的功能充滿信心。在測試和基準測試由我們的芯片組驅動的設備時,我們與全球設備製造商緊密合作,但最終,品牌商可以靈活地配置自己認為合適的設備。許多公司將設備設計為在進行基準測試時以最高性能運行,以顯示芯片組的全部功能。這揭示了任何給定芯片組的性能能力的最高端。

當然,在現實世界中,有許多因素將決定芯片組的性能。聯發科技的芯片組旨在優化功耗和性能,以在盡可能延長電池壽命的同時提供最佳的用戶體驗。如果有人正在運行諸如要求苛刻的遊戲之類的計算密集型程序,則該芯片組將智能地適應計算模式以提供持續的性能。

這意味著,隨著芯片組根據出色的用戶體驗所需的功能和性能動態管理CPU,GPU和內存資源,用戶將從不同的應用程序中看到不同的性能水平。此外,某些品牌在不同地區具有不同類型的模式,因此設備性能可能會因地區市場需求而異。

我們認為,在基準測試中展示芯片組的全部功能與其他公司的做法是一致的,並且可以為消費者提供有關設備性能的準確信息。

聯發科認為,其公佈的Benchmarks 分值代表了芯片組驅動設備時的最高分值,代表了芯片組性能的最高端,所以不存在跑分造假的行為。同時聯發科指出,這一做法與其它公司的做法是一致的,也就是說,行業裡的廠商都是這麼做的。

但這一回應遭到了Anandtech 的反駁。Anandtech 認為,聯發科並無回應出問題的本質。其具有欺騙性的Benchmarks 不僅針對的是與SoC 相關的跑分軟件(例如GeekBench、
GFXBench),而且面向了與用戶體驗相關的跑分軟件,也就是前文提到的PCMark。Anandtech 解釋稱,PCMark 是一個系統基準測試,其分值代表了芯片的工作負載和設備
響應能力。雖然PCMark 反映的是芯片的性能,但會受DVFS 和調度程序等軟件和機制的影響;這也印證了前文提及“運動模式”會修正SoC 芯片的DVFS 特性,從而影響
Benchmarks 分值。

另外,Anandtech 指出,PCmark 分值反映的是用戶使用體驗,而不僅僅是芯片組的性能。也就是說,Anandtech 認為聯發科干涉PCmark 分值已超出了芯片跑分的範圍。


用產品說話,才擲地有聲

事實上,在聯發科之前,三星、華為都曾因欺騙Benchmark 結果陷入輿論中心。2014 年,測試人員發現三星通過添加源代碼在基準測試中作弊,該代碼能夠檢測基準測試應用程序是否在手機上運行,一旦發現,則以更快的速度(532MHz,正常情況下為480MHz)運行手機。由此,三星遭到了集體訴訟,且該訴訟長達4 年。2019 年9 月30 日,三星敗訴,承認在基準測試中作弊,同意向Galaxy S4 的購買者支付10 美元賠償。

同樣的事情在華為身上也發生了。Anandtech 發現,華為會在新設備中配備基準檢測機制,為SoC 提供了更高的功率限制。最終,在某些白名單應用程序中,設備的性能會更高。

不過,這種做法會帶來一些負面影響,包括消耗電能,降低機組效率,降低電池壽命等。

對此,華為表示,僅憑一個單一的基準數字並不能顯示完整體驗。但對於部分項目,進行基準測試是整個行業中被認可的方式,每個公司都在朝著更好的客觀結果而努力。同時,華為消費者BG軟件工程部總裁王成錄表示,其他廠商都在進行同樣的測試獲得高分,華為不能保持沉默。不難看出,Benchmark 的高分值正成為芯片製造商追求的目標,也逐漸成為了行業的營銷手段。Benchmark 分值固然能反應設備的性能,但為了營銷、數值攀比而進行跑分造假不應是行業常態。

且不論“你做我也做”追求Benchmark 高分值的盲目性,就跑分造假這一行徑而言,其分
值只能在短時間內獲取用戶體驗的好感度,但從長期視角來看,追求高分值會帶來設備性能的損耗,這並不是與用戶建立良好關係的正確途徑。

正如AnandTech 在文中提及,更好地與用戶體驗建立聯繫的唯一方式,就是讓每個常規遊戲在標準的功率範圍內運行。也就是說,性能最具說服力的表現不是分值,而是產品本身。


心得:
文章很長不過其實重點蠻短的
發哥的天機1000這次新聞預熱了這麼久
結果天機1000都還是一台都沒有,目前只有割肉版的1000L

這次發哥漲價看起來很失策阿 但是從財報又沒賺比較多
(高頻版本MT6889售價高達70美元到80美元之間,
遠遠高於一般4G晶片10美元到12美元的價位,漲價了五到六倍)
https://tinyurl.com/ujz8zr6

到底這次是誰害發哥產品得大漲價呢 到今天終端產品都還沒超過1款

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.76.103.243 (臺灣)
PTT 網址

DH0617 04/10 22:44ㄟ不是,你還沒解釋白名單怎麼來的阿發哥

Lsamia 04/10 22:44要火力全開就是白名單!

Lsamia 04/10 22:46不過我覺得白名單模式有甚麼好奇怪的 又不是代打

LastAttack 04/10 22:49發哥尷尬==第一段仔細看來是想把問題甩給OPPO,但又

LastAttack 04/10 22:49不能得罪客戶所以寫得很隱諱

doom3 04/10 23:19因為消費者要跑分高又要省電 只有白名單能做到

BadGame 04/10 23:32 天璣1000l 本來就 把765按在地上 OPPO要自己這樣搞

BadGame 04/10 23:32 熱門R系列 就自己承擔吧 根本就不像同系的兩隻 ...

sadsumo 04/11 00:24不同的dvfs模式不就s865就這樣幹,可是高通很大方告

sadsumo 04/11 00:24訴你我就是準備了一個performance版本的dvfs

ted51633 04/11 00:35不見得有造假,但目前似乎還沒有一台5g手機搭載天璣

ted51633 04/11 00:351000是不是說明了什麼問題

ShangLai 04/11 00:44可是本季發哥營收超標,高於預期,如果天璣1000沒

ShangLai 04/11 00:44賣,是賣什麼東西達到的?

eason2000 04/11 00:50p90 G90一大票a76+a55改來改去的賣了不少吧

winptt 04/11 00:51一堆中國用語看下去好累

t5p3ax 04/11 01:15那我打遊戲開運動模式就是100%效能啦?

t5p3ax 04/11 01:16玩遊戲跟跑分有一致的表現就沒問題了

aegis43210 04/11 06:10p90成本低,效能又好,賣的很好

emptie 04/11 08:16做成一個開關不就好了…

emptie 04/11 08:17幾十年前的win筆記型電腦就有省電-標準-效能全開的

emptie 04/11 08:17設定檔可以選了…

ShieChang 04/11 09:31樓上,你說的三個模式android好幾年前就有了阿

yeuling9300 04/11 11:25安卓只有一般、閹割、究極閹割吧 哪來效能全開

bxxl 04/11 13:02可以動態根據負載調整,但不是根據程式的名稱調整吧

bxxl 04/11 13:02為什麼現在的作弊這麼低格調

wildboar 04/11 14:49對測試程式最佳化這招在電腦上不是常態了嗎?所以

wildboar 04/11 14:49我不看分數很久了…

camryvvti 04/12 01:10筆電可以不放大腿上用 手機玩遊戲很少是放桌上的

camryvvti 04/12 01:11跟人體要長時間接觸 就要考慮體感溫度的問題啊大哥

cerwvk 04/12 08:53power_whitelist_cfg.xml 這不就是答案?

sunboy183 04/13 03:03 https://i.imgur.com/W3Z3stj.jpg 已經說的很清

sunboy183 04/13 03:03楚了