[討論] 建立一套基於「相對排序」的咖啡評分系統

大家好，我是初心者咖啡gyboy。

最近在思考，如何建立一個具有參考價值的「評分系統」，只針對我自己品項的封測。

雖然像 Coffee Review (CR) 或是 SCA 的評分系統很專業，

但對於大部份的消費者（包含我自己）來說，

沒受過專業訓練，喝一口就判斷這杯是 85 分還是 86 分，其實非常困難。

「打分數很難，但比較誰好喝，似乎容易多了。」

基於這個想法，我試著設計一套「將排序轉化為分數」的方式。

核心概念是：不打絕對分數，只做相對排序。

日前我請Line群組內喝過我們家豆子的朋友協助做了一次封測，

google表單如下，您如果有喝過也可以協助填寫，分數會滾動調整:

https://forms.gle/sHUkz6Xvo6Ceu9jQ7

以下是計算邏輯，簡單寫出來，大家幫我想想看，

這樣的統計方式是否有盲點？看能不能修正得更好。

計算邏輯(1)：

由於不見得每位朋友都喝過所有的品項，

所以這套系統「未列入排名的品項，就不列入計分」。

計算邏輯(2)：

找出該名測試者排名列表的「中間值」品項，作為基準，設為0分。

比中間值好喝的，依序 +1, +2, +3...

比中間值難喝的，依序 -1, -2, -3...

最終分數 = 總得分 / 實際評分人數

【舉例說明】

狀況一：小明只喝過3支，給出的排名是 A > C > D

C 是中間值：得 0 分

A 比 C 好：得 +1 分

D 比 C 差：得 -1 分

狀況二：小美喝過5支，排名是 B > C > E > D > A

E 是中間值：得 0 分

C (+1)、B (+2)

D (-1)、A (-2)

【結算】

A 品項： 小明給 +1，小美給 -2。 總分 (1 - 2) / 2位評分者 = -0.5 分

B 品項： 小明沒喝過(未評)，小美給 +2。 總分 2 / 1位評分者 = 2 分

為什麼要設計成「兩面刃」機制，拿下大量負分的品項會沒人買吧?

我的想法在於「避免分數膨脹」與「強迫取捨」。

以google地圖的1~5星評分來說，店家沒什麼大問題通常會給4~5星，

導致鑑別度喪失，何況還有五星好評送小菜 =.=

對我來說，這個評分就一點意義也沒有了。

當你覺得某支豆子超好喝，給它 +3 分的同時，依照排序邏輯，

你勢必得把某支豆子排到後面，給出一個 -3 分，是一個零和遊戲。

你不可能讓所有豆子都拿高分，評分者必須誠實面對自己的喜好排序。

即便是身為烘豆師的我，把自己所有品項拿來排，

不管我多愛某支豆子，我最多也只能給出 +3，同時我也必須忍痛給出一支 -3。

每一支品項都是我從大量樣品杯測，謹慎出手買進的，當然不會有不喜歡的。

但排名就是這樣。

大家可以想像，當參與評分樣本數夠多時，這個分數會非常有公信力，

可以說是殘酷擂台，因為合計之後能拿到正分的品項，

代表它必須是大部分人心目中的「前段班」。

第一波封測的計算結果：

以我們家比較多人喝過的「衣索比亞 吉茶 水洗」 來說，

他在這次的封測評分中，只拿下 -1.7 分(3)。

後面的(3)，表示總共有3個人給出排名，對這個品項產生影響力。

這代表在受測者的心中，吉茶普遍被排在比較後面的名次。

雖然我覺得吉茶也算滿不錯的衣索比亞 水洗豆了。

類似群眾募資的概念，只是我需要的是你舌頭的支援 (聽起來怪怪)，

系統建立起來之後，就會有一個比「老王賣瓜」更客觀的參考依據。

不知道大家對於這套「排序轉積分」的邏輯，

有沒有什麼盲點，或不合理的地方？ 歡迎給我建議，謝謝大家。

--