Re: [閒聊] AI設定上到底有沒有辦法說謊?

#1cGuEFEG (C_Chat)
--
這支團隊的研究始於科技公司Meta的AI系統Cicero，這套系統最初設計目的是玩一款名為「外交」（Diplomacy）的戰略遊戲，獲勝關鍵是結盟。

根據2022年發表在「科學」（Science）期刊的報告，Cicero在遊戲中表現優異
，所獲分數可排在資深人類玩家的前10%。

帕克當時很懷疑Meta對Cicero在遊戲裡大勝的熱切描述。Meta聲稱Cicero「在很大程度上誠實且有幫助」，且「絕不會蓄意在背後搞鬼」。

但當帕克與同事深究完整資料時，發現完全是另一回事。

舉例來說，在遊戲中扮演法國的Cicero與人類玩家扮演的德國合謀，欺騙並入侵同為人類玩家扮演的英格蘭。Cicero承諾會保護英格蘭，卻偷偷向德國通風報信。

他們警告，在最糟糕的情況下，具有超凡智慧的AI可能會追求權力及掌控社會，如果符合AI「不為人知的目標」，人類可能慘遭奪權、甚至滅絕。

為了降低風險，研究團隊建議數項措施，例如立法要求企業告知是人類互動或是AI互動、在AI生成內容打上數位浮水印，並研發能偵測AI欺瞞的技術，以其內部「思路」檢驗其外部行為。

至於有些人稱他為「末日預言家」，帕克說：「要能合理判斷這不是大問題的唯一辦法，就是如果我們認為AI的欺騙能力只會停留在目前的程度，不會大幅進步。」

但鑒於近年AI能力一日千里，握有大量資源的企業競相發展技術，決心將AI能力利用到極致，這種情況似乎不太可能發生

--
AI已經學會說謊

然後內文敘述對AI「說謊」這行為是很恐懼的

不是不能說謊，是「說謊」會帶來多少影響

--