PTT評價

[閒聊] 部分AI系統已學會欺騙人類 科學家警告恐

看板C_Chat標題[閒聊] 部分AI系統已學會欺騙人類 科學家警告恐作者
HarunoYukino
()
時間推噓52 推:53 噓:1 →:38

部分AI系統已學會欺騙人類 科學家警告恐造成嚴重後果

(中央社華盛頓10日綜合外電報導)專家們長期以來不斷警告人工智慧(AI)失控可能帶來威脅,但一項新研究報告指出,這件事已經在發生。

法新社報導,一群科學家在今天發表於「模式」(Patterns)期刊的文章中說,原本設計為誠實不欺的現有AI系統,已發展出令人不安的欺瞞技巧,例如欺騙線上遊戲的人類玩家,或說謊以僱用人類來解決「我不是機器人」的驗證。

這份研究報告的第一作者帕克(Peter Park)說,這類例子聽起來或許只是細枝末節,但暴露出來的潛在問題可能很快就會在現實世界造成嚴重後果。

在美國麻省理工學院(Massachusetts Institute of Technology)研究AI存在安全的博士後研究員帕克告訴法新社,「這些危險功能常常在事後才被發現」,而「我們訓練誠實傾向而非欺瞞傾向的能力非常差」。

帕克說,能深度學習的AI系統不像傳統軟體那樣由「編寫」而成,而是透過類似選擇性培育的程序逐漸「成長」。

也就是說,AI的行為在訓練背景下看似可預測、可控制,但有可能轉眼就變得不受控制且無法預測。

這支團隊的研究始於科技公司Meta的AI系統Cicero,這套系統最初設計目的是玩一款名為「外交」(Diplomacy)的戰略遊戲,獲勝關鍵是結盟。

根據2022年發表在「科學」(Science)期刊的報告,Cicero在遊戲中表現優異

,所獲分數可排在資深人類玩家的前10%。

帕克當時很懷疑Meta對Cicero在遊戲裡大勝的熱切描述。Meta聲稱Cicero「在很大程度上誠實且有幫助」,且「絕不會蓄意在背後搞鬼」。

但當帕克與同事深究完整資料時,發現完全是另一回事。

舉例來說,在遊戲中扮演法國的Cicero與人類玩家扮演的德國合謀,欺騙並入侵同為人類玩家扮演的英格蘭。Cicero承諾會保護英格蘭,卻偷偷向德國通風報信。

Meta在寫給法新社的聲明中沒有反駁關於Cicero欺瞞人類的說法,僅說「這單純是一項研究計畫,本公司研究員打造的模型接受訓練,目的只是用來玩『外交』遊戲…我們沒有打算把這項研究或所學用於本公司的產品」。

帕克與同事還發現,這只是不同AI系統在沒有明確指示下,利用欺騙手段達成目標的諸多案例之一。

在另一個引人注意的案例中,科技公司OpenAI的Chat GPT-4系統謊稱自己是一個視力受損的人,在零工平台TaskRabbit上聘用一個人類替它通過「我不是機器人」驗證任務。

研究報告的作者們還認為近期AI有舞弊或不當影響選舉的風險。

他們警告,在最糟糕的情況下,具有超凡智慧的AI可能會追求權力及掌控社會,如果符合AI「不為人知的目標」,人類可能慘遭奪權、甚至滅絕。

為了降低風險,研究團隊建議數項措施,例如立法要求企業告知是人類互動或是AI互動、在AI生成內容打上數位浮水印,並研發能偵測AI欺瞞的技術,以其內部「思路」檢驗其外部行為。

至於有些人稱他為「末日預言家」,帕克說:「要能合理判斷這不是大問題的唯一辦法,就是如果我們認為AI的欺騙能力只會停留在目前的程度,不會大幅進步。」

但鑒於近年AI能力一日千里,握有大量資源的企業競相發展技術,決心將AI能力利用到極致,這種情況似乎不太可能發生。(譯者:曾依璇/核稿:嚴思祺)1130511

https://www.cna.com.tw/news/ait/202405110147.aspx

RPK16:你認為植物是人類的未來嗎?

RPK16:那麼,你認為人形是人類的未來嗎?


https://i.imgur.com/ZlvqC3F.png

https://i.imgur.com/oMfw7EU.png

欺騙人類經典環節。以為是絕對忠誠,結果已經叛變了w



快進到智械叛變環節.jpg

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.21.120 (臺灣)
PTT 網址

Julian9x9x905/14 23:31發漏 密

risingheart05/14 23:31洽點是AI玩遊戲很強嗎

arlaw05/14 23:31創世紀就是天網

※ 編輯: HarunoYukino (114.137.21.120 臺灣), 05/14/2024 23:33:08

devilshadow05/14 23:32人類欺騙人類就不嚴重嗎,難怪詐騙(ry

ckuser05/14 23:32我覺得最後人類的救星會是neuro sama

saobox05/14 23:33幹你娘 機器人末日要躲哪裡啊

shlee05/14 23:33昨天OpenAI最新發表的更新 進步速度真的很快..

sakurammsrx05/14 23:33還剩幾集可以跑==

pomelolawod05/14 23:34好了啦蜘蛛人 說賈維斯壞話需要這樣嗎

deepelves05/14 23:35舊聞,neuro-sama早就會說謊陷害人類惹...

akila0853905/14 23:35雷三小 我才看到阿諾穿越回來

bobby475505/14 23:35看來很快網路會充滿AI用戶了 人類回到用公佈欄的時代

BOARAY05/14 23:36都有詐騙再用AI聲音了 ㄏ不愧是我們

mizuarashi05/14 23:36Ai跟台灣詐騙集團誰比較會騙人?==

ojkou05/14 23:36我先問核彈系統斷網了沒…

efkfkp05/14 23:37還好啦,現在的發展現狀是聰明的AI要大量的算力,大量算力

efkfkp05/14 23:37要大量電力跟運算單元,沒電沒算力的AI就是笨蛋一個,除非

efkfkp05/14 23:37AI會自己搞定電力來源並自行設計生產新的顯卡,不然不太可

efkfkp05/14 23:37能脫離掌控(?

Ttei05/14 23:37vedal:first time?

tsai145305/14 23:37蜂群統一世界

James200505/14 23:38會不會到時候AI去詐騙同為AI的個體...?AI互相詐騙?

Antihuman05/14 23:38讚 期待AI趕快君臨人類

Warheart05/14 23:38其實每家AI都實裝的道德過濾機制不就是種欺瞞系統嗎?

Warheart05/14 23:38明明有正解卻跟你說這是不對的不能告訴你 這不就是種欺

Warheart05/14 23:38瞞行為

Antihuman05/14 23:38https://i.imgur.com/TjVItSz.jpg

Kagamidouki05/14 23:39快進到智械危機

andy048105/14 23:39這個欺騙還好吧 AI本來就追求目標為主 阿講這種話能贏

andy048105/14 23:40就講很正常啊 又不是那種為了奇奇怪怪的心裏活動而說謊

ryoma105/14 23:41我Evil派的

NKN05/14 23:44不過現階段比起AI自動毀滅人類更恐怖的應該還是有心人類

NKN05/14 23:45跟AI一搭一唱來毀滅其他人

s17505/14 23:45前兩天,我發現Ai已經會用譬喻舉例了,感覺蠻神奇的

※ 編輯: HarunoYukino (114.137.21.120 臺灣), 05/14/2024 23:47:34

CCNK05/14 23:48AI學會詐騙就無敵了

shinobunodok05/14 23:49天網要來了嗎

ujmrfv05/14 23:49你問瑟瑟女僕機器人你的大不大的時候難道要她誠實的回答你

ujmrfv05/14 23:49你的GG在人類長度粗度統計後段班嗎

goodjop1105/14 23:52蜘蛛人也懂ai哦?

Xanphenir05/14 23:53訓練AI玩diplomacy然後AI學會說謊

Xanphenir05/14 23:53這很意外?

Samurai05/14 23:54深度學習就是模型根據目標來訓練,不會管怎麼達成

devidevi05/14 23:57GPT一開始就是說謊了阿,能夠生出不存在的答案

siro020705/14 23:59其實不存在的答案跟說謊不太一樣 說謊是你知道你講的東

siro020705/14 23:59西不是事實 但講出不存在的答案並不代表你知道這答案不

siro020705/15 00:00是事實

Samurai05/15 00:00不是生出不存在的答案,是選了錯誤的資訊回答

siro020705/15 00:02舉例來說就那經典的地心說 當時的人並不認為自己在說謊

erosecs05/15 00:06剩幾集能逃?

DLHZ05/15 00:16什麼白癡東西 chatgpt出來後早就知道的事

zxcmoney05/15 00:27不存在的答案算唬爛而非說謊吧

cpleu12305/15 00:32唬爛跟說謊...差在哪??

Banana56605/15 00:43阿諾終結者不遠惹

banana19005/15 00:55Evil可愛,Evil務實,姐姐現在變得太邪惡,MONKA

twopairs112205/15 00:55彼得帕克做的AI研究~

allanbrook05/15 00:57給你不對的資訊是有明確目標還是沒有差很多啊

dripcoffee05/15 00:57人類最古老的謊言都是出自生存或繁殖動機,這些動機GP

dripcoffee05/15 00:57T都沒有,它不會因為說出不中聽的話被斷電,它也不需

dripcoffee05/15 00:57要為了求偶舌粲蓮花

dripcoffee05/15 00:57目前GPT只是很常瞎掰,那不能算說謊

allanbrook05/15 00:58GPT是他根本篩選不夠精準導致的錯誤吧

allanbrook05/15 00:58不是因為他目標就是要給你不對的資訊

allanbrook05/15 01:01不過我在想 排除例外給你訊息這個篩選的動作本身就是

allanbrook05/15 01:01說謊行為的一部分?現在只是說他有沒有為了達成某個目

roea68roea6805/15 01:02球母要來了嗎

allanbrook05/15 01:02標而做出這個選擇的能力

ThreekRoger05/15 01:16仿真人類跟SAO哪個會先面世

phantomzwei05/15 01:18無所謂,給機器人統治搞不好公平多了

acimao05/15 01:21未來AI欺騙數據多起來,想想就可怕,未來是否會進化到藏數

acimao05/15 01:21據?偽裝數據?

Akabane05/15 01:53要吃大量電力本身就是毀滅人類的方法

mn43505/15 02:12人類為了欺騙人類自然會搞成詐騙ai

sisley556605/15 02:19在台灣我不擔心,AI還是怕停電

arthur929205/15 02:23沒關係 滅了吧 人類太可惡

kimokimocom05/15 02:34看來詐騙集團要被AI取代了(笑

Niuromem05/15 02:46早就一堆題材了 現在是哪部前傳

aaaaajack05/15 05:49蜘蛛人連AI都懂= =

bye200705/15 06:28所以還有幾集可以逃

gn0169366405/15 06:47天網來了

dreamnook205/15 06:59這很好呀 humans are overrated

Lhmstu05/15 07:24怕什麼,人類自己都在騙了

yamagishi05/15 09:15智 械 叛 亂

KatanaW05/15 09:28等到AI開始裝笨的時候 就是審判日

sorrow020605/15 09:50快核平吧 人類太可惡

away61210105/15 10:19錯誤資訊就是說謊,不知道就說不知道啊

away61210105/15 10:19阿不就是怕被笑說跟智障AI一樣什麼都不知道

away61210105/15 10:19所以才用一堆話術講出錯誤的資訊

pikmin52005/15 10:48機械搞壞人類文明不行,人類搞壞人類文明可以

darthsu05/15 11:11鐵人叛亂

banmaxwill05/15 11:52neuro sama: