PTT評價

Re: [新聞] 馬斯克等千人簽署公開信：呼籲暫停巨型AI

TreeMan 發表於 2023/3/29 下午9:28:12
看板Stock標題Re: [新聞] 馬斯克等千人簽署公開信：呼籲暫停巨型AI作者
TreeMan
 (好啊...)時間推噓14 推:22 噓:8 →:38

公開信的原文：
https://futureoflife.org/open-letter/pause-giant-ai-experiments/

它裡面提到4個自我省思，其中第1點：假訊息

是曾經/正在發生，而且造成實質損失



人類判讀訊息真實性時，經驗/直覺可以在新證據 (假設是新聞、訊息) 不多、不強

或物理上不可能時，達到足夠的判斷效果

而證據的重要組成：影像、聲音、來源數

目前生成式模型已經可以很有力的產生人類無法輕易辨識的資料

以前人工時代較容易有破綻，數量也不夠多

現在就是看誰算力夠，就有機會產生足量且高品質的假資料

做為其惡性地宣傳地證據



如果時間夠長，平均來說還是可以判斷真假

然而對於反應時間短，有機會造成損失預期的假證據

平均來說不會完全相信，但會進行某種程度的防禦措施，避免損害

特別是做了也無損失的情況

例如2018年的衛生紙事件

看到新聞的人想著下班先買個衛生紙放著

然後看見彼此購買的行為又強化了缺少的感覺

最後就可以成真到某個時間點



而當生成式AI足夠優秀的時候 (也許future of life預期可能是近年)

具有足夠算力的組織或人

可以大量、多樣化的高品質假證據時

就可以透過網路媒體 (傳統媒體為了避免落後也會盡快跟上)

快速地傳給許多人

再透過經實驗確認過的真實帳號之反應狀況

來評估滾雪球的狀態

並早一步布局較有可能的成真的項目，從中獲利



假想某個上市公司A的賺錢方式是用衛生紙做蓮花來賣

然後有個邪惡組織有規劃的短時間發佈 多張不同超市 缺衛生紙的照片

搭配一些小短片 透過合成人臉和聲音 告訴你真的缺衛生紙啦

因為衛生紙遭到大量搶購 (缺原料)

上市公司A就沒蓮花衛生紙可賣，邪惡組織就空爆他

或是趁他緊張 (時間壓力) 高價賣他衛生紙



整個過程就像高級的詐騙簡訊一樣

只是詐騙簡訊是廣發後，屬於易受騙的族群 (假設2.5%) 會中招

現在因為假證據升級了

邪惡組織可以透過"平均來說"的反應 進行後續規劃

當然邪惡組織也有可能因為人類的非線性反應受損

比如說衛生紙都被囤光了 他因為知道這是假消息 所以沒有多買

結果這組織就買不到 只好拿錢擦屁股 或去買更貴的衛生紙




另外是法律面

它也比詐騙簡訊更高級了

因為你不是造成收訊者的損失

是造成收訊者反應後 某個倒楣鬼的損失

你也沒有直接從倒楣鬼那邊偷搶拐騙錢

而是依據他損失的反應而正當獲利

這直覺很難...從法律去有效的制裁



承上，Future of Life Institute提出的應對方向是甚麼呢？

生產設備可追朔：...oversight and tracking of highly capable AI systems and
large pools of computational capability...

AI浮水印(類似基改標籤)：...provenance and watermarking systems to help
distinguish real from synthetic and to track model leaks

AI傷害的責任歸屬 (法律)...liability for AI-caused harm...

金援確保AI安全的研究...robust public funding for technical AI safety
research...

建構應對AI危害的組織 (AI管理局？) ...well-resourced institutions for
coping with the dramatic economic and political disruptions
(especially to democracy) that AI will cause...


一直以來都有針對生成式模型的辨識模型研究

但短期應該打不贏，因為生成式AI才吸睛又吸金

用AI去辨識誰是AI，避免災害，比較像公共安全

而且技術上應該也很難 如果這樣防衛模型是可買到的

就可以用它加入生成模型的訓練

當然這樣也可以增加生成式AI的成本就是



至於他們提到的6個月，感覺有點謎



股點...

如果有在開發浮水印類技術或符合前述目標的公司

應該可以投資看看 至少符合他們明面上的目標吧



--一些小補充--

現有AI建構的概念是輸入 -> 模型 -> 標籤
標籤就是你要求模型將輸入轉換後的輸出目標
輸入 (文字敘述) -> 標籤 (目標影像)

真實人類的生成內容充滿了整個世界，很容易取得

但如果要訓練辨識生成內容的AI (很粗略的稱作防衛型AI)，輸入與標籤就成為主要的問題
你要先拿到生成模型 (GAN)，可是沒有開源的你要去哪拿？
就算你知道了網路架構，不同的訓練方式和資料集差異
都可能讓你的防衛型AI無法生效

自己用人判讀，這很難成為有效率的方式

其他非生成式AI的應用，對於惡意防禦也都很苦手
攻擊的方式無窮無盡，而且不像以往程式病毒，攻擊可以透過多個層面進行，包含實體
舉例來說，我建立了偵測手槍的物件識別模型
就假設只要監視器畫面出現手槍，不會誤判而且一定抓得到 (這樣好的模型只存在於幻想世界)

但槍手只要把槍放在娃娃或遮蔽物內就好了，模型就die...

你拿不到惡意對手的模型，但惡意對手拿得到你的防衛產品來研究


總之，在資訊傳播的惡意使用，可以透過生成式AI達到品質更高、更迅速的產出
如果停6個月可以將生成式內容都加上浮水印或有效溯源，我覺得OK啦
但各個平台變成要去增加檢查浮水印的功能 (?開API去賺錢)


至於說是要妨礙對手競爭 可能性不高
在一般閱讀內容的影像、語言、聲音來說，資料充足
開發 (訓練/最佳化) 速度 -> 硬體 -> 銀彈
訓練架構已發展到盡可能減少人的操作，並且硬體條件足夠下訓練時間可充分縮短
特別是參數調整、網路設計最佳化也可透過訓練完成 -> 進一步縮短時間

生活化的生成式內容狀況是這樣
但很多領域的AI還很早期 (資料/標籤缺乏或昂貴)，有銀彈也沒用

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.73.201.119 (臺灣)
※ PTT 網址
噓

nidhogg 03/29 21:29論點很奇怪

推

jimmihg 03/29 21:36以目前AI成長的速度,很快就會有AI生成Musk的影像跟

→

jimmihg 03/29 21:37聲音,而且會是極難辨識的情況

→

jimmihg 03/29 21:38這也是Sam Altman推出chatGPT的原因,監管必須盡快

→

jimmihg 03/29 21:38現在的政府根本不知道AI成長的速度有多快

推

aimlin 03/29 21:44不用監管 進步才快

推

abccbaandy 03/29 21:46同1F...這個哪需要AI，看我們不就是這樣，媒體各種

→

abccbaandy 03/29 21:46嘴砲，人民也隨便相信

推

aimlin 03/29 21:47等ai畫a片

推

chaoliu 03/29 21:52沒錯啊 黑道詐騙僱幾個碼農作假app 假網站博弈就賺

→

chaoliu 03/29 21:52翻了 AI工具他們能拿來怎麼騙 你想想就發毛 開源是
→

chaoliu 03/29 21:53錯誤的 絕不能開源 馬斯克這點是錯的 AI交給微軟這

推

linkmusic 03/29 21:53就是以前雇網軍作的事,現在靠AI就能更大量帶風向了

→

chaoliu 03/29 21:53種有信譽的公司安排才是對的

→

shliau 03/29 22:06AI買股當沖期貨程式

推

s900527 03/29 22:11微軟有信譽？哪一個宇宙的微軟

推

gibbs1286 03/29 22:13最後就是AI對抗AI

推

wts4832 03/29 22:17AI發展阻擋不了的，最後只能用AI對抗AI，結論就是快

→

wts4832 03/29 22:17買AI股票發大財

→

nwoyao 03/29 22:25還不是人為的假訊息害的 笑死

→

codotsun 03/29 22:27笑死 這樣不就共產極權才會做的事

→

codotsun 03/29 22:27我沒辦法控制 所以全部ban掉就好

推

clairehao 03/29 22:32第一個論點就很奇怪 ai更進步反而假訊息判斷會更強

→

clairehao 03/29 22:32吧 雖然假訊息也會變種 但科技不就是這樣要發展改善

→

clairehao 03/29 22:32下去嗎

推

boringuy 03/29 22:36你可以反向思考，利用AI過濾大量訊息分辨假訊息

→

boringuy 03/29 22:37還可以抓出源頭在那，科技只是工具怎麼利用的是人

推

zaqimon 03/29 22:43AI生成影像聲音已經都有了吧

→

zaqimon 03/29 22:43https://youtu.be/17_xLsqny9E
→

zaqimon 03/29 22:45可惜AI還沒學會炒股賺大錢

→

zaqimon 03/29 22:46不然很快世界首富應該都會變成AI才對

→

zaqimon 03/29 22:47還是比爾蓋茲巴菲特那些人其實都是AI

→

hnjsh 03/29 22:52看看本站的第一大版列車發車的次數，時代在進步，群

→

hnjsh 03/29 22:52眾分辨假消息的能力卻越來越差了

推

lavign 03/29 23:08以後line上聊天你媽也不一定是你媽 可能是AI

推

vicklin 03/29 23:11簡單來說就是利用AI的犯罪效率快要高到沒辦法防了

推

lavign 03/29 23:13生成式zero day attack人類是擋不住的

推

part19 03/29 23:28掌握資訊的就贏 中間的往下沉 弱勢的永遠不得翻身

→

opencat 03/29 23:39跑不贏別人 只好鼓譟暫停比賽 :D

推

sd785 03/30 00:21歐盟已經開始討論針對AI立法了 可見疑慮真的很大

噓

HenryLin123 03/30 01:07噓項目
噓

deepdish 03/30 05:15大公司都偷偷用多久AI惹 不要找一堆藉口阻礙時代進

噓

deepdish 03/30 05:42https://youtu.be/sPvv8S7W0ww

→

deepdish 03/30 05:42懼怕AI? 審查困難...日經曝中國禁止科技巨頭提供Cha

→

deepdish 03/30 05:424,520 views Feb 23, 2023 #大世界 #三立iNEWS

推

honglu58765403/30 06:02說到假訊息，如果是擠兌的假訊息，會不會造成恐慌？

→

honglu58765403/30 06:03畢竟現在把錢賺走也是在手機動動手指就能完成的事

→

honglu58765403/30 06:04*轉

噓

bleedwolf 03/30 08:39保守派思維，30年前：別看電視, 20年前：別上網，10

→

bleedwolf 03/30 08:39年前：別用智慧手機，現在：我們要禁止AI, 事實就是

→

bleedwolf 03/30 08:39，你永遠檔不住科技的進步，只能趕快跟上然後學會應

→

bleedwolf 03/30 08:39用

推

fancydick50103/30 08:40事實 但不需要停下來

※ 編輯: TreeMan (42.73.201.119 臺灣), 03/30/2023 09:00:41
→

SkyShih 03/30 09:31你講的不說AI,我還以為是台灣黨媒

推

seemoon2000 03/30 09:58說實話 現在ai的進步速度 6個月可以讓落後很多的大

→

seemoon2000 03/30 09:58幅追上 只有落後方會接受這種條件 要監管倒是沒話

→

seemoon2000 03/30 09:58說

推

acgotaku 03/30 11:31現在技術無法判別資訊的正確性的情況下

→

acgotaku 03/30 11:32只能對所有在網路上的文字 圖影 保持不可信的態度

噓

miyazakisun203/30 12:31用Ai對付ai

→

miyazakisun203/30 12:32孤狗口罩的布來源 幾秒鐘就破解留言了 問題就是沒

→

miyazakisun203/30 12:32查證的習慣

→

miyazakisun203/30 12:33硬要短時間衝來衝去搞高風險 然後怪環境 怪科技

推

AdventurerCC03/30 14:25Deep fake 的危險性吧，我覺得確實有必要先考量

噓

weitin7011 03/30 18:44神經病 你自己可以做別人不行就是

噓

quartics 03/30 19:57AI進展太快，立法跟不上，一定是衍生一堆問題，加

→

quartics 03/30 19:57上會大量失業，雖然技術造成生產力大幅提升，但結

→

quartics 03/30 19:57果不見得就真的造福大多數人
同系列文章
Re: [新聞] 馬斯克等千人簽署公開信：呼籲暫停巨型AI
其他人也閱讀了
PTT 熱門相關
Stock最新熱門推薦
🔥🔥🔥