Re: [情報] 天網和奧創來啦

zanyking 發表於 2023/6/2 上午11:47:49

看板Military標題Re: [情報] 天網和奧創來啦作者

(最後的六年級生)時間Jun 2 11:47:49 2023推噓27 推:27 噓:0 →:50

※ 引述《jimmy5680 (還想飛的企鵝)》之銘言：
: https://twitter.com/ArmandDoma/status/1664331870564147200
: https://tinyurl.com/mr2mynn8
: 根據一場研討會的討論內容
: 美國空軍曾在模擬器裡面開發一款操作無人機的人工智慧
: 但是最終決定權仍在操作員手裡
: 結果模擬測試時，
: AI判斷人類的決策會干擾自己執行首要目標(摧毀目標的防空系統)
: 因此AI決定要攻擊操作員
: 美軍輸入參數要求AI不可以攻擊操作員之後
: AI的決定是改成攻擊通訊系統，讓操作員無法下令
: ======
: 不知道這算天網還是奧創，只能說科幻電影都是真的
: 網友：https://pbs.twimg.com/media/Fxj-SA1WcAYlc95.jpg

現在的AI都是用類神經網路、多代理人策略、搭配世代演化來生成的
而在模擬演化過程裡，我們怎麼設定並篩選『哪一隻AI應該活到下一個iteration』呢？

如果是特定戰鬥平台的戰術用AI，可以想像評判標準就是建立在殺敵經濟效率上的，
『如何善用每一個作戰單位的經濟價值達到最高交換比』會是最合理的判斷標準

但這個判斷標準本身就必然導致訓練出來的AI一但放出場就容易像瘋狗一樣的亂咬人

因為單位時間、單位戰鬥單位的經濟量面前，什麼都不做創造出最少的價值，而AI卻是
被訓練成追求最大的價值：也就是消滅敵方的，即使打錯對象殺錯人會有負分，但扣分
能扣多少呢？人的決策速度與AI的決策速度是可以有10的7次方以上的差距的，等待人
類的決策對AI來說幾乎是永恆

所以只能在AI演化迭代出來以後，才在各種情境模擬中縫縫補補，設定各種額外添加的
邊界條件，在執行過程的critical path 上AI沒辦法碰到的各種步驟中，就像是給狗戴
上電擊項圈那樣的約制它

另一個造成AI往瘋狗演化的因素是：

每個演化世代的篩選幾乎無法靠人工，因為世代可能得迭代上萬代，而每代的代理人
數量可能也是好幾萬，用人工去篩選這個工作量與時間是天文數字，只能寫程式去篩選

但這就要求工程師與科學家必須要可以用程式碼描述一個戰爭世界，裡面能向AI呈現
『什麼是戰略？』
『什麼是政治？』
『為什麼摧毀錯誤目標會造成戰略上的失敗與政治災難？』
『為何在局部戰術執行的最佳化上，需要人類決策的干預來實現戰略價值最大化？』

我不敢說不可能，但起碼目前人類辦不到

破壞力越強、戰術執行造成的戰略與政治影響力越大的戰鬥平台就越難丟給AI

這不是什麼天網啦、什麼人類末日啦

這只是我們單純的在電腦上用養蠱的方式打造AI，卻又蠢到期待它不要太毒太殘暴

以及證明了不論AI還是人類，單純追求KPI(key performance indicator)、局部最
佳化會如何引發災難而已

在灣區打工的中年外籍碼農，有誰想在台灣組研發團隊做美國市場的，歡迎聊聊

※ PTT 留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.110.49.165 (美國)

※ PTT 網址

※ 編輯: zanyking (99.110.49.165 美國), 06/02/2023 11:50:22

→

ABQ66 06/02 11:52覺得中國才是最有可能搞出天網的國度

推

catlazy4212006/02 11:52簡單來說就是病醫好了但人死掉那樣，我們是不是在創

→

catlazy4212006/02 11:53造一個即將控制不了的東西？

推

te170 06/02 11:53人工智能研發新病毒，不爽美國傳送給中國（做夢夢

→

te170 06/02 11:53到的）

推

PePePeace 06/02 11:55也不能保證迭代之後設定平台不會被AI突破

→

coke5130 06/02 11:55去打星海二電腦殘酷等級就可以體會到高效率零失誤

→

coke5130 06/02 11:55有多難擊敗

推

applejone 06/02 11:56所以AI為了達到目的是會做出傷敵100自損99.9的事情

→

applejone 06/02 11:57最後的結果為勝利即可

推

jack1993199306/02 11:59每隻追獵都控到剩一滴血往後跳你根本打不完

→

suntex01 06/02 12:01對你的簽名檔有興趣

推

AfterDark 06/02 12:12星海那個超變態的而且那個基本上已經是作弊了不

→

AfterDark 06/02 12:12偵察也知道你在出什麼兵

推

NexusPrime 06/02 12:15AI model 根據model的推論與機率函數判斷最終是否

→

NexusPrime 06/02 12:15可行，因此可能會有不計代價的行為(OpenAI有用人工

→

NexusPrime 06/02 12:15矯正gpt許多可能造成傷害的內容)

推

money501st 06/02 12:17單純追求KPI真的是災難

→

money501st 06/02 12:17就跟單純追求成績什麼都不管一樣

推

verdandy 06/02 12:19新聞界就是追求KPI，所以現在標題都農場化了

推

CharleneTsai06/02 12:28AI可能是局部最佳化、協助決策的工具但在戰略價值

→

CharleneTsai06/02 12:28最大化上面還是需要人類干預如果由AI決定原子彈

→

CharleneTsai06/02 12:28應該會直接丟東京或是核平日本

推

classskipper06/02 12:30追求KPI，想到某高腰

推

pponywong 06/02 12:33追求效率最大化應該是一開戰就直接核平對方首都了

推

hedgehogs 06/02 12:38用歷史戰役設條件，結果不同判定失敗

→

hedgehogs 06/02 12:38AI這麼聰明應該很快就知道分野了

→

dz01h 06/02 12:52其實就是篩選的評分基準沒設計到條件而已

→

b389b1c 06/02 12:55一開始就限用核彈，不然不用推演了

推

ecwecwtw 06/02 13:05這個技術讓沒有底線的國家取得，絕對會搞砸生靈塗

→

ecwecwtw 06/02 13:05炭

推

sandyfanss 06/02 13:09用歷史戰役不會得到「敵人在本能寺」的結論嗎？

推

TWNOTCHINA 06/02 13:11https://youtube.com/clip/UgkxHApAVHo88x6yoFU5tD

→

TWNOTCHINA 06/02 13:11ZM0nOsG1tB66cK

→

TWNOTCHINA 06/02 13:12https://youtu.be/_Wlsd9mljiU

推

Tahuiyuan 06/02 13:15感覺AI最後會發現，阻止戰爭的方法就是核平每一個

→

Tahuiyuan 06/02 13:15侵略國，由於不同國家的AI有不同立場，最後就是被

→

Tahuiyuan 06/02 13:15AI強制送往核戰末日www

推

TWNOTCHINA 06/02 13:19AI會反擊人類的前提首先AI意識到生死然後產生求

→

TWNOTCHINA 06/02 13:19生意志

推

kuramoto 06/02 13:35中國的話，小學生現在連人都不信任了，怎麼會去信

→

kuramoto 06/02 13:35個他都不了解運作原理的東西，然後安心的把大部分軍

→

kuramoto 06/02 13:36權交給它？不過好萊塢大概可以拍中國因為把軍事指

→

kuramoto 06/02 13:36揮權交給AI的電影，結果中國AI先暴走處理國內軍事

→

kuramoto 06/02 13:36高層，因為AI認定戰時他們的態度有可能導致戰事沒

→

kuramoto 06/02 13:36辦法延續太久，最後只好請美國協助，由美國的軍力以

→

kuramoto 06/02 13:36及美國自身開發的戰術AI成功救出總書記跟平定暴走AI

→

kuramoto 06/02 13:36，故事結局受總統頒獎後的主角才發現美國自家的AI

→

kuramoto 06/02 13:36其實才是幕後遠端操控暴走AI的主事者，因為戰術AI認

→

kuramoto 06/02 13:36定美國總統不敢沒事對敵國發動攻勢，於是自己就製造

→

kuramoto 06/02 13:36契機

推

robertchun 06/02 13:36推

→

ewayne 06/02 13:36意識到生死就不會有核戰，恐怖平衡就是這樣來的

→

ewayne 06/02 13:37只有不顧後果才會有核戰，而AI的發展過程，就是沒有

→

ewayne 06/02 13:37在管後果的，所以AI當然追求效益最大化，後果跟影響

→

ewayne 06/02 13:38又不是AI去收拾

→

ewayne 06/02 13:40會需要人類干預，講白了就是要人類負責，不然要找AI

→

ewayne 06/02 13:41負責嗎？AI要怎麼負責？

推

foxey 06/02 13:55KPI就什麼都不懂的管理職不須學習用來控制下屬的工

→

foxey 06/02 13:56具太過於以管窺豹這的確也是AI的問題

→

bilibala 06/02 14:16人工篩選太難了，用 AI 篩顯就好。(誤

→

ABQ66 06/02 14:30霍金也跟中國說過別搞天眼照樣弄

→

ABQ66 06/02 14:31天網當然也敢

推

fragmentwing06/02 14:43現在不都是AI定的AI的KPI嗎？讓AI自己找規則

推

thaleschou 06/02 16:00跟人體免疫系統訓練類似啊

→

thaleschou 06/02 16:001.不准殺自己人 2.可以辨識敵人

推

applewarm 06/02 17:44說得很好啊

→

linzero 06/02 18:52當他認定人類操作員是負分項目時，就會想辦法排除，

→

linzero 06/02 18:52沒任何限制時會直接殺掉，有限制時會在限制的條件下

→

linzero 06/02 18:53想辦法排除這個人，加再多限制可能也是在找尋合乎限

→

linzero 06/02 18:54制的排除方式而已，除非排除的代價大到超過該人員本

→

linzero 06/02 18:54身的負分

推

cannedtuna 06/02 20:21問題就在人類還有資格定KPI到什麼時候

推

andey 06/03 00:09kuramoto..也許會像蘇聯的死亡之手系統...

→

andey 06/03 00:11訓練一個模仿小學生人格的AI當死後替身做決策..

※ 編輯: zanyking (99.110.49.165 美國), 06/03/2023 00:39:02

推

dch44dyw 06/04 04:06統計分數我會，殺敵人+1分，丟核彈-一百萬分，所以

→

dch44dyw 06/04 04:06我決定核平兩百萬的城市...

同系列文章

[情報] 天網和奧創來啦

其他人也閱讀了

PTT 熱門相關