Re: [閒聊] 尾田求助ChatGPT 那還能說ai不會創作嗎

arrenwu 發表於 2023/3/5 下午7:24:28

看板C_Chat標題Re: [閒聊] 尾田求助ChatGPT 那還能說ai不會創作嗎作者

(不是綿芽的錯)時間Mar 5 19:24:28 2023推噓 4 推:4 噓:0 →:3

※ 引述《ZMTL (Zaious.)》之銘言：
: 噓 ken1990710: 人的資料庫是文化從無到有一代一代傳承下來的，而且 03/04 11:21: → ken1990710: 懂得這些資料內涵意義是什麼，Ai只是無腦的拼湊人給 03/04 11:21: → ken1990710: 的資料，連資料內容都不懂能談上什麼創意，而且Ai自 03/04 11:21: → ken1990710: 己也不能判斷什麼叫創意，差這麼多你也能來嘴喔 03/04 11:21: → SALEENS7LM: 一個連自我思考、人格意識、基本情感都沒有，只能依 03/04 11:21: → SALEENS7LM: 靠資料庫去機械式回答的弱Ai，的確不會創作也沒有創 03/04 11:21: → SALEENS7LM: 意，真要像vivy 那樣真的會創作，已經是非常遙遠的未 03/04 11:21: → SALEENS7LM: 來，Ai進化到非生物人類的時候了 03/04 11:21: 雖然說我之前說過不要把ChatGPT當搜尋引擎用，
: 不過ChatGPT aka GPT3.5 aka 現代主流的自然語言處理(NLP)模型
: 倒也不是這麼沒用的「無腦拼湊」、「機器式回答」...
: 這大概是1950～1980年代自然語言模型就在做的事情。
: 1980～2000年左右NLP開始會用統計的方式去推那分析，
: 2000年以後現在真的在「模擬思考」，用的是類神經網路＋機械學習的方式，
: 電腦已經有能力去「推測」他從來沒學過得內容並去做出回應了。
: (對於NLP的部分可以參考:
: https://aiacademy.tw/what-is-nlp-natural-language-processing/
: 不過這篇只提比較多是台灣/中文，有興趣我可以去翻我這個禮拜看的一疊國際論文出來)
: 很多人以為ChatGPT給錯誤的答案是因為他拼到網路上錯誤的資料，這就是誤解，
: 只是因為他沒有這樣的資料，所以他基於他學習過的內容「做出推測」所以才是錯誤的。: 然後對於ChatGPT到底好不好用呢?
: 這是前幾天麻省理工的研究論文（請恕我在工作還沒時間看）
: https://images.plurk.com/6aKwK6j6oeCTcRDoL4qijc.png

: 但根據業界大老的摘要指出
: https://www.facebook.com/segacheng/posts/10106881826311703
: 「MIT 研究人員發佈論文量化 ChatGPT 對內容生成工作的影響：
: * 生產力提昇 37%（工時減少 37％）
: * 工作品質提昇 19.8%」
: 「最令人憂心的，還是 ChatGPT 帶來的生產力提昇數字 37%。
: 因為在 21 世紀初，學者計算出在 19 世紀蒸汽動力普及的那段時間，
: 這個技術革命在背後貢獻了 22% 到 41% 勞工整體生產力的提升。
: 而人類社會花了超過 100 年，才吸收掉工業革命對職場帶來的衝擊。」
: 有興趣可以自己去找來讀一下，上面的FB有提供原始論文連結。
我剛看完那篇MIT的Paper，
"Experimental Evidence on the Productivity Effects of
Generative Artificial Intelligence"

我個人的看法是：上面那個業界大老的結論講得太誇張

在Introduction裡面、paper 第2頁那邊有講到他們怎麼進行這個評估

"This paper takes the first step towards answering these questions.1 In an
online experiment, we recruit 444 experienced, college-educated professionalsand assign each to complete two occupation-specific, incentivized writing
tasks. The occupations we draw on are marketers, grant writers, consultants,
data analysts, human resource professionals, and managers. The tasks, which
include writing press releases, short reports, analysis plans, and delicate
emails, comprise 20-to 30-minute assignments designed to resemble real tasks
performed in these occupations; indeed, most of our participants report
completing similar tasks before and rate the assigned tasks as realistic
representations of their everyday work."

"A randomly-selected 50% of our participants—the treatment group—are
instructed to sign up for ChatGPT between the first and second task, are
walked through how to use it, and are told they are permitted to use it on
the second task if they find it useful. The control group is instead
instructed to sign up for the LaTeX editor Overleaf. This design allows us toestimate the causal effects of ChatGPT using a combination of within-person
and between-person variation, and performance on the first task serves as a
measure of baseline ability that enables our inequality analyses."

1. 他們找來了 444 個有經驗的、大學畢業的職業人士來受測

2. 測驗的內容是要他們完成兩個預計要花20~30分鐘的 文章寫作 工作

3. 他們把這444個人分成兩半，其中一半的人作指定的兩份工作都用一個線上的
LaTeX 編輯器 Overleaf，是為控制組；另外一半的人完成第一個工作後，
會告訴他們怎麼用ChatGPT，然後讓他們自己決定是否要在第二個工作用ChatGPT

(奇怪，LaTeX 編輯器？LaTeX 在一般人的使用中有夯過嗎？)

附圖：那444個人的一些統計資料
https://i.imgur.com/TEVjnsU.jpg

以「文章寫作」的部分這是可以預期的，
但這是針對寫作工作，而且還是單項預期20~30分鐘的較大型的寫作工作

Paper裡面講的是平均可以減少10分鐘，
所以才有業界大老那句" 生產力提昇 37%（工時減少 37％）工作品質提昇 19.8%"

問題在於：這能否反應「生產力」？

比如寫文章的瓶頸在於 domain knowledge，
簡單的例子就是：一個研究人員把4個月的工作成果花14天寫成paper

假設ChatGPT可以類似地把14天減到8天好了，對這研究員來說，
整體的生產力其實沒有太大的變化；講得誇張點，就算把這寫paper的時間扣掉，
也沒啥差，因為主要的工作並不在寫作上。

當然有人會覺得我這例子很極端，畢竟研究人員知識這麼寶貴的很少。

但，有多少職業是常常在製作單項預計要20~30分鐘的長文的？