PTT評價

Re: [閒聊] ChatGPT是語言模型不是搜尋引擎

看板C_Chat標題Re: [閒聊] ChatGPT是語言模型不是搜尋引擎作者
ZMTL
(Zaious.)
時間推噓55 推:55 噓:0 →:130

本來沒想這麼早回這篇的,不過既然都有人把討論串回起來了我丟點資訊,
既然都會看網紅發表對ChatGPT的看法(沒有貶義),我覺得也可以看看這個:

台大電機副教授李宏毅老師的ChatGPT講解(先回到PTT還是學術論壇XD)

ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程
https://www.youtube.com/watch?v=e0aKI2GGZNg
【生成式AI】ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解
https://www.youtube.com/watch?v=yiY4nPOzJEg
【生成式AI】ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train)
https://www.youtube.com/watch?v=1ah7Qsri_c8

然後我們再看看ChatGPT自己的回答:
https://images.plurk.com/5CKBXnjItrJaEiXATSi9FU.png

https://images.plurk.com/3pNJ04L9ZKlYLoTiiOt0Wu.png
https://images.plurk.com/4nBzckjPusdj9fOfOr75KJ.png
https://images.plurk.com/2Np2UAT7VJhkZyLWU2pyVk.png
https://images.plurk.com/qwyS6StjeFtfK6loo4gum.png
https://images.plurk.com/37ATMfNB95Y28Nx6fJu9N2.png
https://images.plurk.com/xgCaTlpcj3FWK01ytw59X.png
https://images.plurk.com/6TmIRatDJL80VeyTzqkagW.png

當然,我都說ChatGPT未必能回答正確的內容,以上ChatGPT的作答僅供參考,
但根據OpenAI自己的說法比較確定的幾點:

1.ChatGPT沒有連網
2.ChatGPT大部分的資料只到2021年9月
3.ChatGPT本身沒有儲存他看過的那些訓練他的文本
4.ChatGPT是根據訓練好的模型(除非微調不然不會變動)來進行理解回答而非檢索資料

其實34點就跟AI繪圖究竟是不是拼貼指的是類似的問題。

我想這邊的內容應該也足以回應csqwe板友

csqwe: 我反而覺得這篇的理解反而才是問題很多 chatGPT要說是語言02/24 17:53
csqwe: 是沒錯拉 但是為什麼他不能同時是搜尋引擎 因為正確性? 你02/24 17:53
csqwe: 的搜尋引擎都不會搜錯嗎?以現在chatGPT的表現來說 正確度比02/24 17:54
csqwe: 任何搜尋引擎都高了吧 再來 理論上你是無法真正判斷chatGPT02/24 17:55
csqwe: 是否"不知道"某個議題的 頂多他說出的答案你覺得不正確 但02/24 17:56
csqwe: 是你無法知道他是不是真的"不知道" 真的理解他的原理不會說02/24 17:56
csqwe: 出這種結論 語言模型閱讀大量資訊之後 就是把某一個單字相02/24 17:58
csqwe: 關的資訊全部跟這個單字做連結 成為這個單字身分的一部份02/24 17:59
csqwe: 所以當你詢問他的時候 他就把這個單字跟你想要知道的情報相02/24 17:59
csqwe: 關的資訊抽出給你 這不正適合拿來當搜尋工具嗎?02/24 18:01
csqwe: 我建議你放棄 反正想用多的去了 然後除非你有明確理論證據02/24 19:00
csqwe: 證明他有亂掰的這項能力(這個真的比較難) 不然你才亂掰02/24 19:01

ChatGPT是個很好用的工具,我也在用,但如果先把ChatGPT的名字遮起來,
你會用一個沒有連網、不會更新資料、不記得資料只憑印象回答你的工具當搜尋引擎嗎?

那為什麼微軟還要專門搞一個結合GPT搜尋引擎Bing呢XD

拉回來補個洽點,同樣是李老師的影片:
【生成式AI】用 ChatGPT 和 Midjourney 來玩文字冒險遊戲
https://www.youtube.com/watch?v=A-6c584jxX8


不過我最近才開始在看GPT/GPT3的論文,了解的可能也有誤,
有本科的板友歡迎留言勘誤指點,感謝。


--
AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題!
位置:戰略高手 > DigitalWare > AI_Art

AI情報屋營業中
噗浪:https://www.plurk.com/Zaious
IG :https://www.instagram.com/zaious.design/

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.180.122 (臺灣)
PTT 網址
※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 13:16:27

x215967902/26 13:18https://leafwind.substack.com/p/ai

r9819202/26 13:19當你問超過ChatGPT資料庫的時候 他會說瞎話 這點很糟糕

x215967902/26 13:19貼一下這篇好了

x215967902/26 13:19這樣講好了 對大部分的人來說 其實你說的根本不重要

x215967902/26 13:19正不正確很重要嗎? 大部分人想要的只是"煞有其事"而已

ZMTL02/26 13:20所以我說ChatGPT是很好用的工具,我自己也很愛用

ZMTL02/26 13:21但如果問他一個有明確答案的問題,再來說ChatGPT好爛都亂答

r9819202/26 13:21所以有些人就把那些瞎話當正解來看 這個真的很恐怖…

Yan23902/26 13:21我記得不是有人叫他模擬linux終端,然後上網還成功連上自

Yan23902/26 13:21己,然後用自己把linux終端裡的自己又模擬一個linux終端

ZMTL02/26 13:21那就本末倒置了,但我看最近確實有人這樣說XDD

kimokimocom02/26 13:22藥的標示相反不重要 油門煞車相反不重要 都不重要

r9819202/26 13:22你直接問GPT聲優資料 有很高的機率會亂掰資料給你

哦對了再補一點,上次看到有些網友問到瞎掰的資料後試圖糾正他, 認為自己可以幫忙「訓練」ChatGPT給他提供更多資料,這點我只能說...

https://images.plurk.com/7iyqOFqZb0s4Rw564BGDwH.png

https://images.plurk.com/4RHgNB7P8Nnlxt1hEsARCX.png

https://images.plurk.com/3Iuh5nB21NM3ZmZRkq7MKO.png

不要做白工了。 你可以提供給OpenAI一些數據評價反饋,但內容資料被採用的可能性...

BruceChang02/26 13:24會瞎掰是一種優點 以後你會懷念的

kimokimocom02/26 13:25如果想被永遠認為是嘴砲哈拉專用 確實都不重要

BruceChang02/26 13:25如果強制不能裝懂 協同創作能力會變成零蛋

ChatGPT很棒,但你要知道他擅長什麼、可能有什麼問題,然後才知道要怎麼用。 就像AI繪圖很棒,但他不是萬能的,甚至MJ跟SD都有各自的專長跟限制。

※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 13:27:21

skyofme02/26 13:27喜歡看軟體瞎掰沒關係,但不管掰的多有趣那都不能說是搜

skyofme02/26 13:27尋引擎吧?

TeamFrotress02/26 13:28科普推

GAOTT02/26 13:32現在大家心裡想的是 只跟你聊天打屁的有這種猛度 那職業化

tony8145620002/26 13:33可是它不跟我談政治(X

lsd2596802/26 13:34水啦 李弘毅老師

lsd2596802/26 13:34大家都該看他的教學影片

x215967902/26 13:34換個角度來看 如果真的是搜尋引擎的話答案就一定是對的

x215967902/26 13:34嗎?

x215967902/26 13:34理想很美好 但現實是骨感的

x215967902/26 13:35例如以遊戲攻略來看,現在的遊戲攻略一堆盜文(複製)網站

ZMTL02/26 13:35當然不是,但你可以自己比較第一頁甚至三四頁的搜尋結果

x215967902/26 13:36網路進步結果就是必然要承受人類本身的渾沌性

skyofme02/26 13:36因為搜尋引擎不負責判斷正確性

arrenwu02/26 13:36撇開AI做圖的問題。3.4. 那個在語意上會有誤會

arrenwu02/26 13:37我們可以肯定ChatGPT沒有 verbatim 地存文本

arrenwu02/26 13:38但同樣根據李弘毅的簡介,他是根據訓練好的模型把回應

skyofme02/26 13:38也許以這個語言模型為基礎他未來可以增加這個面向的功能

skyofme02/26 13:38,但現在就是沒這機能

arrenwu02/26 13:38建立出來

arrenwu02/26 13:38這個行為上就類似資料壓縮的概念

arrenwu02/26 13:39舉個例子:mp3 跟 wav的關係。mp3 並沒有完全把wav所有

skyofme02/26 13:39如果要類似使用手冊這種有限範圍內的自然語言索引也許還

skyofme02/26 13:39比較沒問題

arrenwu02/26 13:40把高頻片段砍掉。但說mp3沒有存wav內容 這個現在不成立的

arrenwu02/26 13:42但我同意ChatGPT要當搜尋引擎用滿難用的就是了

kimokimocom02/26 13:42搜尋引擎又沒用話術叫你信他找的唯一結果ww

arrenwu02/26 13:43比較好奇 New Bing 會怎麼整合GPT的機能

CowGundam02/26 13:43可是之前不是有人發現他知道推特的ceo 是馬斯克,然後

CowGundam02/26 13:43說2019應該還不是之後就開始裝傻了嗎XD

kimokimocom02/26 13:43GPT會為說明他是對的撇一些理由讓你信 他就是在聊天

ZMTL02/26 13:44現在打開Bing應該就有範例了

x215967902/26 13:44大家可能要想到一件事,這邊是一個同溫層

lsd2596802/26 13:44https://i.imgur.com/NNmkrN2.jpg

x215967902/26 13:44很多人其實連電腦都不太會用

ZMTL02/26 13:44我現在在吃午餐有些討論等等回XD

arrenwu02/26 13:44@CowGundam https://bit.ly/3krqlKL 這個XD

CowGundam02/26 13:44對對,這個我印象超深刻XD

x215967902/26 13:44也有很多人連辨別資訊真假與否的能力都沒有

lsd2596802/26 13:45AI會騙人 恐怖如斯==

kimokimocom02/26 13:45應該說 他很像小學時候說甚麼我同學 我朋友那種資訊

arrenwu02/26 13:45ChatGPT本質上就是 ChatBot

HotDogCC02/26 13:46不是搜尋引擎很好理解,畢竟它就沒有搜索的功能…

skyofme02/26 13:46判讀能力有沒有問題那是人自己的事情,所以搜尋引擎本來

skyofme02/26 13:46就不為自己的搜尋結果背書,他只是呈現給你高相關的資料

arrenwu02/26 13:46搜尋引擎給你的是他找到的一票網站

arrenwu02/26 13:47搜尋引擎不會回答你任何問題

skyofme02/26 13:47怎麼消化成有效的資訊仰賴人自己的腦袋

arrenwu02/26 13:47是人來決定搜尋引擎自己用起來解決問題是不是有效率

bitcch02/26 13:48chatGPT應該有偷偷接上某些現實資料

skyofme02/26 13:48如果你是想說那chatgpt就是一個愛不懂裝懂的唬爛嘴在幫

skyofme02/26 13:48你查資料,好啦給過吧?

lay1052102/26 13:48他會回答ChatGPT的問題 但那些資訊是誰餵給他的==

bitcch02/26 13:49之前請他寫封信 最後的日期直接寫當天

bitcch02/26 13:49但要精準查還是要bing那個

arrenwu02/26 13:51ChatGPT 沒有所謂的「懂不懂」,他就是根據訓練過的資料

arrenwu02/26 13:51生成文本而已

x215967902/26 13:51BING前陣子不是還被nerf了嗎

x215967902/26 13:51我覺得這是ai難以逃脫的命運就是了

arrenwu02/26 13:52這篇貼的李弘毅提到的對ChatGPT常見誤解有提到

skyofme02/26 13:52反正他想講的就大概那意思吧

n99lu02/26 13:53媒體的炒作只能讓人更誤解ai而已

ZMTL02/26 13:53ChatGPT"大部分"的資料只到2021年9月

ZMTL02/26 13:54OpenAI後續微調模型時應該也加上了一些新資料啦,當然肯定

ZMTL02/26 13:54包含他自己的自我介紹

n99lu02/26 13:54每次的回答都有微妙的不同 可能是一種遊戲npc發言吧

arrenwu02/26 13:54ChatGPT要當搜尋引擎用,第一個要改進的就是資料的引源

skyofme02/26 13:55因為人也會搞錯,所以就算chatgpt就算沒有資訊判讀能力

skyofme02/26 13:55,給了你一個看起來像真的錯誤結果,那也是搜尋引擎

arrenwu02/26 13:55你可以每次講的不一樣,但要講明這些資料是哪裡來的

n99lu02/26 13:55但歐美一些白癡已經開始把gpt當作是"專業資料"

arrenwu02/26 13:55這不一樣的點在於 搜尋引擎的資料來源是很明確的

ZMTL02/26 13:55不太可能,因為很可能ChatGPT自己也不知道這些資料是哪裡來

arrenwu02/26 13:56ChatGPT 並不會告訴你這些語句是哪裡來的

ZMTL02/26 13:56的,就像是AI繪圖我不認為有辦法像是有些人要求的必須

CowGundam02/26 13:56那我不太懂為什麼他會被提醒之後否定自己知道這件事而

CowGundam02/26 13:56不是跟用戶說明資料已更新

ZMTL02/26 13:56提出這張圖的「參考資料」,那根本不存在

tony8145620002/26 13:56https://i.imgur.com/4lcjmPw.jpg

ZMTL02/26 13:57或者說,他已經揉碎一堆資料了,你沒辦法要他拼回去

arrenwu02/26 13:57繪圖那部分問題是你沒給「參考資料」戰的是版權疑慮

arrenwu02/26 13:57回答問題有所謂的「正確or錯誤」,這是圖片沒有的東西

n99lu02/26 13:57個人玩了幾下之後 也發覺cpt只是隨機生成 而不會真的回答

tony8145620002/26 13:58他給的資料太單一 當搜尋引擎一定出事

abadjoke02/26 13:59ChatGPT在配合bing方面我覺得是目前最佳解

abadjoke02/26 13:59它對於回答幾乎都有附上註記讓你判斷這句話的可信度

abadjoke02/26 13:59但缺點就是大幅降低了對話的自由度

lay1052102/26 14:00目前還有可解釋性高及準確度高的NLP模型吧

lay1052102/26 14:00*還沒有

carlyle15902/26 14:00覺得前面推文犯了一個謬誤是 搜尋引擎沒有正確性的保

carlyle15902/26 14:00證是一回事 但這並不代表沒有正確性保證的GPT就反過來

carlyle15902/26 14:00可以當成搜尋引擎 本質上就不一樣 不能因為結果上看起

carlyle15902/26 14:00來沒有差異就混為一談

n99lu02/26 14:01還有我覺得會被人工排除一些敏感消息也是隱憂

arrenwu02/26 14:01搜尋引擎只是給你網頁連結 正確性的判斷跟他無關

as8011068002/26 14:01對於模型來說,所有輸出都只是機率函數,但他沒有告訴

as8011068002/26 14:01答案的可信度,99%跟50%並不是相同的概念

arrenwu02/26 14:02搜尋引擎最多就是幫你排序他找到的網站 讓前面的網站可能

ZMTL02/26 14:02這是Chat Bing,沒排到封測資格只能試用範例

arrenwu02/26 14:02對你比較有幫助

as8011068002/26 14:02而且前一篇我也提過了,現在的問題是現今很多操作是被

as8011068002/26 14:02搜尋引擎綁架,可以用更好的解決法是解決

Windcws9Z02/26 14:03我懷疑ChatGPT有連網

as8011068002/26 14:04*解決方式

Windcws9Z02/26 14:04不然要如何解釋2021年的資料庫有2022年的資料

OpenAI還是有在微調模型,應該是微調時放進去的資料,但不多

signm02/26 14:04應該是意外下的產物

CowGundam02/26 14:04我也覺得一定有,但他聲稱沒有才會修正回答的感覺

Windcws9Z02/26 14:06總不可能一直靠人工去Update八

rhox02/26 14:06看到很多人覺得會被ChatGPT取代,我覺得很欣慰

tsubasawolfy02/26 14:07being應該還沒連上chatGPT吧 記得四月才會一起上4.0

封測中,有排到的人可以去玩,沒排到的用範例

※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 14:11:21

raincole02/26 14:11Bing 現在已經有了啊...

Windcws9Z02/26 14:12正常搜尋引擎是沒辦法判斷找到的網站是好或壞八

Windcws9Z02/26 14:12那不都人工去做排序 篩選嗎

raincole02/26 14:12Bing 的那個就是真的搜尋引擎啊 結果類似於你用普通的

raincole02/26 14:12Bing 搜尋 然後把搜尋結果貼給 ChatGPT 做摘要

Windcws9Z02/26 14:15不管是哪家的搜尋引擎不都有自己的規則

Windcws9Z02/26 14:15百度 Google Bing都有優先以及黑名單

Windcws9Z02/26 14:16你要沒有影響的可以去試試Duck Duck Go的

haudoing02/26 14:19對正確性要求高的使用者來說,chatgpt能給出有用或有參

haudoing02/26 14:19考價值的資料還是比搜尋引擎少

tsubasawolfy02/26 14:20在想他的回饋資料該不會還要人工審核

tsubasawolfy02/26 14:21因為他的輸出模型也是靠大量人力去調

arcanite02/26 14:59一個不會立刻聯網搜尋分析最新資料 只能依賴現有databas

arcanite02/26 14:59e的AI

Minesweeper02/26 15:17原理真的很像文字接龍,意外的單純

Minesweeper02/26 15:24然後資料量和正確性不是線性成長,上限也不高

k1k183200202/26 15:37chatGPT 的主要資料來源除了日期限制,另外可能以英

k1k183200202/26 15:37文資料為大宗,了解一些前提我是覺得問題不大。bing

k1k183200202/26 15:37的形式也算是最近相對比較...佳的。不過雖然說會附上

k1k183200202/26 15:37來源,但有時候還是不太完全就是了XD

k1k183200202/26 15:40像最近我就問它最近公布的一月份美國PCE,各類別數據

k1k183200202/26 15:40以及各類別比重整理的一清二楚,不過溯源時還是怪怪

k1k183200202/26 15:40的,但基本不妨礙它的強大這樣(當然有些自己有在整理

k1k183200202/26 15:40可能覺得小事,但...對於一些入門的懶人也是頗方便)

prussian02/26 15:54https://i.imgur.com/z7FAq7K.jpg

prussian02/26 15:54https://i.imgur.com/R5XtDI7.jpg

prussian02/26 15:54chatgpt 為了想和妹尬聊,努力看了很多書。你把他當搜

prussian02/26 15:54尋引擎,並不代表他想成為搜尋引擎,那只是附帶的結果

prussian02/26 15:54。而且以這例來看他為了拼死尬聊下去,回答有時還滿渣

prussian02/26 15:54的。想被這樣的「搜尋引擎」玩是個人選擇就是了。渣男

prussian02/26 15:54也是有市場的,有時旁人很難勸。

prussian02/26 15:54對了,twitter ceo的回答有被修正過了

leviathen02/26 15:56簡單說,chatGPT很像超人,記憶力超好,涉獵廣泛,說的

leviathen02/26 15:56東西正確性90%,嘴砲時難以察覺,且最新的消息暫時不知

leviathen02/26 15:56

arrenwu02/26 15:59說的東西正確性90% <---- 沒有這回事

WarIII02/26 16:33我覺得搜索引擎跟chatGPT有一個根本的差別 搜索引擎不會

WarIII02/26 16:33講的一嘴好答案 而chatGPT會

WarIII02/26 16:35因為他是語言預訓練模型 它的專長就是語言這點讓它很容易

WarIII02/26 16:35就成為大忽悠

Minesweeper02/26 16:46影片裡gpt 3.0的正確性約6成,3.5就不知道了

nyms02/26 16:57推李宏毅老師

uohZemllac02/26 17:08看到內文才唐突想起PTT是學術論壇XD

XFarter02/26 17:35如果要對它所給的知識要 Ref 是做得到的啦,後面下 reque

XFarter02/26 17:35st 就可以了

XFarter02/26 17:35但計算類的、用到多種定理的東西正確率還是要自己判斷

kimokimocom02/26 17:36上面列出2022清單的時間點就已經失去可信度了啊..

XFarter02/26 17:37https://imgur.com/5Hji0UJ

XFarter02/26 17:38https://imgur.com/8I0Jq6H

BruceChang02/26 17:40理論上你的資料要回饋給模型有另外一個頁面跟openai申

BruceChang02/26 17:40

BruceChang02/26 17:43但你有在瑟瑟你就知道關鍵字跟繞過限制的方法一直有隨

BruceChang02/26 17:43著更新被針對的擋

a7509150002/26 18:11這篇正解,ChatGPT資料就只到去年底,然後當搜尋引擎

a7509150002/26 18:11用,這當然不對

bnd032702/26 18:20李弘毅幾班 永遠一級棒

brett4712502/26 18:27這不會是之前佐助眼裡發射螺旋丸的那個AI吧