PTT評價

[問題] Notebooklm是不是很難用(歡迎打臉

看板MobileComm標題[問題] Notebooklm是不是很難用(歡迎打臉作者
westwestman
(北北東先生)
時間推噓11 推:12 噓:1 →:27

如題

近期整天泡在notebooklm裡面
研究要怎麼正確使用此AI工具

目前感想:我覺得notebooklm超難用
(歡迎打臉


前陣子有發文詢問notebooklm怎麼用
得到結論是別用他來推論
要用他來挖資料或是產大綱
因為此軟體是主打沒有幻覺
我實驗之後沒幻覺並非真的沒幻覺,要挖到我要的資料,超級無敵困難
(可能相較沒有但還是有幻覺且難以辨別



以下為我的實驗心得:

來源:
某家公司10年的年報(共10個pdf檔案)

目標:
我希望可以抓出10年年報的生產量

(年報裡的文字:生產量值

成功條件:
10年的生產量值數字都要正確

正確=每一年數字都跟年報寫的一模一樣
失敗1=沒有資料
失敗2=產出部分資料,但有產出的都對
失敗3=產出完整資料,但數字錯誤


中文版:

1.找出銷售量值=失敗1

2.在(五)營運概況裡找生產量值=失敗1

3.找在(五)營運概況的(六)..生產量值=失敗2

4.將3的prompt產出答案後,再打「我看2023年明明有」=成功


(這邊成功=沒意義
如果我需要人工確認每個數字是否正確,那我用這個幹嘛

5.清空資料後,重新執行一次4.=失敗2
(我不敢相信這個結果是失敗



英文版:

上面1.翻英文=失敗2

上面2.翻英文=失敗2

上面3.翻英文=失敗3

上面4.翻英文=失敗3

(翻英文=把1.2.3.丟進chatgpt翻英文


(過程中也問chatgpt叫他幫我改prompt

10幾版都失敗
(每一版都是執行1.2.3.4.的流程





最神奇的是:
實驗過程中,同樣的prompt打兩次
竟然會發生從失敗2跳到成功

(同樣來源,同樣prompt,得出的結果竟然不一樣)

過去成功的prompt清空資料重打一次,竟然無法成功




實驗下來感想:

1.
與其問notebooklm叫他找資料,我不如丟檔案到chatgptgrok叫他幫我找文件中的生產量


(grok跑出數字全對


2.
使用限定來源的notebooklm
同樣prompt下兩次兩次答案不一樣
(是一個字都沒動連貼兩次


3.
主打沒幻覺的notebooklm
使用英文問,產出有對有錯(錯誤程度5%
用中文問,得到答案幾乎都不全

(錯誤程度5%
代表我要全部確認後才能抓出那5%
我寧願他是100%資料錯我可以換prompt解決


4.
成功經驗之後,清空資料後,同樣來源跟prompt,再跑一次,跑出來結果是失敗

實驗中,有那麼一刻覺得是不是我不會用
(直到同樣來源,我連打兩次prompt跑出結果不同我直接傻眼



希望有notebooklm高手可以直接回一篇
或是直接在留言板


在跟我同樣來源下(公司年報為公開資訊
使用你的prompt多次且成功抓到特定數字

或是直接噴我是不是不會用
並直接秀一波你怎麼依賴notebooklm為你省時間


期待高手分享一波

----
Sent from BePTT on my iPhone17,3

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.247.68.188 (臺灣)
PTT 網址

DFIGHT 09/06 23:02https://reurl.cc/9nylxa

NX9999 09/06 23:14感謝樓上D大@@

isaacisaac 09/07 00:37我覺得是你這個需求其實跟它產品定位不符

HCWUlysses 09/07 00:43太長廢話太多的YouTube 懶得看想快速知道內容時蠻

HCWUlysses 09/07 00:43方便

ACGB 09/07 01:04年報是否內嵌了CID字型,又沒有提供ToUnicode映射表

ACGB 09/07 01:06即複製文字變亂碼?是的話會造成AI讀取垃圾亂碼文字

ACGB 09/07 01:23導致分析困難(垃圾進垃圾出)

jimmyonnet 09/07 02:06問題是跟這個板有什麼關係?

psion 09/07 04:12LLM要沒有幻覺是不可能的 它是在算機率 不是邏輯

suyihua 09/07 07:12推分享

han0208 09/07 09:43只適合讀筆記。年報要結構化且文字描述讓AI理解。

abc0922001 09/07 10:20我最近用 gistr.so ,你可以試試看

square4 09/07 10:27如果chatgpt、grok能正確回答,notebooklm還要預處

square4 09/07 10:27理,顯然後者尚須改進

doubi 09/07 11:23notebooklm 適合輸入逐字稿或是會議記錄,然後未來

doubi 09/07 11:23用自然語言問他問題回憶

doubi 09/07 11:23而不是輸入一個報表要他進行分析推理

doubi 09/07 11:24白話說就是,你要給更多基礎資料,不能經過太多整

doubi 09/07 11:24理,那反而會讓它變難用

Purin777 09/07 11:25rag就是過時的垃圾,無誇飾

doubi 09/07 11:25你直接輸入高度整理的 pdf,反而容易出現辨識能力

doubi 09/07 11:25差的情況

Purin777 09/07 11:26現在上下文空間這麼大,想不出理由使用agent架構翻

Purin777 09/07 11:26資料

PinPinky 09/07 12:53這篇是發了幾個版

abc0922001 09/07 13:44股票板也有發,我心想不是推文過怎麼不見了

abc0922001 09/07 13:44原來我是在手機板看到的

Porops 09/08 15:43同樣來源,同樣prompt結果不一樣是很正常的,因為

Porops 09/08 15:43有溫度設定,調整溫度設定就可以讓結果趨於一致,

Porops 09/08 15:43這是為了讓AI的回答更有創造性,因此給予的隨機性

Porops 09/08 15:44另外,你覺得適合的報表格式其實和AI熟悉的各式不

Porops 09/08 15:44一樣,你想要做的和NotebookLM擅長的其實不太一樣

Porops 09/08 15:46上下文空間也是假議題,雖然號稱百萬,但實際輸入

Porops 09/08 15:46越大注意力分散、遵循指令的能力也越差,agent能力

Porops 09/08 15:46還是必須的了只是在不同地方做不同事而已

Porops 09/08 15:46利申我是Gemini2.5Pro的重度使用者,在那之前也是C

Porops 09/08 15:46laude4的百萬token重度使用者

Porops 09/08 15:47RAG確實過時了這點我倒是認同,但我們需要的是另一

Porops 09/08 15:47個有效率的抓取資料方式,而不是無限更大的上下文