PTT評價

[請益] Notebooklm 處理公司年報 是不是很難用(

看板Stock標題[請益] Notebooklm 處理公司年報 是不是很難用(作者
westwestman
(北北東先生)
時間推噓 3 推:16 噓:13 →:18

如題

近期整天泡在notebooklm裡面
研究要怎麼正確使用此AI工具

目前感想:我覺得notebooklm不好用
(歡迎打臉


前陣子有發文詢問notebooklm怎麼用
得到結論是別用他來推論
要用他來挖資料或是產大綱

因為此軟體是主打沒有幻覺
我實驗之後沒幻覺並非真的沒幻覺,要挖到我要的資料,超級無敵困難
(可能相較沒有但還是有幻覺且難以辨別



以下為我的實驗心得:

來源:
某家公司10年的年報(共10個pdf檔案)

目標:
我希望可以抓出10年年報的生產量

(年報裡的文字:生產量值

成功條件:
10年的生產量值數字都要正確

正確=每一年數字都跟年報寫的一模一樣
失敗1=沒有資料
失敗2=產出部分資料,但有產出的都對
失敗3=產出完整資料,但數字錯誤


中文版:

1.找出銷售量值=失敗1

2.在(五)營運概況裡找生產量值=失敗1

3.找在(五)營運概況的(六)..生產量值=失敗2

4.將3的prompt產出答案後,再打「我看2023年明明有」=成功


(這邊成功=沒意義
如果我需要人工確認每個數字是否正確,那我用這個幹嘛

5.清空資料後,重新執行一次4.= 失敗2
(我不敢相信這個結果是失敗



英文版:

上面1.翻英文=失敗2

上面2.翻英文=失敗2

上面3.翻英文=失敗3

上面4.翻英文=失敗3

(翻英文=把1.2.3.丟進chatgpt翻英文


(過程中也問chatgpt叫他幫我改prompt

10幾版都失敗
(每一版都是執行1.2.3.4.的流程





最神奇的是:
實驗過程中,同樣的prompt打兩次
竟然會發生從失敗2跳到成功

(同樣來源,同樣prompt,得出的結果竟然不一樣)

過去成功的prompt清空資料重打一次,竟然無法成功




實驗下來感想:

1.
與其問notebooklm叫他找資料,我不如丟檔案到chatgpt grok叫他幫我找文件中的生產量值

(grok跑出數字全對


2.
使用限定來源的notebooklm
同樣prompt下兩次兩次答案不一樣
(是一個字都沒動連貼兩次


3.
主打沒幻覺的notebooklm
使用英文問,產出有對有錯(錯誤程度5%
用中文問,得到答案幾乎都不全

(錯誤程度5%
代表我要全部確認後才能抓出那5%
我寧願他是100%資料錯我可以換prompt解決


4.
成功經驗之後,清空資料後,同樣來源跟prompt,再跑一次,跑出來結果是失敗

實驗中,有那麼一刻覺得是不是我不會用
(直到同樣來源,我連打兩次prompt跑出結果不同我直接傻眼



希望有notebooklm高手可以直接回一篇
或是直接在留言板


在跟我同樣來源下(公司年報為公開資訊
使用你的prompt多次且成功抓到特定數字

或是直接噴我是不是不會用
並直接秀一波你怎麼依賴notebooklm為你省時間


期待高手分享一波

----
Sent from BePTT on my iPhone17,3

--

※ PTT 留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.247.133.24 (臺灣)
PTT 網址

staytuned74 09/07 12:03AI 幻覺無解

staytuned74 09/07 12:04LM已經是這代最強的文件解析文件

staytuned74 09/07 12:05其他自己用LangChain 套用各種模型也不會比lm強

staytuned74 09/07 12:05真的要精確一點就是一次一份或少量文件,越多文件

Obama19 09/07 12:05AI就是hype 空鴻海

staytuned74 09/07 12:05LLM解析越差

tc22 09/07 12:09教師節日期格式不同也會弄錯

staytuned74 09/07 12:09坊間一堆課程或教學用n8n 套的解析文件更差勁,特

staytuned74 09/07 12:09別是用向量資料庫等都很差

staytuned74 09/07 12:10Lm他們自己有know how 所以才沒開api出來

sdbb 09/07 12:10股板好溫暖

sunch0426 09/07 12:11前幾天8 卦板,昨天手機板有人回了,今天還在股板p

sunch0426 09/07 12:11o同篇文章

macetyl 09/07 12:23Lm 是拿來當podcast 的

helixc 09/07 12:25貼了三次看起來很失望

bunjie 09/07 12:26真是不死心XD 用別的工具吧

s960908 09/07 12:27要po幾篇 怎麼到哪都有

necrophagist09/07 12:35怎麼好像看過同篇文章.. 我都拿來讀paper 速讀一遍

necrophagist09/07 12:35後把不清楚的地方整理成問題問它

necrophagist09/07 12:37它的回應也都會cite引用段落 對於讀三四十頁的那種

necrophagist09/07 12:37大型review方便的很

dosiris 09/07 12:53你是繳多少年費了

kivan00 09/07 12:541.不要用 2.回饋缺陷苦等他變能用 3.自己搞模型

mike0608 09/07 12:57到處貼耶

D600dust 09/07 13:10這是求助的態度喔?到處洗板?

D600dust 09/07 13:11問你prompt怎麼寫又不回,是要大家通靈喔?

abc0922001 09/07 13:31垃圾進垃圾出,懂?

chia0303 09/07 13:33這問題很好

falcon11 09/07 13:40你hen棒

luluking 09/07 13:44關我屁事

CCben 09/07 13:44到處洗文洗版,別人問又不回覆,公關公司帳號嗎?

imreader 09/07 14:02嚴格要求它列出在一頁。只能這樣了

guanting886 09/07 14:08原因我知道但我不想講浪費時間寫給問問仔 哈哈

biolive40 09/07 14:21原因我知道但我不想浪費時間寫給問問仔

onenineone 09/07 14:46洗文?

Ptt911 09/07 14:46他是整理與索引工具,不是分析工具,先搞清楚用途

andy79323 09/07 14:52尼不如用關鍵字餵狗

g5637128 09/07 15:04關我屁事

hughfox 09/07 18:06我是覺得notebooklm對表格解析有些差

nfsong 09/07 19:21

nfsong 09/07 19:22感謝大大 幫助notebooklm

nfsong 09/07 19:22東西是好東西 需要進步就是了

qwerasdft 09/07 20:36你要別人測試 也要把測資放上來吧

ninggo 09/07 22:07只是個玩具 別用工具的角度看待

RedLover100909/08 00:33你連prompt都沒貼,你確定你真的會使用嗎?

RedLover100909/08 00:33難用的可能是你的腦,不一定是AI

freeloop 09/08 07:22感謝你的心得!