[Vtub] AI是不是可以做即時字幕了？
如題
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
--
yt不是早就有即時生成字幕了
早就可以了吧 只是準確度問題
重點就是準確度R 本來機器字幕辨識度就有問題，加上機器翻譯 根本看不出要說什麼 可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊 如果直接對字幕進行翻譯 準確度應該會比現在googl翻譯高很多，至少我感覺至少可讀了
那就變雅婷逐字稿了
即時字幕有個問題 不同文法的字幕斷句
會議軟體已經有即時翻譯了
像是日文動詞放後面 不講到最後不知道這句多長 然後要切
成合適的長度放回去原本畫面裡
早就有了吧 實況有種插件就是即時字幕+機翻
所以文章比較適合翻譯 字幕不適合
GPT有上下文的觀念 這應該是他擅長的領域
到時候給你亂加料
為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全
不相干的東西出來
因為他不會連網 也沒有視覺 GPT的世界只有文字 （他處理圖像就像MUD遊戲一樣 有另外一個AI看圖，用文字描述，然後再餵給GPT處理） 所以你給他網址他就 隨便掰一個答案給你
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16你都總結了怎麼即時==
不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間
軸，效果奇差，再翻譯成中文一定更破
因為chatgpt沒資料 你問他他當然無法回答
更不用說Miko，有時候還偵測成韓文
這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的
我之前放一個兒童共同注意力的影片，他講成什麼韓國愛
心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識
yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比
較少 因為可以直接1對1換詞就好
我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行
看爽的沒差 但要求正確性就無法 如果全信被誤導的
機會也不小 就
看目的為何
這裡幫你整理好了
還需要時間發展
英文的V說不定可以
要即時應該有困難 可是反正影片都是上傳好的只要轉一次就
好 so...
google的廣告以外的商業模式真的很糞 像這種都是商機可以
做的結果你在那邊跟微軟耗@@
怎就有了
英文的已經可以接受了
你
目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
熟。更複雜的技術開發者會著重在理解意思甚至是回應問
題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
微軟之後要推的網路會議助理就可以語音轉文字，還
可以幫你寫會議紀錄
記得日、英好像可以即時
其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難
另外你貼的這功能，我有試過開日本YT影片，然後用e
dge ai要他總結這影片在講啥。他還真的去網路搜尋
搞出來
PR：…
都看過人直播即時中翻日的了
我看過有人直播是一整排不同語言的字幕，但準確率普通
。
日本直播我看過不少有即時日文字幕加英文翻譯的
主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第
一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
的作者做到對答如流甚至互嘴
有字幕逐字稿的API比較強XD Bing只能用雲的
我期待即時口譯機
@johnny3
總覺得教育AI比教育小孩還有成就感了...
研發影片翻譯應該是最吃力不討好的吧，太容易露餡了
再兩三年真的是就不用學外語了
英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去
而已
4
諸君 晚安安 借串問一下 google的聽取和翻譯系統 在用戶多成這樣子的情況下 還那麼多年了![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X2y6oMlb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
3
即時沒看到，不即時倒是有很方便的工具了。 MacWhisper 上篇推文有提到，強在可以丟沒字幕的mp4影片然後直接吐回.srt或.vtt翻譯好的字幕， 支援100種語言，付費解鎖比較好的翻譯模組。X
欸欸 你應該搞錯問題惹吧？ 你要的應該是雙字幕功能吧？ 那加個瀏覽器外掛就好 免費易用 YouTube 雙字幕工具，支援下載完整中英對照字幕文件![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X23OaUJb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
2
這個瓶頸我覺得不純然只在 翻譯 的部分，語音辨識也有進步空間 就以 英文發音的影片開英文字幕 來說， Youtube很早就有自動cc的機能，但這機能僅對「聽得懂一定程度英文的人」堪用。 因為語音辨識的結果雖然大致上正確，但其實出現辨識錯誤的機率並沒有到真的很低![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/NjvE6bOb.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
4
跑了 OpenAI 的語音辨識 (Whisper) 正確率大概9成。 比YT的廢字幕好多了(約6成？) 以下紅字為錯誤、黃字為修正、〇〇代表我聽不懂。 [00:01.300 --> 00:08.540] おけますでさ、なんかキャバクラみたいなの追加されたん だよ![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/xE-tmu0OlGA/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
2
正巧最近有看到自動上字幕的頻道，結論是同音字跟錯別字還有慣用詞。絕對會出現混淆問 題。 這個就是標準自動上字幕的作品，每個人名【黃巢】都被置換成【皇朝】。然後故事主角到 底是哪個德禎？德真？德貞？德什麼的啦？![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/7jR1ksY5hF8/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
55
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎本來沒想這麼早回這篇的，不過既然都有人把討論串回起來了我丟點資訊， 既然都會看網紅發表對ChatGPT的看法（沒有貶義），我覺得也可以看看這個： 台大電機副教授李宏毅老師的ChatGPT講解（先回到PTT還是學術論壇XD） ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://img.youtube.com/vi/e0aKI2GGZNg/mqdefault.jpg "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
31
[心得] 華為AI字幕支援日文了雖然這邊很多人討厭華為，但是如果你是華為用戶，應該都知道EMUI有一個功能，叫做 AI即時字幕。 聲源可以是媒體，也可以是麥克風，系統會很快的翻譯成中文。看似簡單的功能，其實 意外的實用。 過去這個服務只支援英文，今天華為開放測試，正式支援日文了！![[心得] 華為AI字幕支援日文了](https://i.imgur.com/5YVQHcwb.jpg "[心得] 華為AI字幕支援日文了")
23
[問卦] CHATGPT 已經可以考上中國大陸的大學了？CHATGPT 已經可以考上中國大陸的大學了？ ChatGPT參加北京高考，能考上哪個大學？你能比它分數更高嗎？ 李永樂老師用ChatGPT參加2022北京高考 因為ChatGPT眾所周知資料只有到2021 而且不會上網找答案 所以可以確定ChatGPT不可能做過那些題目。![[問卦] CHATGPT 已經可以考上中國大陸的大學了？](https://img.youtube.com/vi/GEXa2yrAucM/mqdefault.jpg "[問卦] CHATGPT 已經可以考上中國大陸的大學了？")
9
[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？這陣子ChatGPT很紅，連政治人物、網紅都開始玩， 本來玩玩就算了，如果你真的想用ChatGPT做應用， 需要串接GPT-3的API價錢是約千字0.02美金，這價錢應該算便宜到恐怖？ 我聽到很多企業都開始做自己的文字AI機器人了。 結果今天一早醒來，聽說ChatGPT又有新一代的API GPT-3.5，![[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？](https://avatars.plurk.com/16822923-big58569616.jpg "[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？")
6
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎不要講以後了，現在就有一堆被程式愚弄的人。 對，我就在講"chatGPT可以幫你寫程式還學屁語言"的你各位。 首先你必須要了解的是，GPT這東西就跟擲骰子一樣，只是你跟它玩的是 "文字接龍"。假設你問"112年12月台灣進口多少巴西咖啡" 它會這樣回答：![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://m.coa.gov.tw/images/fb-share-logo.png "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
4
Re: [問卦] chatGPT是不是把經典機率考題都算錯了昨天李永樂老師才拿高考題目讓gpt考 裡面有幾個亮點 李永樂：這題目我也看不懂 gpt說對就對吧 然後這題gpt答對了。 （李永樂看到是ai的潛力 而不是笑ai答錯題有夠笨） 下面還有人留言 電影 機械公敵裡 男主對機器人說 ai無法畫圖跟具有創造力4
[問卦] ChatGPT最終會不會變成紅后?現在AI正夯 就像以前Siri剛推出一樣 用過ChatGPT後 覺得Siri跟OK Google根本就是___! 但重點來了1
[問卦] google怎麼不快弄一個chat bot?yo 兩年前學AI的時候 google bert毀天滅地 各種刷榜 結果上個月chatgpt出來嚇到一堆人 AI居然發展到這種程度了 阿gpt主要靠的是上下文關係 反而bert的架構比較偏文意理解 google怎麼不快出一個基於bert的chat bot來打chatgpt1
[CGPT] Chat GPT入侵南方公園(S26E4)這集真的快笑死 Chat GPT拿來把妹真的有用嗎? 居然還找山頂洞人用巫術找誰在用Chat GPT 連字幕都寫這集有用Chat GPT寫 太神啦!
[問卦] 奧斯卡轉播怎麼不用AI同步字幕？最新奧斯卡頒獎正在直播 台視負責台灣地區轉播 請了兩個人在那邊同步口譯加補充 據我所知 現在yt都用自動軟體擷取音訊轉成字幕
爆
[政確] 刺客教條暗影 Sweet Baby Inc 確認![[政確] 刺客教條暗影 Sweet Baby Inc 確認](https://i.imgur.com/TGdeh4vb.jpeg "[政確] 刺客教條暗影 Sweet Baby Inc 確認")
爆
[據傳] 雄中畢業歌候選清單：春日影、群青等![[據傳] 雄中畢業歌候選清單：春日影、群青等](https://i.imgur.com/55mdgH0b.jpg "[據傳] 雄中畢業歌候選清單：春日影、群青等")
76
[寶可夢] 大奶罐疑似被抖音認定為色情![[寶可夢] 大奶罐疑似被抖音認定為色情](https://i.imgur.com/WGo6ZEAb.jpeg "[寶可夢] 大奶罐疑似被抖音認定為色情")
73
[蔚藍] 今天是適合示愛的日子![[蔚藍] 今天是適合示愛的日子](https://i.imgur.com/AyIaynxb.jpeg "[蔚藍] 今天是適合示愛的日子")
49
[閒聊] 小美老師如是說 50話 慾罷不能![[閒聊] 小美老師如是說 50話 慾罷不能](https://imgpoi.com/i/GDKGCB.png "[閒聊] 小美老師如是說 50話 慾罷不能")
46
[金庸] 東方不敗描寫得真的很好耶...![[金庸] 東方不敗描寫得真的很好耶...](https://img.youtube.com/vi/32_UBdlnES4/mqdefault.jpg "[金庸] 東方不敗描寫得真的很好耶...")
43
[閒聊] 招式加上「改」會比較強嗎![[閒聊] 招式加上「改」會比較強嗎](https://i.imgur.com/vBh1VbFb.jpeg "[閒聊] 招式加上「改」會比較強嗎")
43
Re: [閒聊] 朱家安FB談劍星爭議跟電玩性化女性![Re: [閒聊] 朱家安FB談劍星爭議跟電玩性化女性](https://i.imgur.com/CnCf4ZNb.jpeg "Re: [閒聊] 朱家安FB談劍星爭議跟電玩性化女性")
40
[閒聊] 袁紹為何垂涎玉璽卻不救駕漢獻帝？![[閒聊] 袁紹為何垂涎玉璽卻不救駕漢獻帝？](https://i.imgur.com/TnoputPb.jpeg "[閒聊] 袁紹為何垂涎玉璽卻不救駕漢獻帝？")
43
Re: [閒聊] 朱家安FB談劍星爭議跟電玩性化女性36
[微軟] Switch日本4月銷量萎縮，PS5暴減六成![[微軟] Switch日本4月銷量萎縮，PS5暴減六成](https://img.technews.tw/wp-content/uploads/2024/01/15094551/kerde-severin-NVD_32BBZFE-unsplash.jpg "[微軟] Switch日本4月銷量萎縮，PS5暴減六成")
32
[閒聊] 高金生出現西門六號出口![[閒聊] 高金生出現西門六號出口](https://i.imgur.com/g1iM8RBb.jpeg "[閒聊] 高金生出現西門六號出口")
X
[閒聊] 台灣SJW大將崩潰了![[閒聊] 台灣SJW大將崩潰了](https://i.imgur.com/9ylsGtsb.jpg?fb "[閒聊] 台灣SJW大將崩潰了")
32
Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認![Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認](https://i.imgur.com/lrzYND8b.gif "Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認")
33
[閒聊] 鋼彈將在《決勝時刻》第 4 季中登場![[閒聊] 鋼彈將在《決勝時刻》第 4 季中登場](https://i.imgur.com/udfpZBob.jpeg "[閒聊] 鋼彈將在《決勝時刻》第 4 季中登場")
32
[Holo] 尾丸波爾卡首次說明加入Hololive的原因![[Holo] 尾丸波爾卡首次說明加入Hololive的原因](https://img.youtube.com/vi/1lqTRnXh-u4/mqdefault.jpg "[Holo] 尾丸波爾卡首次說明加入Hololive的原因")
32
[閒聊] 愛爾奎特為什麼讓fgo玩家瘋了？![[閒聊] 愛爾奎特為什麼讓fgo玩家瘋了？](https://i.imgur.com/AeYDrgob.jpeg "[閒聊] 愛爾奎特為什麼讓fgo玩家瘋了？")
31
[閒聊] 大宇現在算轉型成功嗎？30
[討論] 有人問作者能不能拿他的色圖射精![[討論] 有人問作者能不能拿他的色圖射精](https://pbs.twimg.com/media/GNHbb0WaEAAMHHt.jpg "[討論] 有人問作者能不能拿他的色圖射精")
29
[閒聊] SE手遊歷史![[閒聊] SE手遊歷史](https://pbs.twimg.com/media/GN06gvDaoAAA70d.png "[閒聊] SE手遊歷史")
28
[情報] 鬼滅之刃 柱訓練篇 第二集收視 6.1%![[情報] 鬼滅之刃 柱訓練篇 第二集收視 6.1%](https://i.imgur.com/Z0ak1jzb.jpeg "[情報] 鬼滅之刃 柱訓練篇 第二集收視 6.1%")
25
[閒聊] 迷宮飯的世界算硬嗎?![[閒聊] 迷宮飯的世界算硬嗎?](https://i.imgur.com/YrcbwuNb.gif "[閒聊] 迷宮飯的世界算硬嗎?")
70
[問題] 把念雕成龍的形狀是為了耍帥嗎？![[問題] 把念雕成龍的形狀是為了耍帥嗎？](https://i.imgur.com/7wCDC7db.jpeg "[問題] 把念雕成龍的形狀是為了耍帥嗎？")
25
[閒聊] PSPortal 帶去飯店想玩結果不能連線![[閒聊] PSPortal 帶去飯店想玩結果不能連線](https://pbs.twimg.com/media/GMw8bwpWQAAniZu.jpg "[閒聊] PSPortal 帶去飯店想玩結果不能連線")
42
Re: [閒聊] 中國知名陪玩「胖貓」輕生事件後續![Re: [閒聊] 中國知名陪玩「胖貓」輕生事件後續](https://i.imgur.com/QriFkqMb.jpeg "Re: [閒聊] 中國知名陪玩「胖貓」輕生事件後續")
21
Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認![Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認](https://i.imgur.com/CJ9Cna0b.jpeg "Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認")
22
Re: [情報] 刺客教條暗影 Sweet Baby Inc 確認![Re: [情報] 刺客教條暗影 Sweet Baby Inc 確認](https://i.imgur.com/EJ7aZqIb.png "Re: [情報] 刺客教條暗影 Sweet Baby Inc 確認")
20
Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認![Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認](https://img.youtube.com/vi/djQ2jqVoSzw/mqdefault.jpg "Re: [政確] 刺客教條暗影 Sweet Baby Inc 確認")
21
[閒聊] 高位種族的矜持![[閒聊] 高位種族的矜持](https://i.imgur.com/V8M5mpdb.jpeg "[閒聊] 高位種族的矜持")
21
[閒聊] 碧藍航線新泳裝skin-哈爾濱![[閒聊] 碧藍航線新泳裝skin-哈爾濱](https://pbs.twimg.com/media/GN_JbynakAAdrj1.jpg "[閒聊] 碧藍航線新泳裝skin-哈爾濱")