[Vtub] AI是不是可以做即時字幕了？
如題
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
--
yt不是早就有即時生成字幕了
早就可以了吧 只是準確度問題
重點就是準確度R 本來機器字幕辨識度就有問題，加上機器翻譯 根本看不出要說什麼 可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊 如果直接對字幕進行翻譯 準確度應該會比現在googl翻譯高很多，至少我感覺至少可讀了
那就變雅婷逐字稿了
即時字幕有個問題 不同文法的字幕斷句
會議軟體已經有即時翻譯了
像是日文動詞放後面 不講到最後不知道這句多長 然後要切
成合適的長度放回去原本畫面裡
早就有了吧 實況有種插件就是即時字幕+機翻
所以文章比較適合翻譯 字幕不適合
GPT有上下文的觀念 這應該是他擅長的領域
到時候給你亂加料
為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全
不相干的東西出來
因為他不會連網 也沒有視覺 GPT的世界只有文字 （他處理圖像就像MUD遊戲一樣 有另外一個AI看圖，用文字描述，然後再餵給GPT處理） 所以你給他網址他就 隨便掰一個答案給你
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16你都總結了怎麼即時==
不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間
軸，效果奇差，再翻譯成中文一定更破
因為chatgpt沒資料 你問他他當然無法回答
更不用說Miko，有時候還偵測成韓文
這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的
我之前放一個兒童共同注意力的影片，他講成什麼韓國愛
心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識
yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比
較少 因為可以直接1對1換詞就好
我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行
看爽的沒差 但要求正確性就無法 如果全信被誤導的
機會也不小 就
看目的為何
這裡幫你整理好了
還需要時間發展
英文的V說不定可以
要即時應該有困難 可是反正影片都是上傳好的只要轉一次就
好 so...
google的廣告以外的商業模式真的很糞 像這種都是商機可以
做的結果你在那邊跟微軟耗@@
怎就有了
英文的已經可以接受了
你
目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
熟。更複雜的技術開發者會著重在理解意思甚至是回應問
題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
微軟之後要推的網路會議助理就可以語音轉文字，還
可以幫你寫會議紀錄
記得日、英好像可以即時
其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難
另外你貼的這功能，我有試過開日本YT影片，然後用e
dge ai要他總結這影片在講啥。他還真的去網路搜尋
搞出來
PR：…
都看過人直播即時中翻日的了
我看過有人直播是一整排不同語言的字幕，但準確率普通
。
日本直播我看過不少有即時日文字幕加英文翻譯的
主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第
一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
的作者做到對答如流甚至互嘴
有字幕逐字稿的API比較強XD Bing只能用雲的
我期待即時口譯機
@johnny3
總覺得教育AI比教育小孩還有成就感了...
研發影片翻譯應該是最吃力不討好的吧，太容易露餡了
再兩三年真的是就不用學外語了
英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去
而已
4
諸君 晚安安 借串問一下 google的聽取和翻譯系統 在用戶多成這樣子的情況下 還那麼多年了![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X2y6oMlb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
3
即時沒看到，不即時倒是有很方便的工具了。 MacWhisper 上篇推文有提到，強在可以丟沒字幕的mp4影片然後直接吐回.srt或.vtt翻譯好的字幕， 支援100種語言，付費解鎖比較好的翻譯模組。X
欸欸 你應該搞錯問題惹吧？ 你要的應該是雙字幕功能吧？ 那加個瀏覽器外掛就好 免費易用 YouTube 雙字幕工具，支援下載完整中英對照字幕文件![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X23OaUJb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
2
這個瓶頸我覺得不純然只在 翻譯 的部分，語音辨識也有進步空間 就以 英文發音的影片開英文字幕 來說， Youtube很早就有自動cc的機能，但這機能僅對「聽得懂一定程度英文的人」堪用。 因為語音辨識的結果雖然大致上正確，但其實出現辨識錯誤的機率並沒有到真的很低![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/NjvE6bOb.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
4
跑了 OpenAI 的語音辨識 (Whisper) 正確率大概9成。 比YT的廢字幕好多了(約6成？) 以下紅字為錯誤、黃字為修正、〇〇代表我聽不懂。 [00:01.300 --> 00:08.540] おけますでさ、なんかキャバクラみたいなの追加されたん だよ![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/xE-tmu0OlGA/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
2
正巧最近有看到自動上字幕的頻道，結論是同音字跟錯別字還有慣用詞。絕對會出現混淆問 題。 這個就是標準自動上字幕的作品，每個人名【黃巢】都被置換成【皇朝】。然後故事主角到 底是哪個德禎？德真？德貞？德什麼的啦？![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/7jR1ksY5hF8/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
55
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎本來沒想這麼早回這篇的，不過既然都有人把討論串回起來了我丟點資訊， 既然都會看網紅發表對ChatGPT的看法（沒有貶義），我覺得也可以看看這個： 台大電機副教授李宏毅老師的ChatGPT講解（先回到PTT還是學術論壇XD） ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://img.youtube.com/vi/e0aKI2GGZNg/mqdefault.jpg "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
31
[心得] 華為AI字幕支援日文了雖然這邊很多人討厭華為，但是如果你是華為用戶，應該都知道EMUI有一個功能，叫做 AI即時字幕。 聲源可以是媒體，也可以是麥克風，系統會很快的翻譯成中文。看似簡單的功能，其實 意外的實用。 過去這個服務只支援英文，今天華為開放測試，正式支援日文了！![[心得] 華為AI字幕支援日文了](https://i.imgur.com/5YVQHcwb.jpg "[心得] 華為AI字幕支援日文了")
23
[問卦] CHATGPT 已經可以考上中國大陸的大學了？CHATGPT 已經可以考上中國大陸的大學了？ ChatGPT參加北京高考，能考上哪個大學？你能比它分數更高嗎？ 李永樂老師用ChatGPT參加2022北京高考 因為ChatGPT眾所周知資料只有到2021 而且不會上網找答案 所以可以確定ChatGPT不可能做過那些題目。![[問卦] CHATGPT 已經可以考上中國大陸的大學了？](https://img.youtube.com/vi/GEXa2yrAucM/mqdefault.jpg "[問卦] CHATGPT 已經可以考上中國大陸的大學了？")
9
[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？這陣子ChatGPT很紅，連政治人物、網紅都開始玩， 本來玩玩就算了，如果你真的想用ChatGPT做應用， 需要串接GPT-3的API價錢是約千字0.02美金，這價錢應該算便宜到恐怖？ 我聽到很多企業都開始做自己的文字AI機器人了。 結果今天一早醒來，聽說ChatGPT又有新一代的API GPT-3.5，![[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？](https://avatars.plurk.com/16822923-big58569616.jpg "[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？")
6
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎不要講以後了，現在就有一堆被程式愚弄的人。 對，我就在講"chatGPT可以幫你寫程式還學屁語言"的你各位。 首先你必須要了解的是，GPT這東西就跟擲骰子一樣，只是你跟它玩的是 "文字接龍"。假設你問"112年12月台灣進口多少巴西咖啡" 它會這樣回答：![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://m.coa.gov.tw/images/fb-share-logo.png "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
4
Re: [問卦] chatGPT是不是把經典機率考題都算錯了昨天李永樂老師才拿高考題目讓gpt考 裡面有幾個亮點 李永樂：這題目我也看不懂 gpt說對就對吧 然後這題gpt答對了。 （李永樂看到是ai的潛力 而不是笑ai答錯題有夠笨） 下面還有人留言 電影 機械公敵裡 男主對機器人說 ai無法畫圖跟具有創造力4
[問卦] ChatGPT最終會不會變成紅后?現在AI正夯 就像以前Siri剛推出一樣 用過ChatGPT後 覺得Siri跟OK Google根本就是___! 但重點來了1
[問卦] google怎麼不快弄一個chat bot?yo 兩年前學AI的時候 google bert毀天滅地 各種刷榜 結果上個月chatgpt出來嚇到一堆人 AI居然發展到這種程度了 阿gpt主要靠的是上下文關係 反而bert的架構比較偏文意理解 google怎麼不快出一個基於bert的chat bot來打chatgpt1
[CGPT] Chat GPT入侵南方公園(S26E4)這集真的快笑死 Chat GPT拿來把妹真的有用嗎? 居然還找山頂洞人用巫術找誰在用Chat GPT 連字幕都寫這集有用Chat GPT寫 太神啦!
[問卦] 奧斯卡轉播怎麼不用AI同步字幕？最新奧斯卡頒獎正在直播 台視負責台灣地區轉播 請了兩個人在那邊同步口譯加補充 據我所知 現在yt都用自動軟體擷取音訊轉成字幕
59
[閒聊] 男主角被讀者討厭的作品35
[閒聊] 獵人是第一個開創文字量爆多的漫畫嗎![[閒聊] 獵人是第一個開創文字量爆多的漫畫嗎](https://i.imgur.com/PmBd0odb.jpg "[閒聊] 獵人是第一個開創文字量爆多的漫畫嗎")
83
[閒聊] 若發現單機遊戲存有Bug會去使用嗎？![[閒聊] 若發現單機遊戲存有Bug會去使用嗎？](https://i.imgur.com/9pqFKyDb.jpeg "[閒聊] 若發現單機遊戲存有Bug會去使用嗎？")
21
[閒聊] 青春之箱173![[閒聊] 青春之箱173](https://i.imgur.com/MgKr4Y5b.jpeg "[閒聊] 青春之箱173")
20
[閒聊] 愛玩玩具的大姊姊 合體快樂快樂![[閒聊] 愛玩玩具的大姊姊 合體快樂快樂](https://i.imgur.com/Ajs3GQ8b.jpeg "[閒聊] 愛玩玩具的大姊姊 合體快樂快樂")
19
Re: [閒聊] 吃素真的對身體好嗎？☺![Re: [閒聊] 吃素真的對身體好嗎？☺](https://pbs.twimg.com/media/FuioGYZakAE7Ijk.jpg "Re: [閒聊] 吃素真的對身體好嗎？☺")
19
Re: [閒聊] 月曜日のたわわ![Re: [閒聊] 月曜日のたわわ](https://pbs.twimg.com/media/GcnzpLybcAA90WY.png "Re: [閒聊] 月曜日のたわわ")
16
[蔚藍] チアキ 回憶大廳 車站廣告![[蔚藍] チアキ 回憶大廳 車站廣告](https://pbs.twimg.com/media/GcngrznbMAAG0gC.jpg "[蔚藍] チアキ 回憶大廳 車站廣告")
13
[閒聊] 天才王子的赤字國家重生術 小說12卷![[閒聊] 天才王子的赤字國家重生術 小說12卷](https://i.imgur.com/s88kK7hb.jpeg "[閒聊] 天才王子的赤字國家重生術 小說12卷")
13
[閒聊] 那些讓你記憶深刻的處刑曲![[閒聊] 那些讓你記憶深刻的處刑曲](https://img.youtube.com/vi/khEfFYkpjyw/mqdefault.jpg "[閒聊] 那些讓你記憶深刻的處刑曲")
50
[討論] 不死不運 231 難怪想封印不正義![[討論] 不死不運 231 難怪想封印不正義](https://i.imgur.com/rGh5nx7b.jpeg "[討論] 不死不運 231 難怪想封印不正義")
15
[閒聊] 亞絲娜為什麼能成為本王![[閒聊] 亞絲娜為什麼能成為本王](https://i.imgur.com/3KWYz7Mb.jpg "[閒聊] 亞絲娜為什麼能成為本王")
48
[蔚藍]京極サツキ 回憶大廳 廣告看板![[蔚藍]京極サツキ 回憶大廳 廣告看板](https://i.meee.com.tw/O7RkuTi.png "[蔚藍]京極サツキ 回憶大廳 廣告看板")
10
[閒聊] 金田一37歲最大的敗筆是兇手話太多嗎9
[蔚藍] 兔子內戰![[蔚藍] 兔子內戰](https://i.imgur.com/D4wARQPb.jpeg "[蔚藍] 兔子內戰")
23
[閒聊] 重騎士無雙 110 豪運無雙![[閒聊] 重騎士無雙 110 豪運無雙](https://i.imgur.com/FTyUblcb.jpg "[閒聊] 重騎士無雙 110 豪運無雙")
15
[Vtub] 11/17同接鬥蟲![[Vtub] 11/17同接鬥蟲](https://i.meee.com.tw/xAwhtqa.jpg "[Vtub] 11/17同接鬥蟲")
15
[閒聊] 師祖為何突然挑釁自己的弟子![[閒聊] 師祖為何突然挑釁自己的弟子](https://i.imgur.com/akNenXwb.jpg "[閒聊] 師祖為何突然挑釁自己的弟子")
8
[閒聊] 要聽神明的話第一部放到現在算好看嗎？![[閒聊] 要聽神明的話第一部放到現在算好看嗎？](https://i.imgur.com/Hun4wt3b.jpeg "[閒聊] 要聽神明的話第一部放到現在算好看嗎？")
8
[蔚藍] 每週便利屋21 不愧是課長![[蔚藍] 每週便利屋21 不愧是課長](https://i.imgur.com/rB6es4Yb.jpeg "[蔚藍] 每週便利屋21 不愧是課長")
23
[敗北] 敗北女角太肉了!!![[敗北] 敗北女角太肉了!!](https://pbs.twimg.com/media/GcggrqfacAAzrWu.jpg "[敗北] 敗北女角太肉了!!")
6
[閒聊]冨樫會不會過勞6
[咒術] 無量空處的作用對象到底是能不能挑18
[閒聊] 看了本田小狼台灣不愛護車子的是不是很多![[閒聊] 看了本田小狼台灣不愛護車子的是不是很多](https://i.imgur.com/1waCiwyb.png "[閒聊] 看了本田小狼台灣不愛護車子的是不是很多")
13
Re: [閒聊] 拔刀術真的有實戰意義嗎？![Re: [閒聊] 拔刀術真的有實戰意義嗎？](https://img.youtube.com/vi/10d26omUsuo/mqdefault.jpg "Re: [閒聊] 拔刀術真的有實戰意義嗎？")
16
[閒聊] GBF 碧藍幻想回鍋重新來過半年簡單心得![[閒聊] GBF 碧藍幻想回鍋重新來過半年簡單心得](https://i.imgur.com/U5dbbtJb.png "[閒聊] GBF 碧藍幻想回鍋重新來過半年簡單心得")
17
[閒聊] DQ3HD 進到索馬城後受到熱列盛大的歡迎![[閒聊] DQ3HD 進到索馬城後受到熱列盛大的歡迎](https://i.imgur.com/PDgUWELb.png "[閒聊] DQ3HD 進到索馬城後受到熱列盛大的歡迎")
8
Re: [閒聊] 吃素真的對身體好嗎？☺![Re: [閒聊] 吃素真的對身體好嗎？☺](https://i.imgur.com/w8K7DQ4b.jpeg "Re: [閒聊] 吃素真的對身體好嗎？☺")
5
[FGO] 貼貼斯卡薩哈。![[FGO] 貼貼斯卡薩哈。](https://pixiv.cat/122338866.jpg "[FGO] 貼貼斯卡薩哈。")
6
[討論] 奇蹟MU的發亮系統為什麼沒有遊戲傳承