[Vtub] AI是不是可以做即時字幕了？
如題
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
--
yt不是早就有即時生成字幕了
早就可以了吧 只是準確度問題
重點就是準確度R 本來機器字幕辨識度就有問題，加上機器翻譯 根本看不出要說什麼 可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊 如果直接對字幕進行翻譯 準確度應該會比現在googl翻譯高很多，至少我感覺至少可讀了
那就變雅婷逐字稿了
即時字幕有個問題 不同文法的字幕斷句
會議軟體已經有即時翻譯了
像是日文動詞放後面 不講到最後不知道這句多長 然後要切
成合適的長度放回去原本畫面裡
早就有了吧 實況有種插件就是即時字幕+機翻
所以文章比較適合翻譯 字幕不適合
GPT有上下文的觀念 這應該是他擅長的領域
到時候給你亂加料
為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全
不相干的東西出來
因為他不會連網 也沒有視覺 GPT的世界只有文字 （他處理圖像就像MUD遊戲一樣 有另外一個AI看圖，用文字描述，然後再餵給GPT處理） 所以你給他網址他就 隨便掰一個答案給你
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16你都總結了怎麼即時==
不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間
軸，效果奇差，再翻譯成中文一定更破
因為chatgpt沒資料 你問他他當然無法回答
更不用說Miko，有時候還偵測成韓文
這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的
我之前放一個兒童共同注意力的影片，他講成什麼韓國愛
心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識
yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比
較少 因為可以直接1對1換詞就好
我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行
看爽的沒差 但要求正確性就無法 如果全信被誤導的
機會也不小 就
看目的為何
這裡幫你整理好了
還需要時間發展
英文的V說不定可以
要即時應該有困難 可是反正影片都是上傳好的只要轉一次就
好 so...
google的廣告以外的商業模式真的很糞 像這種都是商機可以
做的結果你在那邊跟微軟耗@@
怎就有了
英文的已經可以接受了
你
目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
熟。更複雜的技術開發者會著重在理解意思甚至是回應問
題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
微軟之後要推的網路會議助理就可以語音轉文字，還
可以幫你寫會議紀錄
記得日、英好像可以即時
其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難
另外你貼的這功能，我有試過開日本YT影片，然後用e
dge ai要他總結這影片在講啥。他還真的去網路搜尋
搞出來
PR：…
都看過人直播即時中翻日的了
我看過有人直播是一整排不同語言的字幕，但準確率普通
。
日本直播我看過不少有即時日文字幕加英文翻譯的
主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第
一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
的作者做到對答如流甚至互嘴
有字幕逐字稿的API比較強XD Bing只能用雲的
我期待即時口譯機
@johnny3
總覺得教育AI比教育小孩還有成就感了...
研發影片翻譯應該是最吃力不討好的吧，太容易露餡了
再兩三年真的是就不用學外語了
英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去
而已
4
諸君 晚安安 借串問一下 google的聽取和翻譯系統 在用戶多成這樣子的情況下 還那麼多年了![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X2y6oMlb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
3
即時沒看到，不即時倒是有很方便的工具了。 MacWhisper 上篇推文有提到，強在可以丟沒字幕的mp4影片然後直接吐回.srt或.vtt翻譯好的字幕， 支援100種語言，付費解鎖比較好的翻譯模組。X
欸欸 你應該搞錯問題惹吧？ 你要的應該是雙字幕功能吧？ 那加個瀏覽器外掛就好 免費易用 YouTube 雙字幕工具，支援下載完整中英對照字幕文件![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X23OaUJb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
2
這個瓶頸我覺得不純然只在 翻譯 的部分，語音辨識也有進步空間 就以 英文發音的影片開英文字幕 來說， Youtube很早就有自動cc的機能，但這機能僅對「聽得懂一定程度英文的人」堪用。 因為語音辨識的結果雖然大致上正確，但其實出現辨識錯誤的機率並沒有到真的很低![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/NjvE6bOb.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
4
跑了 OpenAI 的語音辨識 (Whisper) 正確率大概9成。 比YT的廢字幕好多了(約6成？) 以下紅字為錯誤、黃字為修正、〇〇代表我聽不懂。 [00:01.300 --> 00:08.540] おけますでさ、なんかキャバクラみたいなの追加されたん だよ![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/xE-tmu0OlGA/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
2
正巧最近有看到自動上字幕的頻道，結論是同音字跟錯別字還有慣用詞。絕對會出現混淆問 題。 這個就是標準自動上字幕的作品，每個人名【黃巢】都被置換成【皇朝】。然後故事主角到 底是哪個德禎？德真？德貞？德什麼的啦？![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/7jR1ksY5hF8/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
55
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎本來沒想這麼早回這篇的，不過既然都有人把討論串回起來了我丟點資訊， 既然都會看網紅發表對ChatGPT的看法（沒有貶義），我覺得也可以看看這個： 台大電機副教授李宏毅老師的ChatGPT講解（先回到PTT還是學術論壇XD） ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://img.youtube.com/vi/e0aKI2GGZNg/mqdefault.jpg "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
31
[心得] 華為AI字幕支援日文了雖然這邊很多人討厭華為，但是如果你是華為用戶，應該都知道EMUI有一個功能，叫做 AI即時字幕。 聲源可以是媒體，也可以是麥克風，系統會很快的翻譯成中文。看似簡單的功能，其實 意外的實用。 過去這個服務只支援英文，今天華為開放測試，正式支援日文了！![[心得] 華為AI字幕支援日文了](https://i.imgur.com/5YVQHcwb.jpg "[心得] 華為AI字幕支援日文了")
23
[問卦] CHATGPT 已經可以考上中國大陸的大學了？CHATGPT 已經可以考上中國大陸的大學了？ ChatGPT參加北京高考，能考上哪個大學？你能比它分數更高嗎？ 李永樂老師用ChatGPT參加2022北京高考 因為ChatGPT眾所周知資料只有到2021 而且不會上網找答案 所以可以確定ChatGPT不可能做過那些題目。![[問卦] CHATGPT 已經可以考上中國大陸的大學了？](https://img.youtube.com/vi/GEXa2yrAucM/mqdefault.jpg "[問卦] CHATGPT 已經可以考上中國大陸的大學了？")
9
[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？這陣子ChatGPT很紅，連政治人物、網紅都開始玩， 本來玩玩就算了，如果你真的想用ChatGPT做應用， 需要串接GPT-3的API價錢是約千字0.02美金，這價錢應該算便宜到恐怖？ 我聽到很多企業都開始做自己的文字AI機器人了。 結果今天一早醒來，聽說ChatGPT又有新一代的API GPT-3.5，![[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？](https://avatars.plurk.com/16822923-big58569616.jpg "[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？")
6
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎不要講以後了，現在就有一堆被程式愚弄的人。 對，我就在講"chatGPT可以幫你寫程式還學屁語言"的你各位。 首先你必須要了解的是，GPT這東西就跟擲骰子一樣，只是你跟它玩的是 "文字接龍"。假設你問"112年12月台灣進口多少巴西咖啡" 它會這樣回答：![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://m.coa.gov.tw/images/fb-share-logo.png "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
4
Re: [問卦] chatGPT是不是把經典機率考題都算錯了昨天李永樂老師才拿高考題目讓gpt考 裡面有幾個亮點 李永樂：這題目我也看不懂 gpt說對就對吧 然後這題gpt答對了。 （李永樂看到是ai的潛力 而不是笑ai答錯題有夠笨） 下面還有人留言 電影 機械公敵裡 男主對機器人說 ai無法畫圖跟具有創造力4
[問卦] ChatGPT最終會不會變成紅后?現在AI正夯 就像以前Siri剛推出一樣 用過ChatGPT後 覺得Siri跟OK Google根本就是___! 但重點來了1
[問卦] google怎麼不快弄一個chat bot?yo 兩年前學AI的時候 google bert毀天滅地 各種刷榜 結果上個月chatgpt出來嚇到一堆人 AI居然發展到這種程度了 阿gpt主要靠的是上下文關係 反而bert的架構比較偏文意理解 google怎麼不快出一個基於bert的chat bot來打chatgpt1
[CGPT] Chat GPT入侵南方公園(S26E4)這集真的快笑死 Chat GPT拿來把妹真的有用嗎? 居然還找山頂洞人用巫術找誰在用Chat GPT 連字幕都寫這集有用Chat GPT寫 太神啦!
[問卦] 奧斯卡轉播怎麼不用AI同步字幕？最新奧斯卡頒獎正在直播 台視負責台灣地區轉播 請了兩個人在那邊同步口譯加補充 據我所知 現在yt都用自動軟體擷取音訊轉成字幕
爆
[絕區零] 分享我婆6+5星見雅![[絕區零] 分享我婆6+5星見雅](https://i.imgur.com/RPtQlEpb.jpeg "[絕區零] 分享我婆6+5星見雅")
爆
[PTCGP] 睡前一包![[PTCGP] 睡前一包](https://i.imgur.com/RpBXVDZb.jpeg "[PTCGP] 睡前一包")
56
[閒聊] 湯圓喜歡吃甜湯圓還鹹湯圓？![[閒聊] 湯圓喜歡吃甜湯圓還鹹湯圓？](https://i.imgur.com/h5GYoeIb.png "[閒聊] 湯圓喜歡吃甜湯圓還鹹湯圓？")
57
[星戰] 達斯維達的人氣為什麼這麼高？![[星戰] 達斯維達的人氣為什麼這麼高？](https://img.youtube.com/vi/YnNSnJbjdws/mqdefault.jpg "[星戰] 達斯維達的人氣為什麼這麼高？")
31
[閒聊] 外食曾經發現什麼特別「加料」？☺![[閒聊] 外食曾經發現什麼特別「加料」？☺](https://i.imgur.com/dAnNu4yb.jpeg "[閒聊] 外食曾經發現什麼特別「加料」？☺")
29
[死神] 所以七緒的斬魄刀還可以幹嘛![[死神] 所以七緒的斬魄刀還可以幹嘛](https://i.imgur.com/6Mpsz1wb.jpeg "[死神] 所以七緒的斬魄刀還可以幹嘛")
24
Re: [閒聊] 我推的孩子 黑川茜後日談相關![Re: [閒聊] 我推的孩子 黑川茜後日談相關](https://i.imgur.com/XOcDAZob.jpeg "Re: [閒聊] 我推的孩子 黑川茜後日談相關")
36
[閒聊] 不再政治正確 皮克斯新作跨性別角色不見![[閒聊] 不再政治正確 皮克斯新作跨性別角色不見](https://i.imgur.com/ZgA4Y8nb.jpeg "[閒聊] 不再政治正確 皮克斯新作跨性別角色不見")
19
[人龍] 黑田崇矢：桐生一開始很不會唱卡拉OK![[人龍] 黑田崇矢：桐生一開始很不會唱卡拉OK](https://img.youtube.com/vi/RziKzh6dMgM/mqdefault.jpg "[人龍] 黑田崇矢：桐生一開始很不會唱卡拉OK")
16
[閒聊] 矮真的這麼慘...？![[閒聊] 矮真的這麼慘...？](https://i.meee.com.tw/5Agsc56.png "[閒聊] 矮真的這麼慘...？")
14
Re: [情報] 檜山沙耶 結婚22
Re: [補番] BanG Dream! It's MyGO!!!!! 溫馨動畫![Re: [補番] BanG Dream! It's MyGO!!!!! 溫馨動畫](https://img.youtube.com/vi/bLWDIYpGcEI/mqdefault.jpg "Re: [補番] BanG Dream! It's MyGO!!!!! 溫馨動畫")
15
[閒聊] 星見雅和淺羽悠真是情侶嗎![[閒聊] 星見雅和淺羽悠真是情侶嗎](https://i.imgur.com/wsp833pb.jpeg "[閒聊] 星見雅和淺羽悠真是情侶嗎")
19
[問題] 好奇 有玩過小機器人覺得沒料的嗎？![[問題] 好奇 有玩過小機器人覺得沒料的嗎？](https://i.imgur.com/uOYJxa2b.jpeg "[問題] 好奇 有玩過小機器人覺得沒料的嗎？")
11
Re: [金毛] 純情大熊色情兔36
[Vtub] Mococo：夜勤病棟? 是新的恐怖遊戲嗎?![[Vtub] Mococo：夜勤病棟? 是新的恐怖遊戲嗎?](https://i.imgur.com/5DKn4Tyb.jpeg "[Vtub] Mococo：夜勤病棟? 是新的恐怖遊戲嗎?")
7
[閒聊] 有人也是先看GT 才入坑龍珠嗎？![[閒聊] 有人也是先看GT 才入坑龍珠嗎？](https://i.imgur.com/E14EiLyb.gif "[閒聊] 有人也是先看GT 才入坑龍珠嗎？")
13
[閒聊] 實卡遊戲王比寶可夢複雜嗎？8
[閒聊] 官方在改掉格子跟虛化當下心裡在想什麼![[閒聊] 官方在改掉格子跟虛化當下心裡在想什麼](https://i.ytimg.com/vi/qpGeQT6TPPA/sddefault.jpg "[閒聊] 官方在改掉格子跟虛化當下心裡在想什麼")
3X
[閒聊] 從zzz看日本作者的傲慢![[閒聊] 從zzz看日本作者的傲慢](https://i.imgur.com/tKdCnYmb.jpeg "[閒聊] 從zzz看日本作者的傲慢")
6
[閒聊] 和真與惠惠的爆裂家族野餐會![[閒聊] 和真與惠惠的爆裂家族野餐會](https://pbs.twimg.com/media/GfFHEHxbYAIouNU.jpg "[閒聊] 和真與惠惠的爆裂家族野餐會")
10
[LL] 星團第一期真的蠻好看的欸 歌也好聽![[LL] 星團第一期真的蠻好看的欸 歌也好聽](https://i.imgur.com/zaHZuiAb.jpeg "[LL] 星團第一期真的蠻好看的欸 歌也好聽")
5
Re: [閒聊] 失智症到底有多殘忍？5
[閒聊] 喜多：一里醬…這樣可以嗎？![[閒聊] 喜多：一里醬…這樣可以嗎？](https://i.imgur.com/OEYRoRtb.jpeg "[閒聊] 喜多：一里醬…這樣可以嗎？")
5
[閒聊] 韭留美醒來看到美股爆崩會怎樣？7
[閒聊] Amazon確認《神秘關卡》續訂第二季，稱![[閒聊] Amazon確認《神秘關卡》續訂第二季，稱](https://img.4gamers.com.tw/news-image/932340b5-8207-4446-bf91-3a8f0c11b041.jpg "[閒聊] Amazon確認《神秘關卡》續訂第二季，稱")
4
Re: [閒聊] 哈利綴歌-破釜咖啡廳![Re: [閒聊] 哈利綴歌-破釜咖啡廳](https://i.imgur.com/5agGO0db.jpg "Re: [閒聊] 哈利綴歌-破釜咖啡廳")
4
[閒聊] 日式服裝的法琳![[閒聊] 日式服裝的法琳](https://i.imgur.com/WiY4IElb.jpeg "[閒聊] 日式服裝的法琳")
8
Re: [絕區] 虛化解除3
[妮姬] 大家都有美好的未來![[妮姬] 大家都有美好的未來](https://i.imgur.com/ZUnXqYsb.jpeg "[妮姬] 大家都有美好的未來")