內(nèi)容概要：一項(xiàng)關(guān)于漫畫文字自動(dòng)翻譯的研究，引發(fā)了熱議，由兩位東京大學(xué)博士組成的 Mantra 團(tuán)隊(duì)發(fā)布了一篇論文，目前已被 AAAI 2021 收錄，該 Mantra 項(xiàng)目旨在為日本漫畫提供自動(dòng)化的機(jī)器翻譯工具。

原創(chuàng)：HyperAI超神經(jīng)

關(guān)鍵詞：機(jī)器翻譯?情感識(shí)別?漫畫 AI

---

最近，由東京大學(xué) Mantra 團(tuán)隊(duì)、雅虎（日本）等機(jī)構(gòu)聯(lián)合發(fā)布的《Towards Fully Automated Manga Translation 實(shí)現(xiàn)漫畫全自動(dòng)翻譯》（論文地址https://arxiv.org/abs/2012.14271）論文，引發(fā)了學(xué)界和二次元界的關(guān)注。

如圖所示：左一為日文原版，自動(dòng)化輸出英文版（右二）和中文版（右一）

Mantra 團(tuán)隊(duì)成功地實(shí)現(xiàn)了將漫畫的中的對(duì)話、氣氛詞、標(biāo)簽等文字自動(dòng)識(shí)別，并做到了區(qū)分角色、聯(lián)系上下文，最后將翻譯文字準(zhǔn)確替換、嵌入氣泡區(qū)域。

有了這個(gè)翻譯神器，估計(jì)翻譯組、追漫的小伙伴們都該偷著樂了。

發(fā)論文、公開數(shù)據(jù)集、商業(yè)化一條龍

在科研方面，目前該篇論文已經(jīng)被 AAAI 2021 接收，研究團(tuán)隊(duì)還開源了一個(gè)包含五部不同風(fēng)格（幻想、愛情、戰(zhàn)斗、懸疑、生活）的漫畫，所組成的翻譯評(píng)估數(shù)據(jù)集。

OpenMantra?漫畫翻譯評(píng)估數(shù)據(jù)集

論文地址：https://arxiv.org/abs/2012.14271

數(shù)據(jù)格式：帶注釋的 JSON 文件和原始圖像

數(shù)據(jù)內(nèi)容：1593 個(gè)句子、848 個(gè)場(chǎng)景、214 頁(yè)漫畫

數(shù)據(jù)大小：36.8 MB

更新時(shí)間：2020 年 12 月 7 日

下載地址：https://hyper.ai/datasets/14137

在產(chǎn)品化方面，Mantra 計(jì)劃上線封裝好的自動(dòng)翻譯引擎，不僅面向出版社提供漫畫的自動(dòng)化翻譯與發(fā)行服務(wù)，也會(huì)發(fā)布面向個(gè)人用戶的服務(wù)。

下面是我們從 Mantra 官方推特上選取的日漫《周邊男子》的部分翻譯成果，這部多格、輕耽美風(fēng)格的漫畫，以生活常用的數(shù)碼設(shè)備擬人化為背景，充滿歡樂與基情：

?

?

?

?

?

《周邊男子》日文原版及自動(dòng)化機(jī)器翻譯的中英文版本

識(shí)別、翻譯、嵌字，一步也不能少

具體的實(shí)現(xiàn)步驟，Mantra 研究團(tuán)隊(duì)在論文《Towards Fully Automated Manga Translation 實(shí)現(xiàn)漫畫全自動(dòng)翻譯》中進(jìn)行了詳細(xì)的解釋。

?第一步 定位文字?

在實(shí)現(xiàn)漫畫自動(dòng)化翻譯的第一步，就是提取文字區(qū)域。

但由于漫畫的特殊性，來自不同角色的對(duì)話、效果擬聲詞、文字標(biāo)注等等，都會(huì)展現(xiàn)在一幅漫畫圖片里，漫畫師會(huì)用氣泡、不同的字體、夸張的字體來展現(xiàn)不同效果的文字。

漫畫中的手繪、異形文字的識(shí)別成為了難點(diǎn)

研究團(tuán)隊(duì)發(fā)現(xiàn)，由于漫畫中的這些各種字體和手繪樣式，即使使用最先進(jìn)的OCR 系統(tǒng)（例如 Google Cloud Vision API），在漫畫文本上的表現(xiàn)很不理想。

因此，團(tuán)隊(duì)開發(fā)了針對(duì)漫畫優(yōu)化的文本識(shí)別模塊，通過檢測(cè)文本行和識(shí)別每個(gè)文本行的字符來實(shí)現(xiàn)對(duì)異形文字的識(shí)別。

?第二步 內(nèi)容識(shí)別?

在漫畫中，最常見的文字就是角色之間的對(duì)話，對(duì)話文字氣泡還會(huì)被切割成多塊。

這就要求自動(dòng)化機(jī)器翻譯需要準(zhǔn)確區(qū)分角色，還得聯(lián)系上下文注意主語(yǔ)的銜接、避免重復(fù)，這都對(duì)機(jī)器翻譯提出了更高的要求。

點(diǎn)擊放大查看場(chǎng)景分類、文本順序和情感識(shí)別流程

在這一步中，要通過上下文感知、情感識(shí)別等方式來實(shí)現(xiàn)，在上下文感知中，Mantra 團(tuán)隊(duì)用了文本分組、文本閱讀順序、提取視覺語(yǔ)義三種方式，實(shí)現(xiàn)了多模態(tài)的上下文感知。

?第三步 自動(dòng)嵌字?

Mantra 這一自動(dòng)化引擎，不僅能夠區(qū)分角色、聯(lián)系上下文準(zhǔn)確翻譯以外，還很好地解決了漫畫翻譯中的耗時(shí)最久、人力成本最高的環(huán)節(jié)——嵌字。

在嵌字這一環(huán)節(jié)中，首先要擦除嵌字區(qū)域，再進(jìn)行嵌字，由于日文、中文、英文字符的形態(tài)、拼寫、組合、連讀方式都不一樣，所以這一環(huán)節(jié)的難度也尤其大。

在這一步中，需要進(jìn)行：頁(yè)面匹配→檢測(cè)文本框→文字氣泡的像素統(tǒng)計(jì)→拆分連接的氣泡→語(yǔ)言間的對(duì)齊→文字識(shí)別→上下文提取。

?實(shí)驗(yàn)：?數(shù)據(jù)集與模型測(cè)試?

在論文中的實(shí)驗(yàn)部分，Mantra 團(tuán)隊(duì)提到目前并沒有包含多種語(yǔ)言的漫畫數(shù)據(jù)集，所以他們創(chuàng)建了 OpenMantra（已開源） 和 PubManga?數(shù)據(jù)集，其中OpenMantra?用于評(píng)估機(jī)器翻譯，包含 1593 個(gè)句子、848 個(gè)場(chǎng)景畫面和 214 頁(yè)漫畫，Mantra 團(tuán)隊(duì)已經(jīng)請(qǐng)專業(yè)翻譯人員將數(shù)據(jù)集翻譯成英文和中文。

OpenMantra 漫畫翻譯評(píng)估數(shù)據(jù)集

（同上文）

論文地址：https://arxiv.org/abs/2012.14271

數(shù)據(jù)格式：帶注釋的 JSON 文件和原始圖像

數(shù)據(jù)內(nèi)容：1593 個(gè)句子、848 個(gè)場(chǎng)景、214 頁(yè)漫畫

數(shù)據(jù)大小：36.8 MB

更新時(shí)間：2020 年 12 月 7 日

下載地址：https://hyper.ai/datasets/14137

PubManga?數(shù)據(jù)集用于評(píng)估構(gòu)建的語(yǔ)料庫(kù)，該數(shù)據(jù)集包含注釋：1）文本和框架的邊框；2）日語(yǔ)和英語(yǔ)的文本（字符序列）；3）框架和文本的閱讀順序。

為了訓(xùn)練模型，團(tuán)隊(duì)準(zhǔn)備了 842097 對(duì)日文、英文版的漫畫頁(yè)面，共 3979205 對(duì)日語(yǔ)-英語(yǔ)的句子。具體的方法可以閱讀論文，最終的模型效果評(píng)估由人工完成，Mantra 團(tuán)隊(duì)邀請(qǐng)了五位專業(yè)的日文-英文翻譯人員，以專業(yè)的翻譯評(píng)估程序給句子打分。

項(xiàng)目背后：有趣的靈魂一起學(xué)習(xí)

目前該篇論文已經(jīng)被 AAAI 2021 收錄，產(chǎn)品化的工作也在穩(wěn)步推進(jìn)中，從 Mantra 團(tuán)隊(duì)的推特中，我們看到已經(jīng)有不少漫畫成功使用了 Mantra 進(jìn)行自動(dòng)化機(jī)器翻譯。

這樣的寶藏項(xiàng)目，是由兩位東京大學(xué)的博士生完成的，CEO石和祥之介?（Shonosuke Ishiwatari），CTO?日南涼太（Ryota Hinami） 同在東京大學(xué)博士畢業(yè)，在 2020 年創(chuàng)立了 Mantra 團(tuán)隊(duì)。

?

Mantra CEO?石和祥之介（左）和?CTO?日南涼太（右）

CEO 石和祥之介，是東京大學(xué)信息科學(xué)系本科 2010 級(jí)入學(xué)，博士畢業(yè)于 2019 年。他主要專注于自然語(yǔ)言處理領(lǐng)域的研究和開發(fā)，包括機(jī)器翻譯和字典生成，也是本篇論文的第二作者。

值得一提的是，石和祥之介的研究經(jīng)驗(yàn)豐富，不僅曾經(jīng)在 CMU 交流訪學(xué)，還曾于 2016-17 年在位于北京的微軟亞洲研究院實(shí)習(xí)半年，當(dāng)時(shí)他在MSRA 首席研究員劉樹杰團(tuán)隊(duì)從事 NLC (Natural Language Computing)? 自然語(yǔ)言計(jì)算的研究。

CTO?日南涼太石和祥之介同年入學(xué)，專注于圖像識(shí)別領(lǐng)域。在 2016-17 年同期和石和祥之介，一同在微軟亞洲研究院實(shí)習(xí)。

這樣的一對(duì)技能互補(bǔ)的小伙伴，完成了 Mantra 的大部分工作，是不是從發(fā)量到成果都很讓人羨慕呢？

如果想了解更多關(guān)于 Mantra 的信息，大家可以訪問論文（https://arxiv.org/abs/2012.14271）、項(xiàng)目官網(wǎng)（https://mantra.co.jp/）或下載數(shù)據(jù)集（https://hyper.ai/datasets/14137），進(jìn)行進(jìn)一步研究。

總結(jié)

以上是生活随笔為你收集整理的漫画翻译、嵌字 AI，东京大学论文被 AAAI’21 收录的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。