BRIDGE

タグ Mantra

マンガ専用の多言語翻訳システム「Mantra Engine」正式公開、さらなる精度向上の構想も

SHARE:

ニュースサマリ:マンガに特化した機械翻訳技術および法人向けサービスを展開するMantraは7月28日、多言語翻訳システム「Mantra Engine」の正式版を公開した。Mantra Engineはマンガの高速な多言語展開を可能にする、出版社およびマンガの制作・配信事業者を対象にした法人向けクラウドサービス。 マンガの翻訳版制作に関わるほぼすべての作業をブラウザ上で可能にすることにより、簡便な操作…

mantra2
『Mantra Engine』動作画面 ©️Kuchitaka Mitsuki

ニュースサマリ:マンガに特化した機械翻訳技術および法人向けサービスを展開するMantraは7月28日、多言語翻訳システム「Mantra Engine」の正式版を公開した。Mantra Engineはマンガの高速な多言語展開を可能にする、出版社およびマンガの制作・配信事業者を対象にした法人向けクラウドサービス。

マンガの翻訳版制作に関わるほぼすべての作業をブラウザ上で可能にすることにより、簡便な操作性と、関係者全員で進捗を共有できる利便性を実現している。

同社が開発したマンガ専用の機械翻訳技術とプロの翻訳者による修正・校閲を本システム上で組み合わせることにより、従来の翻訳版制作のワークフローの約半分の時間で翻訳版の制作が可能となる。対応言語は英語・中国語(簡体字)から開始し、順次追加を予定している。

話題のポイント:マンガの海外展開、海賊版による経済的損失問題の解決を目指すMantraが手がける「Mantra Engine」の主な役割は「文字認識」「機械翻訳」「自動写植」の3つを素早く実行することです。電子版の普及を背景にライセンス運用から多言語配信で売り上げを拡大したいマンガ業界にとって、週刊連載にも対応できる仕組みは強力な武器と言えるでしょう。

テクノロジー企業の共通事項ではありますが、特にAI企業にとっては自動処理できる範囲が拡大すればそれだけ付加価値が大きくなります。コアなデータへのアクセス確保ができたら、次はストックし続けるデータを活かす手を考えていく必要があります。

Mantra代表取締役の石渡祥之佑氏は、今回の正式版から追加された「用語集」こそがまさに機械翻訳の一番大きな課題に対する解決策になると期待を寄せていました。

マンガでは作品・作家独特の固有名詞が数多く登場します。一般的にGoogle翻訳を利用する場合は、同じ固有名詞を含む文章を読ませて同じミスを繰り返しても受け取り手で処理できますが、すべて訂正するのは物凄い労力となります。新しく登場するごとに登録できるというのはシンプルですが効果は大きいです。

mantra3
Image Credit:Mantra

「用語集」は自動翻訳されたものに対して、翻訳者がどこを訂正しているのかをエラー分析するというアプローチでしたが、今後は動的な方法も検討してるそうです。

すでに学習済みのモデルを関連したタスクに応用する手法である転移学習の一種であるドメイン適応を用いることで、1ページ目の翻訳訂正を2ページ目の自動翻訳に適応することで精度を向上させるアプローチを構想していると言います。

しかし、あくまで「用語集」や「動的アプローチ」は機械翻訳の汎用的な精度向上手段です。セリフが横書き、推理マンガの長文、少女マンガのモノローグなど、マンガの自動翻訳という大きな括りで見ると、作品ごとに「文字認識」「機械翻訳」「自動写植」を適用させるような努力が今後も必要となります。

課題の優先度が横並びな分、相談された作品に必要な要素から取り組んでいくとのことでした。インパクトの大きな課題から取り組む優先順位を決めていくのがセオリーだとは思いますが、目の前の顧客を一人ひとり満足させていく過程が全てMantra Engineの外形を作り上げていく、これもターゲット領域にマッチした正攻法なのだと感じます。

マンガの自動翻訳が救う「経済損失」、海外市場に挑戦するMantraの可能性

SHARE:

最近の自動翻訳への不満は一昔前と比べると格段に減ったように思います。私は海外記事の引用をすることが多いため自動翻訳を頻繁に使いますが、意味の理解にストレスを感じることはありません。テキストデータであればGoogle翻訳、DeepL。音声であればYoutubeの音声自動翻訳とネットを通した言語の壁はなくなりつつあります。 ただし、画像データは例外です。一般的な記事には多くありませんが、企業のリサーチ…

mantra3
『Mantra Engine』による高速なマンガ翻訳 ©︎朽鷹みつき

最近の自動翻訳への不満は一昔前と比べると格段に減ったように思います。私は海外記事の引用をすることが多いため自動翻訳を頻繁に使いますが、意味の理解にストレスを感じることはありません。テキストデータであればGoogle翻訳、DeepL。音声であればYoutubeの音声自動翻訳とネットを通した言語の壁はなくなりつつあります。

ただし、画像データは例外です。一般的な記事には多くありませんが、企業のリサーチをしていると構造化された図と文字がセットのJPEGがHPに張られているケースが少なくありません。英語であれば多少教養があるので読めますし、最悪Google翻訳に手で入力できるので問題はありませんが、中国語やスペイン語、フランス語で書かれていてはお手上げです。

紙であれば光学的文字認識(OCR)が広く活用されていますが、わざわざ印刷して読み取るのは手間であるのに加えて、リーズナブルに精度の良いOCRを利用することは難しいのが現状です。私が抱えるこの小さな課題は「画像データの自動翻訳」という視点で見えると、まさに大きな課題となっている業界が存在します。

それがマンガです。

日本文化の一つとして世界中に知られるようになったマンガ。私がホームステイした時も、所属していた研究室の留学生とも、最初のコミュニケーションはマンガ・アニメについてでした。文化的な橋渡しの役割を担うマンガが海外に出るときには当然のことながら翻訳されます。

紙に描く場合はもちろんですが、PCで描く場合でもエンコードせずにセリフ・効果音のレイヤーだけを別にして扱うのは不便であるため、自動翻訳するには画像データからテキストだけを読み取って翻訳することが求められます。しかし、これが難しい。

名刺や資料のようにある程度フォーマットが決まっていれば文字認識のルール作りは大変ではあるものの困難ではありません。フォント、場所、誰のセリフなのか、吹き出しの中の読む順番、マンガを正しく翻訳するために必要な情報は複雑です。

mantra2
右上:山中武氏、左上:CTO日並遼太氏、右下:関野遼平氏、左下:CEO石渡祥之佑氏
Image Credit:Mantra

そこで今回は、マンガ特化の自動翻訳を実現する「Mantra」創業者の石渡祥之佑氏に海外のマンガ市場と、マンガ特化の自動翻訳とは一体どんな技術なのかについてオンライン取材を実施しました(太字の質問はすべて筆者、回答は石渡氏)。

同社は6月8日にディープコア(DEEPCORE)、合同会社DMM.com(DMM VENTURES)、レジェンド・パートナーズ、およびエンジェル投資家らを引受先とする第三者割当増資により、合計約8,000万円の資金調達を実施しています。

マンガの海外市場について教えてください

アメリカの場合でいうと、漫画にお金を払っている人は日本の1/3程度です。人口が日本の約3倍いるので結構少ないですが、マンガファンが少ないわけではありません。海賊版で読んでいる人が多い状況です。

海外における日本マンガの売り上げは1380億円だと伺いました。かなり小さい印象です。

そうなんです。ただし海外の売り上げは伸び続けています。国内はシュリンクしてて、電子も合わせるとトントンといった感じなので、出ていかないといけない、という思いはあるにはある状況です。

海外ではマンガは紙と電子、どちらが売れているんですか

熱狂的なファンが紙で出ているものを買うケースが多いです。日本だと電子が増えきて半々くらいですが、海外での日本漫画の電子版の売り上げは少ないです。

日本の出版社が製本までのフローを開拓しているんですか、それともライセンスを運用する形ですか

今までは後者が多かったらしいです。日本の出版社の中に海外ランセンス部門があって、海外の出版社からの問い合わせに対して、契約を取り付ける。翻訳、印刷、出版は向こうの出版社がメインでやる形です。紙の場合、海外の出版社が版の開拓、在庫のコストなどリスクを負っている分、日本の出版社の取り分は8%だと言われています。

mantra4
Image Credit:Mantra

 

さらに取り分の8%から出版社と作家さんに分けるとなると、単価が安いマンガでは作家さんの海外に出るメリットが薄い状況と言えそうです

本当にそうだと思います。海外で出版された作家さん達にヒアリングしましたが、別に儲かったりしないと聞くことが多かったです。

この状況が変わりつつあると

全体的な流れとしては、電子版をきっかけに日本の出版社が主体となって出版するようになってきています。「MANGA+」が集英社が主体となって英語版を出しているのは良い例です。電子版だけしか出さないのならば販路の問題もなくなる。当然、ピンハネされていた部分がなくなるので、もし売れるんだったら作家さんも出版社も嬉しいですよね。最近その流れが始まりつつあると思っています。

それにMantraはどのように関わってくるのでしょうか

国内のプレイヤーが自分たちで出していきたいとなった時、今までやらなかった工数をやる必要が出てきます。例えば翻訳です。外注してクオリティーチェックするのは大変なので、それをサポートするのがMantraの技術です。

週刊連載を英語版を出そうと思うと、かなりの速度で作業をすることが求められます。翻訳会社とのデータのやり取り、スケジュール調整、修正箇所の訂正。Mantraは一週間以内にできるのを目指すワークツールも含んだプロダクトで、オペレーションが大変になるところをお手伝いしたいと考えています。

ここで気になることがあります。なぜ、Mantraは「一週間以内にできる」ことを明言するほど速度にこだわるのでしょうか?

これには海賊版サイトという大きな問題が絡んでいます。

2018年「漫画村」「Anitube」「Miomio」の3つの海賊版サイトが閉鎖されました。国の知的財産戦略本部・犯罪対策閣僚会議「インターネット上の海賊版サイトに対する緊急対策」で悪質サイトとして実名を挙げられ、サイトブロッキング政策の対象となった結果です。昨年「漫画村」の運営者が逮捕されたのも記憶に新しいと思います。

特に「漫画村」は大きなサイトで、2018年3月時点の月間ユニークユーザ662.1万人、出版物流通額ベースの被害額は約3,000億円と推計されていました。ほとんどが日本国内からのアクセスであったため、国主導のサイトブロッキングで被害の大部分を防げたのは喜ばしいことです。しかし言い変われば、日本国外の被害は全く防げていないということでもあります。

当然、日本のコンテンツを扱うオンライン海賊版は世界中に存在します。経産省の報告によると、特に被害の大きいアメリカでは1.3兆円、その内マネタイズ可能と期待できるのは40%の5,369億円になるとのこと。次いで中国、フランス、韓国と日本文化への関心に比例して被害額が大きくなるのは皮肉なものです。

ここで厄介のは、海外サーバと回線を伝って消費される海賊版サイトは日本の意向だけで動かせるものではないという点です。上記3サイトの閉鎖は、権利者からの申し立て、捜査当局の調査、国会および官僚関係者間での議論の末に法制化に向けて動き出し、NTTグループがこれに応じてアクセス遮断を実施したことで実現されました。

日本でサイト摘発を行う場合でもこれだけ大掛かりであることを踏まえると、各国で実施することの難しさは想像に容易いでしょう。日本の経済的機会損失を一意に解決できないところに海賊版問題の難しさがあります。

 

mantra7
Image Credit:Mantra

他方、海賊版サイト利用者の声には面白いヒントがあると石渡氏は言います。

海外のユーザに海賊版を使う理由をヒアリングしたところ、「自分が読みたいものが出版されない」「正規版の更新が遅い」が1、2番で、その次に「無料で読みたい 」という理由でした。他にも「進撃の巨人の最新話が自分の言語で読めるなら金は払うよ」と言われたことがあります。海賊版が強いのは事実ですが、海賊版がユーザの核心をついているのかと言われればそうではない。

特に重要なのが速度なんです。僕たちだって熱狂的に好きな作品なら100円で一日早く読めるなら出しますもんね。

Photonic System Solutionsが実施した調査によると、今の海賊版サイトは日本で出版される前よりも早く違法アップロードが確認されるとのことです。店舗に並ぶまでのどこかで流出している可能性が高いわけですが、更に電子版が普及すればそのリスクも減ります。正規版が最初に登場するのが保証されていて、かつ多言語ならば、正規版への誘導が叶って市場の正常化が達成される可能性は十分にあるでしょう。

ただし「漫画村」の事例を踏まえると、正規版の世界同時配給が海賊版を完全に撲滅することは難しいと言えます。オフェンスとディフェンスのように配給体制とサイトブロッキング体制の両輪が海賊版サイトによる被害を最小にするために必要になると石渡氏は語ってくれました。

さて、ここからは話少し変えて、マンガ特化の自動翻訳とは一体どんな技術なのかについて聞いていこうと思います。

mantra6
Image Credit:Mantra

マンガ特有の自動翻訳の難しさとは一体どこでしょうか

マンガは線で書かれた絵の上に、線で描かれた文字がランダムにあちこちに配置されています。読む順番もルール化できません。(同じ吹き出し内にも順番を把握して読まないといけないセリフがある)さらに、多種多様なフォントがあり、手書きで書かれているケースも多いです。マンガ専用の文字認識が必要なのはこれが理由です。

具体的にはどのようなものを作ったんですか

「文字認識」「機械翻訳」「自動写植」の3つです。読んで、翻訳して、書く。

読むことに関しては、マンガ特有のフォント変形に対応。翻訳に関しては、マンガの文脈を考慮しながら翻訳。自動写植に関しては、吹き出しにきれいに収まるようにフォントのサイズ、テキストに位置を認識しながら写植する技術です。

マンガの文字を正しく読む「文字認識」ではどこを作り込んだのでしょうか

文字認識エンジンが背景の上にある文字をたくさんみて学習すれば対応できるようになります。ただし、そのような学習データは存在しません。学習データには絵とテキストのペアが必要になるので、このペアを人工的に作りました。学習データを人工的に自動的に作る技術が肝になっています。

※上記内容は論文査読中。

mantra5
Image Credit:Mantra

「機械翻訳」では文脈を理解するのに自然言語処理を活用するんですか

画像処理と自然言語処理の両方を使用します。例えば自然言語処理でわかる文脈はテキストだけです。マンガの場合は、絵とテキストが両方混ざっています。このセリフを言っているのは誰なのか、吹き出しの順番はどうなっているのか、画像的な情報も考慮しながらじゃないと上手に翻訳できません。両方を組み合わせて初めて文脈を捉えることができます。

マンガでのセリフは言い回しが独特だったりします。そのようなものにも対応できるでしょうか

マンガの訓練データがないとマンガの翻訳が精度良くできません。マンガの英語版と日本語版を買ってきて、読み込ませると吹き出しを認識して自動で対訳テキストの集合を取り出してくる技術を作りました。これがマンガドメインの翻訳エンジンを作るためのベースとなっています。

※上記内容は国際特許出願中

日本語版と英語版を対応させること自体は複雑そうではなさそうですが、学習データ自体は参入障壁になりそうです

意外とだるいんですよね。2枚の画像を重ね合わせて取ってくるだけだと簡単なんですけど、変形されていたり、英語版だとページごと抜かれていることがあります。それをいい感じに抜き出してくる技術が翻訳エンジンを作る上では必要不可欠でした。

「自動写植」にも機械学習を活用しているのは意外でした

一般的な翻訳はテキストからテキストに変換する作業なので、普段フォントサイズは意識しません。しかしマンガでは絵から絵に変換することを求められます。フォントサイズ、どこに配置するのか、テキストボックスの縦横幅を考慮した写植する技術が必要です。そのため翻訳したテキストを組版するというのは機械学習を活用できるタスクの一つになります

AIの種を作るための技術作りから始まって、End-to-Endの翻訳エンジンを完成させたMantra。さらには人間によるクオリティーチェック体制を簡単に構築するためのウェブのインターフェイスも自社で持つため、「マンガの翻訳」というタスクが一箇所に収納される形を取れています。

もちろん、法人向けには一度導入したらなくてはならないツールになるでしょう。しかしこれからのマンガ市場を左右するのは今だ「素人」の人たちの爆発力なのではないかと感じます。SNSで話題となり単行本化、アニメ化。小説投稿サイトからデビューといった話は今では珍しくありません。

“ 世間 ”に自分の作品の良し悪しを問いかけることが自由になったのならば、” 世界 “に問いかけるのだって自由になった方が良い。Mantraの技術を見ていて一番に感じたのはSNSが登場したときに感じた感情に少し似ていました。

mantra1
Image Credit:Mantra

最後に、このことについて聞いてみると「新しいクリエーター支援という形で、いつかサポートしたい」と力強く語ってくれました。

本当にやりたいのは、マンガの流通から言語の壁を取り払うことです。我々が読めないだけで、韓国の面白い作品だってたくさんあるでしょう。

法人を通して出てくる作品だけではなく、Webマンガでも面白い作品はたくさんあります。いつか個人向け作品のサポートをやりたい気持ちは強いです。

石渡さん、お話聞かせていただきありがとうございました。

東大IPC、起業支援プログラム「1st Round」第1期の支援先スタートアップ6社を発表

SHARE:

東京大学協創プラットフォーム開発(東大 IPC)は10日、同社の起業支援プログラム「1st Round」第1期の支援先を発表した。 支援先に採択されたスタートアップは、マンガの自動翻訳エンジン・多言語配信プラットフォームを開発する Mantra、脳梗塞・くも膜下出血に対する手術支援 AI を開発する iMed Technologies、AI による需要予測と自然言語処理を開発するイライザ、内視鏡手…

Image credit: UTokyo IPC

東京大学協創プラットフォーム開発(東大 IPC)は10日、同社の起業支援プログラム「1st Round」第1期の支援先を発表した。

支援先に採択されたスタートアップは、マンガの自動翻訳エンジン・多言語配信プラットフォームを開発する Mantra、脳梗塞・くも膜下出血に対する手術支援 AI を開発する iMed Technologies、AI による需要予測と自然言語処理を開発するイライザ、内視鏡手術支援 AI を開発する Jmees、外食産業向けロボットを開発するスマイルロボティクス、シルク(蚕)フードの開発・販売を行うエリーの6社。

これらのスタートアップはプレシード段階ながら、既に MVP が完成しているなど、インベストメントレディなスタートアップが多い(その点では、同プログラムは一般的なインキュベータよりは、アクセラレータやスケーラレータに近い性格を持つとみられる)。

1st Round には、JR 東日本スタートアップ、芙蓉総合リース、三井住友海上、三井不動産、三菱重工業、竹中工務店の6社が企業パートナーに迎えられており、東大 IPC は主に支援先スタートアップの今後の資金調達や協業先開拓の面で支援を行うとみられる。

東大 IPC では 1st Round を始める前、よりアーリー段階のスタートアップを対象とした事業化資金や経営の支援を行う「起業支援プログラム」を2017年から展開していた。1st Round の第2期の募集(web サイト上には、これまでに3回開催した起業支援プログラムからを通算でカウントし第五回と記されている)は今月1日から開始されており、締切は2019年12月2日となっている。

via PR TIMES

SXSW 2019 Interactive現地レポート——落合陽一氏プロデュースの「New Japan Islands」がオープンなど

SHARE:

本稿は、SXSW 2019(サウスバイサウスウエスト 2019)の取材の一部である。 SXSW Interactive がテキサス州オースティンで始まった。SXSW については、ここ数年連続して取り上げているので、詳細については省略するが、イベントと呼ぶには物足りない、街をあげた世界で最もクリエイティブな祭典の一つと言ってよいだろう。 SXSW Interactive のほぼ前半、ここまでで目に止…

本稿は、SXSW 2019(サウスバイサウスウエスト 2019)の取材の一部である。

SXSW Interactive がテキサス州オースティンで始まった。SXSW については、ここ数年連続して取り上げているので、詳細については省略するが、イベントと呼ぶには物足りない、街をあげた世界で最もクリエイティブな祭典の一つと言ってよいだろう。

SXSW Interactive のほぼ前半、ここまでで目に止まった、いくつかのハイライトをランダムに書いてみる。

The New Japan Islands(NJI)

経済産業省の主催、ソフトバンクらの協賛、メディアアーティストの落合陽一氏プロデュースで開設された「The New Japan Islands(NJI)」。その名の通り、「デジタル発酵する風景」をコンセプトに近未来の日本を、食やデジタル文化、サブカルチャーなどの分野にスポットライトを当て表現している。

NJI 開設初日となった10日には、落合氏のほか、経済産業省の宇留賀敬一氏ら関係者が神式で NJI の成功を祈った。この施設では、日本酒メーカー、印刷会社有志、福井県の永平寺などがプロダクトや宗教・文化などを紹介しているほか、夜には J-POP を扱ったディスコイベントやカラオケ大会が行われる。12日には、東北大震災犠牲者を忌って黙祷が捧げられた。

LG

モルト、ホップ、イースト菌、フレイバーなどをカートリッジ投入するだけで、好みのビールを自宅で醸造できる「LG HomeBrew」。マシンがカートリッジ表面に印刷された QR コードを読み取り、発行・熟成・加熱・冷却などを最適化されたタイミングで自動的に行ってくれる。

せっかくなのでこのマシンで醸造されたビールを味わってみたかったのだが、実際に来訪者に提供されたのはヒューガルテンだった。このほか、アイスクリームのホームメイドマシン、スワロフスキーとコラボして制作されたモバイルデバイスなどが展示されていたが、いずれもコンセプトモデルということで現時点では販売の予定は無い模様。

Todai to Texas(TTT)

例年、東大から学生チームを SXSW に派遣する「Today to Texas(TTT)」。TTT が出展する日本パビリオン周辺では、世界各国のスタートアップブースがしのぎを削っているが、特にユニークさと見た目の奇抜さで TTT のチームは群を抜いていたように思う。

JellySurf は、加速度センサーと LED を内蔵したサーフボードだ。透明なボードに LED が埋め込まれており、ユーザの動きに同期してイルミネーションが彩りを見せる。サーフィンの上達を意図して制作されており、ユーザは光の動きを狙って身体の重心を変えるなどしトレーニングができるほか、集積されたデータによって、さらに良いトレーニングプラグラムを作り出せる可能性もある。

Mantra は、マンガをスキャンするだけで翻訳版を作り出せるプラットフォーム。すでに原語のほか、複数原語で出版済のマンガを使って教師データとして用い AI に学習させている。回を重ねるごとに、より的確な翻訳結果が導き出され、吹き出しには翻訳されたセリフが入った状態で印刷される。翻訳版が出ていないマンガタイトルの翻訳、翻訳出版までに時間を要する問題の解決を狙う。

金属棒にドローンが4つ備えられた「浮遊棒」は、バーチャルリアリティ(VR)と捕まっている棒の重さに変化をつけることで、ユーザがあたかも宙を舞っているかのような体験を仮想的にもたらすことができるデバイスだ。

電通

昨年の電通の出展からは「Sushi Teleportation」を取り上げたが、それをもう一歩進めた形の未来型寿司レストランとして「Sushi Singularity」が出展されていた。オンラインで CGM 的に編集・想像された新たな寿司の誕生、ヘルスデータに基づいた栄養素の個人最適化、フード製造 3D プリンタを使った距離や場所にとらわれない寿司体験の実現が目標。2020年には Sushi Singularity の開店を目指している。

女性の乳房の形を模した IoT デバイス「Father Nursing Assistant」は、母親がいない時にも、父親が代わって、赤ちゃんの授乳や寝かしつけができるようにすることを狙ったものだ。男性が胸に装着することを想定しており、一方の胸には乳首が、もう一方の胸にはミルクタンクが備わっている。アプリと連携し授乳や入眠タイミングを検知、視覚的に赤ちゃんの状態を把握できる。

新たな移動手段

SXSW の間では、Uber、Lyft、Ride Austin といった配車アプリが多用されているのは言うまでもなく、今年から導入されて注目を集めるのは e スクーターだ。電動スクーター専業の Lime はもとより、Uber が運営する「Jump」、Lyft は昨年 Motivate を買収して誕生させた「Lyft Bikes」などを市内中心部で展開。

オースティン市内は SXSW 期間中、交通規制が敷かれていてクルマは入域できないのに加え、会場から会場(Austin Convention Center や付近のホテル)の移動は、クルマを使うには近いけど歩くには少し遠いかもしれないという、まさに「帯に短く襷に長い」状態。このラストマイルアクセスを埋めるのが電動スクーターというわけだ。これは興味深い試みである。

<関連記事>

第一弾はここまで。追って、セッションやピッチコンペティション、サイドイベントの様子を続編をお伝えする。