あなたはまだ、Deepdub の名前を聞いたことがないかもしれない。2019年にイスラエルのテルアビブで設立されたこのオーディオテック・スタートアップは、同社が録音・公開している音声をもっと多くの人に聞いてもらおうとしている。

Deepdubは、ビデオ、オーディオトラック、ゲーム、その他のメディアで音声をダビングするための人工知能（AI）ツールを提供し、話者が母国語でボーカルトラックを録音し、AI の力を借りて、独自のオリジナルの声の響きを保ちながら、自分の言葉を他の多くの言語や方言に翻訳することを可能にする。

また、ビデオのリップシンクも提供し、翻訳されたビデオは、スピーカーが実際に他の言語で流暢にコンテンツを録音したかのように自然に見える。

今週、同社は新たなサービスを発表した。それは、声優が自分の声を録音し、それを将来AIが生成するボーカルトラックのソースとし、AI クローン音声が新たな制作物で使用されるたびに支払を受けることができるロイヤリティプログラムである。

Deepdub のCEO 兼共同設立者  Ofir Krakowski 氏は、プレスリリースの中で次のように語った。

Deepdub では、声優がその芸術性とスキルに対して正当な報酬を得られるようにしたいと考えています。当社の声優ロイヤリティプログラムは、パフォーマーが倫理的で相互に有益な方法で、拡大する AI ボイステックの世界を利用することを可能にします。

AI の制作したコンテンツに、自分の声を吹き込んでマネタイズ

理論的には、声優の経験レベルを問わず、誰でも Deepdub のロイヤリティプログラムのために自分の声を録音することができる。

このフォームでは、基本的な位置情報と個人を特定する情報、そして仕事のステータス（フリーランサーか組織内で働いているか）をユーザに尋ねる。また、ユーザが著名な声優であるかどうか、経験年数、IMDBのプロフィールページがあるかどうかも尋ねられる。

デモビデオや自分のボーカルスタイルを示すクリップを持っているユーザは、インテークフォームにそのリンクを記入することもできる。

プレスリリースの中で、DeepDub はこのプログラムはプロの声優を対象としており、声のサンプルを提出する必要がある。承認されると、彼らは Deepdub の音声マーケットプレイスに追加され、そのボーカルプロフィールはオーディオビジュアル作品で使用できるようになると述べている。

声優らは、自分の声を AI のソースにすることで、どれだけ稼げるのか

Deepdub は、今後 AI が制作したファイルに自分の声が使われるたびに、声優がどれだけの金額を受け取ることになるのか、正確な情報を提供しなかった。これについて尋ねられた広報担当者は、VentureBeat に以下のように答えた。

ロイヤリティプログラムは、登録することを選択した声優に持続可能な収入源を提供することを目的としています。声優には、彼らの声を利用したプロジェクトごとに報酬が支払われ、コンテンツの配信や販売に基づいて報酬が支払われることはありません。プロジェクト料は、プロジェクトの規模、言語、地域、声が使用される特定の声優によって異なります。

経験豊富なエンタメ業界エグゼクティブが支援

技術起業家、エンジニア、科学者、吹き替えやポストプロダクションのスペシャリストで構成されるチームを擁するDeepdubは、その経験と構築した技術で、エンターテインメントにおける言語と文化のギャップを埋めようとしている。

同社の諮問委員会のメンバーには、HBO Max の元チーフコンテンツオフィサー Kevin Reilly（ケビン・レイリー）氏、Fox Television Studios の元社長 Emiliano Calemzuk（エミリアーノ・カレムザック）氏がいる。

したがって、Deepdub の webサイトで宣伝されている使用例の中に、映画/テレビシリーズ、ドキュメンタリー、YouTube／ビデオ・オンデマンド（VOD）があるのは驚くことではない。 実際、同社の web サイトのバナーには、吹き替えコンテンツがすでにAmazon Prime Video、Apple TV+、Hulu、Netflix、Peacockな ど、世界中の主要なストリーミング・プラットフォームで紹介されていることが強調されている。同社は、具体的にどのようなタイトルに同社の作品が登場したかは明らかにしていない。

しかし、Deepdub の web サイトに掲載されている使用例によると「企業ビデオ（新入社員向けのトレーニングビデオなど）」、広告、さらにはポッドキャストやオーディオストーリーテリングなど、エンターテインメント分野でさらに幅広い顧客にアピールしたいと考えているようだ。

Deepdub は、同社の技術を使用するビデオやオーディオのクリエイターやスタジオは、ダビングされたオーディオの制作に70％の迅速なターンアラウンドタイムを達成し、オーディオダビングの支出を50％削減できると主張している。

AI 吹き替えと音声翻訳は、ますます競争が激化

しかし、Deepdub は AI 吹き替え／音声翻訳サービスにおいて、競争が激化する市場にいる。

VentureBeat も時折取り上げている Captions も同様の機能を提供している。

元 Palantir 社員によって設立され、今年初めの時点で少なくとも約1億米ドルの評価を受けている ElevenLabs も、純粋な AI 生成音声と 20カ国語の吹き替えを提供している。

また、オープンソースの選択肢もあり、ロイヤリティは支払われないが、実質的に無料で使用できるという利点がある。

AI 版アーティストの使用に対してロイヤリティや支払いを提供しようとしている企業のひとつが、俳優 Tom Cruise（トム・クルーズ）氏のパロディ動画という形で TikTok で 流行したディープフェイク技術の魅力的なデモから生まれた Metaphysic だ。

しかし、イギリスのスタートアップでパフォーマンス管理サービス「Metaphyic PRO」は、アーティストの全身を3D スキャンし、ボーカルスタイルだけでなく、それらを収益化することを支援するように設計されている。

【via VentureBeat】 @VentureBeat

【原文】