AI 動画技術の競争が激化する中、16日にまた新たな展開があった。サンフランシスコを拠点とし、Google、Meta、Adobe、Apple の元エンジニアたちが設立したスタートアップ Luma AI が、競合の AI 動画スタートアップ Runway が独自の API を発表してからわずか数時間後に、Dream Machine 動画生成モデルの API を発表した。

Dream Machine API により、個人のソフトウェア開発者、スタートアップの創業者、大企業のチームに所属するエンジニアなどのユーザは、Luma の人気動画生成モデルを基盤としたアプリケーションやサービスを構築できるようになる。

これにより、AI 動画技術が世界中のより多くのアプリ、チーム、ユーザに提供されることになり、Luma AI の Web サイト外で全く新しい種類の AI 動画生成機能が実現可能となる。API 発表以前は、Dream Machine で AI 生成動画を作成する唯一の方法は Luma のウェブサイトを通じてだった。

Dream Machine や Runway などの AI 動画モデルは、以前に投稿された数百万のクリップを学習することで機能する。場合によっては、明示的な許可や報酬なしにこれらのクリップを使用している。これらのクリップは「埋め込み」と呼ばれる数学的構造に変換され、ユーザのテキストプロンプトやアップロードした静止画像（モデルが自動的にモーションに変換する）に基づいて、類似または概念的に関連する映像を生成できるようになる。

また、競合のニューヨーク市を拠点とする Runway とは異なり、Dream Machine の API は今すぐ使用開始できる。Runway は小規模チーム向けと大企業向けの2つのバージョンの API をそれぞれ Google Forms のウェイトリストを通じて発表した。すでに、ニューヨークを拠点とする AI コードリポジトリ「Hugging Face」の開発者たちが、Hugging Face の公開 Web サイト上にデモバージョンを実装している。

demo is up on @huggingface: https://t.co/drWJtC1lmR https://t.co/L1Q08a1JvY pic.twitter.com/DXNSr4jN75

— AK (@_akhaliq) September 16, 2024

Luma AI の共同創業者兼 CEO Amit Jain 氏は、プレスリリースの一部として発表された声明で、次のように会社のビジョンを説明している。

私たちのクリエイティブインテリジェンスが、世界中の開発者やビルダーに利用可能になりました。Luma の研究とエンジニアリングを通じて、視覚的な探索と創造の豊かな時代をもたらすことを目指しています。これにより、より多くのアイデアが試され、より良いナラティブが構築され、これまで語ることのできなかった人々によって多様なストーリーが語られることを期待しています。

Luma の Dream Machine API と Runway の API は、Adobe が「企業にとって安全な」Firefly Video AI モデルをプレビューしてからわずか 1 週間後に登場した。Adobe の Firefly Video は、パブリックドメインのデータまたは Adobe が直接ライセンスを持つデータのみを使用して学習されている。しかし、Adobe の Firefly Video は現在、個人ユーザにはウェイトリストを通じてのみ利用可能であり、企業やチームが別のアプリを構築するための API としては提供されていない。

Dream Machine の急速な台頭

Dream Machine は2024年6月にパブリックベータ版としてデビューし、その高度なリアリズム、比較的速い生成時間、アクセシビリティで、ユーザや AI クリエイターを即座に驚かせた。特に、OpenAI のまだ非公開の Sora モデルと比較して注目を集めた。

Luma はまた、以前に Discord サーバを通じて「Genie」という静止画像および3D アセット生成 AI モデルをリリースしている。最近、Dream Machine をアップグレードし、選択されたカメラモーションのドロップダウンメニューを追加することで、より多くの制御を可能にした。

現在、Luma AI の広報担当者 Caroline Ingeborn は VentureBeat に電子メールで回答し、「ユーザ数と生成数の指標に基づいて」Dream Machine が「世界で最も人気のある動画モデル」であると主張している。

Luma Dream Machine API の機能と能力

Dream Machine API は Dream Machine の最新バージョン（v1.6）を搭載しており、いくつかの高度な動画生成ツールを提供している：

• テキストから動画 … ユーザは単にテキスト指示を提供するだけで動画を生成できる。プロンプトエンジニアリングの必要性がなくなる。
• 画像から動画 … 静止画像を自然言語コマンドを使用して即座に高品質のアニメーションに変換できる。
• キーフレーム制御 … 開発者は開始と終了のキーフレームで動画作成をガイドし、ナラティブの流れをコントロールできる。
• 動画の拡張とループ … API を使用して動画シーケンスを延長したり、シームレスなループを作成したりできる。UI ビジュアルやマーケティングコンテンツに理想的。
• カメラモーション制御 … この機能により、ユーザは単純なテキスト入力を通じて動画シーンを指示でき、生成された動画の視点や動きを細かく制御できる。
• 可変アスペクト比 … API は異なるプラットフォーム向けに最適化された動画を生成でき、動画と画像編集の複雑さを排除する。

Dream Machine API は、動画作成プロセスを簡素化するように設計されている。開発者は複雑な動画編集ツールを必要とせずにこれらの機能をアプリケーションに統合でき、ユーザはストーリーテリングと創造に集中できる。

アクセシビリティと価格設定

Luma AI の Dream Machine API の主要な目標の一つは、高品質の動画作成へのアクセスを民主化することだ。

Jain 氏は、この技術を広く利用可能にすることへの会社の dedication を強調し、次のように述べている。

私たちは、これらの強力な技術をできるだけ多くの人々が利用できるようにすることを信じています。これは Dream Machine の立ち上げ時に行ったことであり、私たちは膨大な量のことを学びました。開発者たちと一緒に学び、彼らが Dream Machine で何を構築するかを見ることに興奮しています。

API の価格設定は競争力があり、生成される100万ピクセルあたり0.32米ドルとなっている。これは、解像度720p で24フレーム／秒の5秒間の動画の場合、0.35米ドルに相当する。

この価格モデルにより、小規模な開発者でも禁止的なコストに直面することなく、プラットフォームを実験し活用することができる。

ただし、Runway の公開価格設定がないため、現時点では価値の面で両者を比較することはできない。

企業向けにスケーラブル

Dream Machine API はすべての開発者に公開されているが、Luma AI は大規模な企業や組織向けに「Scale」オプションも導入している。

このオプションでは、より高いレート制限、パーソナライズされたオンボーディング、エンジニアリングサポートが提供される。

Jain 氏によると、Scale オプションは企業クライアントからの需要に直接応えたものだという。

Dream Machine の初日から、より大きな企業や組織から、私たちのモデルへのアクセスについて膨大な関心が寄せられていました。そこで今日、私たちは Scale オプションを立ち上げ、顧客とその幅広いユースケースにサービスを提供できることを嬉しく思います。

責任ある使用とモデレーション

Luma AI は、AI フィルターと人間による監視を組み合わせた多層的なモデレーションシステムを使用しており、技術が責任を持って使用され、法的基準に準拠していることを確認している。

API を使用する開発者は、特定の市場やユーザベースに合わせてモデレーション設定をカスタマイズできる。

Luma AI はまた、ユーザのプライバシーと所有権を保護するための措置を講じている。API を通じて生成された入力と出力は、ユーザによる明示的な許可が与えられない限り、Luma の AI モデルの学習に使用されず、知的財産権が保護されることを保証している。

しかし、Luma や他のすべての AI 動画生成モデルプロバイダは、人間のアーティストや活動家から批判を受けている。彼らは、この技術が（おそらく多くの場合）所有者の許可や報酬なしにウェブ上の動画を学習したと思われるため、本質的に搾取的であり、著作権を侵害している可能性があると考えている。

それにもかかわらず、AI 動画プロバイダは今のところ怯むことはない。Dream Machine API の発表により、Luma AI は Web 上での AI 動画作成をさらに促進し、開発者が革新的な動画ツールを容易に構築できるようにすることを目指している。そして、ユーザが想像力を表現するためのツールにさらにアクセスできるようにすることを目指している。

【via VentureBeat】 @VentureBeat

【原文】