画像生成AI「Stable Diffusion」の開発元として知られるStability AIが、オープンソースの音楽生成AI「Stable Audio Open」を公開しました。Stable Audio Openは、文章で指示するだけで最長47秒の音楽を生成できます。 Stable Audio Open — Stability AI https://stability.ai/news/introducing-stable-audio-open We’re excited to announce Stable Audio Open, an open source model optimised for generating short audio samples, sound effects and production elements using text prompts. This

AI作曲サービスは、Sunoが先行し、UdioとSonautoがそれを追いかける図式となっています。そのSunoとUdioが相次いで製品強化を発表しました。 まずは、Udio。一度に32秒しか生成できないというUdio最大の弱点が改善されたバージョンを提供開始しました。今度は最大2分10秒の生成が一度で可能となります。 Udioは2分10秒の生成が可能に。ただし今使えるのは月額30ドルProユーザーのみ新バージョン「Udio-130」には、このほかに、プロンプトと歌詞の強度、ハッシュ値、生成をスタートするタイミングなどを調整できる機能も追加されています。 Stable Diffusionに近いパラメータ操作が可能になったわけです。音質パラメータも加わっています。生成をスタートするタイミングはExtendで曲を延長するときに便利でしょう。 さて、このUdio-130ですが、サブスクリプション

このところUdioやSonautoの新機能搭載で押され気味だったAI作曲サービスの「Suno」が反撃に出ました。 バージョン3.5のEarly Access版（有料プランユーザーのみに提供）を利用すると、これまでの2分間制限が最長4分まで拡大。延長時間も従来の1分を2分に伸ばしています。これだけの長さがあれば大抵のポピュラー曲はエンディングまでいけます。 4分の曲をUdioで生成しようとすると、8回の命令が必要になります。さらに、生成に要する時間はUdioの方がはるかに長くかかるので、全体としての作業時間には大きな差が生じます。それがSuno 3.5ならば数秒でできてしまうのです。 また、Style of Musicのキーワードがサジェストされるようになっていて便利です。文字数制限は相変わらずきついですけど。 さらにうれしいのは、日本語歌詞の読み方が、従来は間違いが多かったのが、ほぼ問題な

音楽生成AI「Suno」「Udio」「Sonauto」を制作者視点でレビュー。音楽制作のカタチは変わるのか：ものになるモノ、ならないモノ（96） ChatGPTをはじめとする生成AIが注目を集める中、生成AI技術を使って音楽を自動で生み出すWebサービスが続々と登場している。音楽生成AIの実力はどのようなものなのか。音楽制作事業者としての視点で、生成AIが生み出す音楽を考察する。

ポイント Stable Audio 2.0は、AIが生成するオーディオの新たなスタンダードとなるもので、44.1KHzステレオで3分までの一貫した音楽構造を持つ高品質なフルトラックを生成します。 このモデルは、ユーザーが自然言語のプロンプトを使用してサンプルをアップロードし、変換できるようにすることで、オーディオからオーディオへの生成を導入しています。 table Audio 2.0は、AudioSparx 音楽ライブラリからライセンスされたデータセットのみでトレーニングされ、オプトアウトのリクエストに対応し、クリエイターへの公正な報酬を保証します。 Stable Audio のウェブサイトをチェックして制作を始めてみてください。 Stable Audio 2.0をご紹介します。このモデルは、1つの自然言語プロンプトから、44.1KHzステレオで、最長3分までの一貫した構造を持つ高品質のフ

画像生成AI「Stable Diffusion」の開発元として知られるStability AIが音楽生成AI 「Stable Audio 2.0」を公開しました。すでに日本からも利用可能になっていたので、実際にStable Audio 2.0を使って音楽を生成する手順をまとめてみました。 Stable Audio 2.0 のご紹介 — Stability AI Japan https://ja.stability.ai/blog/stable-audio-20 ◆Stable Audio 2.0で作れる音楽の例 Stable Audio 2.0はテキストで指示するだけで音楽を生成できるAIです。以下のムービーを再生すると、「Cinematic Synthwave(映画風のシンセウェイヴ)」というプロンプトで生成した音楽の例を聴けます。 Stable Audio 2.0 - YouTube

アップルの研究者が、音声コマンドを理解して応答する人工知能システム「ReALM（Reference Resolution as Language Modeling）」を開発したと学術誌に報告しています。 ↑ChatGPTを超える？ アップルといえば次期OS「iOS 18」において、生成AIにより音声アシスタント「Siri」などを強化すると噂されていますが、その生成AIはアップルが独自で開発するものではなく、グーグルの「Gemini」やOpenAIの「ChatGPT」、百度（バイドゥ）の「Ernie」が採用されるという見方もあります。 今回のReALMは、画面上の視覚的な要素への曖昧な参照や、会話や背景のコンテキストを理解できる模様。これにより、ユーザーとデバイスの間でより直接的で自然な対話が可能になるとしています。また、画面上の要素とその位置を解析することで、テキストを生成することも可能。

アメリカのベンチャー企業、オープンAIは、人の声を再現する生成AIを開発したと発表しました。病気などでことばがうまく話せない人の支援に役立つとする一方、選挙などで悪用されるリスクを避けるため、現時点では本格的な公開はしないとしています。 アメリカのベンチャー企業、オープンAIは29日、人の声を再現する生成AI「Voice Engine」を開発したと発表しました。 もとになる15秒の声を吹き込んだうえで、しゃべらせたい文章を入力すると、もとの声とそっくりな音声で文章を読み上げることができるということです。 また、もとの声のアクセントを保ったまま、音声を外国語に翻訳することもできるとしています。 この生成AIについて、オープンAIは、病気などでことばがうまく話せない人の支援や、企業の外国向けの情報発信などに活用できるとしています。 一方、人の声を再現する生成AIをめぐっては、選挙などで偽の情報

米OpenAIは3月29日（現地時間）、人の声を再現できる生成AIモデル「Voice Engine」を発表した。テキスト入力と15秒分の音声サンプルで、元の話者によく似た自然な音声を生成できる。感情的なリアルな音声で、母国語以外の言語も話せる。 2022年から開発していたこのモデルは、既に同社の「Text-to-Speech API」や「ChatGPT」アプリの音声チャット機能、ChatGPTのテキスト読み上げ機能「Read Aloud」などで採用されている。 OpenAIは、こうした合成音声が悪用される可能性を認めており、広範囲にリリースをするかどうかを検討するために、慎重にテストを行っているという。 スウェーデンSpotifyは昨年9月、このモデルを採用した新機能「Voice Translation」を発表した。これはPodcastをホスト自身の声で複数言語に吹き替えるものだ。 Ope

superwhisperという、whisper.cppを使った音声入力ができるmacOSアプリケーションを最近使っています。 基本的にはggerganov/whisper.cppのモデルを使って、音声認識しながら文字入力ができるアプリケーションです。 特徴 Whisperの認識精度が高い かなり早く喋っても認識してくれる 日本語も認識してくれるモデルがある 日本語で喋って英語に翻訳してくれる機能もある オフライン対応 有料: サブスク と 買い切り の2種類のプランがある 無料で15分のトライアル、その後は選べるモデルが制限される 公式サイトのデモをみると、かなり早く喋っても認識してくれるのがわかります。 大抵の人にとっては、多分文字入力するよりしゃべったほうが早いぐらいの入力速度が出ると思います。 superwhisper 長文はそこまで得意じゃないけど、1行とか2行ぐらいの文章はかなり

「M2UGen」の概要をまとめました。 1. M2UGen「M2UGen」は、テキスト・画像・動画からの音楽生成・音楽理解・音楽編集が可能です。 「音楽理解」には「MERT」、「画像理解」には「ViT」、「動画理解」には「ViViT」、「音楽生成」には「MusicGen」「AudioLDM2」を利用し、「アダプタ」や「LLaMA2」と組み合わせることで、複数の能力を持つモデルとなっています。 ・ホーム ・コード ・デモ 2. M2UGen のデータセット「MU-LLaMA」「MPT-7B-Chat」を使用して音楽指向のデータセットを、「BLIP画像キャプションモデル」「VideoMAEキャプションモデル」を使用してキャプションを生成します。 2-1. MUCapsデータセット21966曲、1273.78時間のキャプション生成のためのデータセットです。 ・音楽ファイル → MU-LLaMA

日本音響学会 学生・若手フォーラム Advent Calendar 2023 24日目 Suno AI とは、歌詞と曲のスタイル（と曲名）を指定するだけで、自動で歌詞入りの楽曲を作成してくれる生成 AI サービスです。 Suno AI 最近ではこのほかにも様々な音楽生成AIが発表されていますが、 Suno AI が特にバズっている要因はおそらく歌詞入力という他サービスではあまり無い UI と、 ボーカルが付加されることにより生成楽曲の面白さが格段に上がる点が大きいのではないでしょうか。 Suno AI 自体の使い方や詳細は多くのブログで紹介されているため特に取り上げる必要はないかと思いますが、 本記事では技術者の観点から Suno AI のようなシステムをどのようにすれば作れるか具体的に解説します。 個人的には Suno AI について、以下のような所見を持っています。 Suno AI は

この記事は NTTコミュニケーションズ Advent Calendar 2023 の15日目の記事です。 この記事では、ChatGPT と 音声認識モデルの Whisper を用いた発音練習アプリケーションをご紹介します。 ChatGPT に読み上げる文章を考えてもらい、その文章の読み上げた音声を Whisper で文字起こしします。 正確に発音できていれば、正確に文字起こしできる、という考えから、 原稿と文字起こし結果を比較すれば発音練習に使えるのではないかと考えました。 実際に使ってみた結果、発音のどこが悪かったのかといったフィードバックはもらえませんが、 自分の発話した音声に対して評価がつくだけでも、結構楽しく練習できると感じました。 音声認識を活用したアプリケーションは、一般に音声認識精度がネックになると思いますが、 このアプリケーションは音声認識精度が100%ではないことを逆手に

Company Transforming the future of music creation Published 16 November 2023 Announcing our most advanced music generation model, and two new AI experiments designed to open a new playground for creativityFrom jazz to heavy metal, techno to opera, music is a much loved form of creative expression. With complex and densely layered lyrics, melodies, rhythms, and vocals, creating music that’s compell

大規模音声言語モデル(SLM)と拡散モデルによる敵対的学習を利用して、人間レベルの読み上げ音声を合成できるText-to-Speech AI「StyleTTS 2」を、コロンビア大学の研究者らが開発しました。StyleTTS 2は参照する音声を必要とせず、読み上げるテキストに最適なスタイルを生成し、ネイティブスピーカーと同じくらいなめらかに英語を読み上げることが可能です。 [2306.07691] StyleTTS 2: Towards Human-Level Text-to-Speech through Style Diffusion and Adversarial Training with Large Speech Language Models https://arxiv.org/abs/2306.07691 GitHub - yl4579/StyleTTS2: StyleTTS

現代の音声合成技術は特定の人物の声を基にして、その人と非常に似た合成音声を生成する能力を持つ。このような実在の人物の声の合成は、なりすましや詐欺などの不適切な使用が問題視されていることに加え、声の再現や公開がその人物の人格的利益や名誉感情に影響を与える可能性もある。また声優や歌手のように、自らの声を職業活動に利用する人々にとっては、無許可での声の再現や使用によって経済的損失を被る恐れがある。 この研究の焦点は、特定の人物の音声データから学習させたモデルを用いて、任意のテキストをその人物の声で読み上げる合成音声技術にある。日本ではこの問題に関する具体的な法的争訟例はまだ存在しないとされるが、研究では架空の事例を設定し、この技術が引き起こしうる問題点を探究する。以下がその事例になる。（音声合成AIの利用場面における法的課題―「声」に権利はあるのか―より引用）。 声優Xは、所属するタレント事務所

Googleの人工知能関連企業「Google DeepMind」が2023年11月16日、音楽生成に特化したAIモデル「Lyria」と、Lyriaを用いて音楽制作が可能な2つのツールセット「Dream Track」「Music AI Tools」を発表しました。 Transforming the future of music creation - Google DeepMind https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/ An early look our AI Music experiment - YouTube Blog https://blog.youtube/inside-youtube/ai-and-music-experiment/ DeepMind and