このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 オランダのRadboud University Nijmegenに所属する研究者らが発表した論文「Rethinking open source generative AI: open-washing and the EU AI Act」は、オープンソースと主張する生成AIを対象に、どの程度オープンなのかを調査した研究報告である。 近年、オープンであると主張する生成AIシステムが急増しているが、実際にはどの程度オープンなのかは疑問だ。「オープンソース」と謳いつつ、詳しく見てみると部分的にしか公開していないことはよくある。「オープンソース」は研究

画像生成AI「Stable Diffusion」の開発元として知られるStability AIが、オープンソースの音楽生成AI「Stable Audio Open」を公開しました。Stable Audio Openは、文章で指示するだけで最長47秒の音楽を生成できます。 Stable Audio Open — Stability AI https://stability.ai/news/introducing-stable-audio-open We’re excited to announce Stable Audio Open, an open source model optimised for generating short audio samples, sound effects and production elements using text prompts. This

Key Takeaways: Stable Audio Open is an open source text-to-audio model for generating up to 47 seconds of samples and sound effects. Users can create drum beats, instrument riffs, ambient sounds, foley and production elements. The model enables audio variations and style transfer of audio samples. We’re excited to announce Stable Audio Open, an open source model optimised for generating short audi

画像生成AI「Stable Diffusion」で知られる英Stability AIは4月3日（現地時間）、テキストで作曲できる生成AI「Stable Audio 2.0」を発表した。Stable AudioのWebサイトにログインすることで無料で利用できる他、間もなくStable Audio APIでも利用できるようになる見込みだ。 Stable Audioは、同社が昨年9月に発表した音楽生成AI。リリース当初の無料版では44.1kHzで最長45秒のトラックしか生成できなかったが、バージョンアップで最長3分のフルトラックの音楽を生成できるようになった。 テキストからだけでなく、音声からも作曲できる。オーディオサンプルをアップロードし、自然言語のプロンプトでサンプルをアレンジできる。 無料では、3分の音楽を20曲まで作れる。作った音楽を入力オーディオとして利用することもできる。 旧版同様に

1枚の物体画像から3D動画や3Dメッシュを生成する「Stable Video 3D」発表　Stability AI：Hugging Faceでモデルを公開

突然だが、上記はこの連載の第2回の冒頭部分だ。連載をはじめた当初は右も左もわからない状態だったので「Stable DiffusionはMacでは使えない」と断言してしまった。思い出すたびに冷や汗が出る。 とはいえご存知の通りStable Diffusionを動かすのにNVIDIAビデオカード搭載のWindows機が向いているのは事実なので、これまではすべて新規購入したゲーミングPCで作業することになんの不満も感じていない。 だが、前回紹介したStable DiffusionのUI環境のインストールや更新がワンクリックで可能になる「Stability Matrix」を使えば、PythonやPipのバージョンといった難しいことを考えなくてもMacで画像生成環境を作れるのではないかと考えた。 お詫びから7ヵ月、ずいぶん遅くなったがようやく伏線回収である。 Stability MatrixでM1

ポイント Stable Video Diffusion に基づいた生成モデルである Stable Video 3D (SV3D) のリリースにより、3D技術の分野を発展させ、品質とビューの一貫性を大幅に改善します。 このリリースには SV3D_u と SV3D_p の2つのバリアントがあります。SV3D_uはカメラ調整なしで単一画像入力に基づいて軌道動画を生成します。SV3D_p は、単一画像と軌道ビューの両方に対応することで機能を拡張し指定されたカメラパスに沿った3Dビデオの作成を可能にします。 Stable Video 3D は、Stability AI メンバーシップに加入することで、商用利用が可能になります。非商用利用の場合は、Hugging Face のモデルウェイトをダウンロードし、こちらの研究論文をご覧ください。 Stable Video Diffusion をリリース時、私

Top > 学術＆研究 > Stability AIが「Stable Video 3D」を発表 　単一画像から「回しても形が崩れない」3Dビデオ生成を実現

今回は同じくStablity AIが、独自の3D生成サービスを提供してきたTripo AIと共同開発した「TripoSR」を紹介します。 低品質ながら圧倒的に高速TripoSRは「Large Reconstruction Model」という3D生成の手法を実装したもので、特徴はその速度にあります。筆者がテストしている環境はWindowsのRTX 4060 Ti 16GBと、ゲーム向けのビデオカードでもあまり高速ではありませんが、10～30秒程度で1枚の画像から3Dデータが生成できます。CUIを使えばVRAMも8GBに収まるため、多くのローカル環境でかなり手軽に3Dデータの生成が行えます。 ただし生成される3Dデータの品質は高くなく、そのままゲームやXRに利用できるものではありません。CSMやTripoといった商用サービスに比べれば形状もテクスチャも不正な結果が多く、がっかりするかもしれませ

Stability AIは2024年2月22日（米国時間、以下同）、画像生成AI（人工知能）モデル「Stable Diffusion」の最新モデルである「Stable Diffusion 3」の先行プレビュー版を発表した。3月5日には、Stable Diffusion 3の基盤技術を解説する研究論文も公開した。 Stable Diffusion 3では、画像と言語の表現力を向上させる新たなアーキテクチャを採用し、以前のバージョンと比較してテキストの理解力やスペルの表現能力を向上させていると、Stability AIは述べている。 Stable Diffusion 3の特徴は次の通り。 Stable Diffusion 3の特徴 パフォーマンスの強化 関連記事 誰もが知っておくべき画像生成AI「Stable Diffusion」の仕組みと使い方 Stable Diffusionの概要と基本的

2024年3月5日、画像生成AI「Stable Diffusion」などの開発を行うStablity AIが、3Dモデル生成AIツール「Tripo AI」を開発するTripoと提携し、画像を入力するだけで高品質な3Dモデルを生成できるAIツール「TripoSR」を発表しました。 TripoSRのご紹介：単一画像からの高速3Dオブジェクト生成 — Stability AI Japan https://ja.stability.ai/blog/triposr-3d-generation ????新リリース????@tripoAI とのコラボレーションにより、TripoSR をリリースしました。 TripoSR は、1秒以内に高品質なアウトプットを作成できる新しい image-to-3D モデルです。 詳細はこちら：https://t.co/3vts0AHAh6 pic.twitter.com/

プロンプト：1 girl, photorealistic, solo, perfect lighting, sailor dress, looking at viewer, long hair, black hair, two side up, ネガティブプロンプト：illustration, 3d render, (worst quality:2), (low quality:2), (normal quality:2), signature, watermark, username, open mouth

画像生成AIのStable Diffusionは「潜在拡散モデル」と呼ばれるAIで、テキストを入力するだけで高精度な画像を生成することが可能です。このStable Diffusionに使われている「VAE」に致命的な欠陥があるという報告が、オンライン掲示板サイトのRedditに投稿されています。 The VAE used for Stable Diffusion 1.x/2.x and other models (KL-F8) has a critical flaw, probably due to bad training, that is holding back all models that use it (almost certainly including DALL-E 3). : StableDiffusion https://old.reddit.com/r/StableD

完全に自分目線の歴史です。時系列は適当なこともあるよ。 2022/8　モデルが公開されましたが、学習を始めた人は一部だけでしょう。 Stable Diffusionリリース 22日 これまでの画像生成AIと違いモデルがオープンになったことで、誰でも自由に学習できるようになりました。StabilityAIが公開したコードには学習コードも含まれていたので、技術力さえあればこの時点で学習できたのかな。コードやモデルファイルはStabilityAIによるコードと、HuggingfaceのDiffusersライブラリの二つに分かれており、今でも混乱の原因になっている気がします。 Textual Inversion論文自体はStable Diffusionの公開直前くらいに出たもののようですね。学習方法として最初に流行った方法で、27日には日本語記事が出てますね。はやい。 この頃はStabilityA

Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224 CPUでStable diffusionが３分ちょっとかかるので、ラズパイ4も対応しているFastSDCPUを入れたら50秒になったw OpenVINOとか入っているらしい。AMDのCPUだけどw ターミナル画面左側が普通のSD、右側がFastSDCPU これだけ速度差があるとありがたい github.com/rupeshs/fastsd… pic.twitter.com/zflPRbldt4 2024-01-20 21:08:00