2024年5月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2024年6月号です。2024年5月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになった点が個人的に大きなアップデートでした。モデルのアーキテクチャが新しくなり、精度の向上や推論速度のアップがされました。 以下のブログでも詳細に取り上げています。 Google Cloudでは、Vertex AI SearchでチェックグラウンディングAPIが一般提供開始されました

Amazon Web Services（AWS）は2023年4月に、大規模言語モデル（LLM）のフルマネージドサービス「Amazon Bedrock」のプレビュー版を公開した。プレビュー版の公開時点で導入を決め、1年にわたって同サービスを活用してきた企業の担当者らが、アプリケーション開発に生成AI（人工知能）を利用する際のポイントを語った。 語ったのは、カナダのトロントを拠点とする顧客調査プラットフォームプロバイダーAlidaでチーフアーキテクトを務めるシャーウィン・チュー氏と、米国ニューヨーク州メルビルのContact center as a ServiceプロバイダーVerint Systemsでチーフサイエンティストを務めるイアン・ビーバー氏だ。 AlidaはなぜAmazon Bedrockを選んだのか 関連記事 最適な学習方法は？　安全にデータを使うには？　AWSが解説する「生成A

こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公

AWS Machine Learning Blog How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores,

概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの

背景 AWS SageMakerについて勉強していたところ、SageMaker Ground Truthは画像にラベリングを行うものとあったので、実際に触ってみました。 試した事(概要) 漫画家の矢吹健太郎先生の作品である「ToLoveる-ダークネス-」のヒロインキャラクター画像に対して、キャラクター名をラベリングしてみました。 例えば、 これは「ヤミ」のラベルを付けて、 これは「モモ」のラベルを付けてみる形です。 試した事(詳細) 1. S3にラベリングを行いたい画像をアップロード 今回は12枚の画像(pngファイル)をアップロードしました。 2. SageMaker Ground Truthにて、ラベリングジョブを作成 どこに保存されている画像に、どのようなラベリングを行うのか、作業者は誰か、等の設定をしたジョブを作成します。 まずは、マネジメントコンソールのSageMaker画面の左

アマゾン ウェブ サービス ジャパン（AWSジャパン）は5月16日、Amazon Web Services（AWS）が提供する生成AIアシスタント「Amazon Q」と生成AIアプリケーションの構築基盤「Amazon Bedrock」に関するアップデート情報を説明した。同日に行われた記者説明会では、AWSジャパン サービス＆テクノロジー事業統括本部 技術本部長の小林正人氏がデモンストレーションを交えながら説明した。 Amazon Qにおけるアップデートは、「Amazon Q Business」「Amazon Q in QuickSight」「Amazon Q Developer」「Amazon Q Data Integration in AWS Glue」の一般利用、「Amazon Q Apps」のプレビュー提供の開始だ。 Amazon Q Businessは、組織のさまざまなドキュメント

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S

Amazon Web Services ブログ 生成AIで外観検査をやってみた 1. はじめに 製造業における品質管理は非常に重要な課題です。製品の外観や組立状態を確認し、欠陥の有無を判断する外観検査工程は、高い品質を維持するうえで欠かせません。この検査工程を人手に頼らず自動化できれば、コスト削減と品質の安定化が期待できるため、さまざまな検査工程の自動化が試みられています。今でも外観検査のソリューションとしてAWSではAmazon Lookout for Visionというサービスを提供していますが、今回は違う切り口から、Amazon Titan Multimodal Embeddings G1を使って生成AIで同じような外観検査ができるかトライしてみました。 Embedding方式の利点は、製品カテゴリーを問わず同じ数値化モデルを活用できる点にあります。サンプル画像の数値化自体は製品に依

Amazon RedshiftはZero-ETL統合のMulti-AZデプロイメント、Amazon Athenaのフェデレーテッドクエリパススルー機能、Amazon QuickSightのAWS PrivateLinkのサポートとIAMアイデンティティセンターのアカウントインスタンスを新たに統合など。 はじめに クラスメソッドの石川です。日々AWSのアナリティクス関連サービスのアップデートとそのブログをご紹介します。 今月は、Amazon RedshiftはZero-ETL統合のMulti-AZデプロイメントで高可用性を実現し、ダウンタイムなしの分析を可能に。Amazon Athenaのフェデレーテッドのクエリパススルー機能で、BigQueryやSnowflakeなどの外部データソースへの直接アクセスが可能になり、データ処理の効率が飛躍的に向上。さらに、Amazon QuickSightは

2024年4月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2024年5月号です。2024年4月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、Amazon Bedrockのアップデートが数多くありました。多くの高性能なモデルが利用可能になったほか、ガードレールやモデル評価、Amazon Titan Image Generatorなどの一般提供開始により、Amazon Bedrock自体の機能も大幅に強化されました。Amazon SageMaker StudioのCode Editorでカスタムイメージをサポートしたのもユーザーとしてとても嬉しいニュースでした。 Google C

2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の

アマゾンは、AIスタートアップ「Anthropic」へ、同社史上最大の投資となる40億ドルの出資を完了したと発表しました。最近Anthropicは、強力な大規模言語モデル「Claude 3」ファミリーをリリースし、ライバルのOpenAIを上回る性能を示しています。アマゾンにとってAnthropicへの投資は、AWSにおける生成AIプラットフォーム「Amazon Bedrock」の魅力をさらに高めるものになり、競争上の優位性を強化することにつながります。BedrockではAnthropicに加えCohereなどのクローズドモデルや、MistralやMeta の「Llama 2」などのオープンソースモデルが利用できるようになっているだけでなく、これらのモデルを活用し、ユーザーは独自のアプリを開発することも可能に。本記事では、アマゾンのAnthropic投資の概要に触れつつ、これらの投資がBed

AmazonがこのほどAIスタートアップのAnthropicへ27億5,00万ドル追加出資し、同社への投資を完了したと発表。合計40億ドル（約6,063億円）の投資は、Amazon史上最大の社外投資と報じられた。Microsoftが抱えるOpenAIのライバルであるAnthropicへの投資でAmazonが目指すBedrockの強化に注目が集まっている。 AIをめぐるテック企業の競争激化 改めて言うまでもなく、Amazonの巨額投資は近年ますます激化している生成AI競争を勝ち抜く狙いがある。世界のAIレースは現在、OpenAIとパートナーシップを提携したMicrosoftが業界の圧倒的勝者だと見られている。 MicrosoftはOpenAIに対して2019年に10億ドル、2021年に2回目の出資（額は不明）をし、2023年1月にはさらに100億ドルの投資をしたと報じられている。その後、10

最適な学習方法は？　安全にデータを使うには？　AWSが解説する「生成AI活用のいろは」：「持続可能な生成AIイノベーション」を支援（1/3 ページ） 生成AIをビジネス利用しようとしている企業は多いだろう。市場にはさまざまなサービスがあふれているが、「うまく使いこなせないかもしれない」「一時的にしか使わないのでは」といった懸念を持つ人もいるだろう。本稿では、AWSのセミナーを基に、継続的に生成AIを活用するためのヒントを探る。 アマゾン ウェブ サービス（以降、AWS）は生成AI（人工知能）への投資を続けている。生成AIを利用するためのサービスだけでなく、生成AIを開発するための機能、生成AI向けの独自チップ開発、生成AIを活用するためのトレーニングなどその支援は多岐にわたる。 AWSは2024年2月22日、AI／ML（人工知能／機械学習）に関するオンラインセミナー「AWS Innovat

Amazon Web Services（AWS）は2024年4月23日（米国時間）、基盤モデルを使用した生成AIアプリケーションの構築、展開を支援する「Amazon Bedrock」サービスの新しい機能を発表した。新機能には、カスタムモデルインポート、モデル評価、「Guardrails for Amazon Bedrock」があり、使用可能な基盤モデルの選択肢も拡大している。 Amazon Bedrockは、大手AI企業の高性能な基盤モデルを、生成AIアプリケーションの迅速な構築、展開に必要な機能やエンタープライズグレードのセキュリティを含めて幅広く提供するフルマネージドサービスだ。発表内容の概要は以下の通り。 カスタムモデルインポート機能 関連記事 日本と中国を含むアジア太平洋地域の生成AI支出、2027年までに260億ドルに　IDC予測 IDCによると、アジア太平洋地域（日本と中国を含

Claude 3 Opus、ずっと待ってました！ AWSの生成AIサービス、Amazon Bedrock。 多数の生成AIモデルがAPIとして利用できますが、テキスト生成で非常に高性能なのがAnthropic社のClaude 3シリーズです。 OpenAI社のGPT-4シリーズと日々、追いつけ追い越せを続けています。 Claude 3登場後、3モデルあるうち最上位の Opus モデルだけはなかなかBedrockにリリースされませんでしたが、ついに先ほどオレゴンリージョンに出現したようです！ まだAWS公式リリースはないですが、近日中にWhat's New等でアナウンスされるものと思われます。 ※今回も宇宙最速の発見者はひるたさんでした。いつもありがとうございます🙌 そもそもBedrockって何だっけ？ こちらの資料で紹介していますのでご覧ください！ なお、凄腕Bedrockerの @he

AWS News Blog Anthropic’s Claude 3 Opus model is now available on Amazon Bedrock We are living in the generative artificial intelligence (AI) era; a time of rapid innovation. When Anthropic announced its Claude 3 foundation models (FMs) on March 4, we made Claude 3 Sonnet, a model balanced between skills and speed, available on Amazon Bedrock the same day. On March 13, we launched the Claude 3 Hai