2024年5月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2024年6月号です。2024年5月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになった点が個人的に大きなアップデートでした。モデルのアーキテクチャが新しくなり、精度の向上や推論速度のアップがされました。 以下のブログでも詳細に取り上げています。 Google Cloudでは、Vertex AI SearchでチェックグラウンディングAPIが一般提供開始されました

はじめに Vertex AI Agent Builder で作る検索システム Vertex AI Agent Builder（旧 Vertex AI Search & Conversation）を使用すると文書検索システムが簡単に構築できて、コンソール上のデモ用検索ポータルから検索処理が体験できます。検索キーワードの「意味」を理解して検索するセマンティックサーチを行うので、次のように微妙にタイプミスをしても、こちらの意図を汲み取って検索結果を返してくれます。また、検索結果のサマリーテキストも表示されます。 コンソールの検索ポータルで検索する例 Vertex AI Agent Builder による検索システムは、次のような構成になります。「データストア」と「検索アプリ」の2つのコンポーネントを作成して利用します。 Agent Builder による検索システムの構成図 データストアは、ドキ

2024年2月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2024年3月号です。2024年2月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、S3 Express One Zoneを使ったAmazon SageMakerのモデルトレーニング高速化の一般提供開始がアナウンスされました。またAmazon Rekognitionで新しいモデレーションラベルが追加され、より精度高く利用できるようになったことも嬉しいお知らせでした。 Google Cloudでは、なんといってもVertex AI Geminiの一般提供開始が目玉だったと思います。これに合わせてBigQuery MLからも

はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ

Vertex AIパイプラインを使うことで、BigQueryおよびBigQueryから参照できるデータを対象にしつつも、Google Cloud Pipeline ComponentsやVertex AIメタデータなどVertex AIの機能の恩恵もできるだけ受けることができます。 データアナリティクス事業本部 機械学習チームの鈴木です。 BigQueryでは、Vertex AIと連携して格納したデータを生成AIで処理することが可能です。 例えばテーブルに格納済みのテキストをもとに埋め込みベクトルや別のテキストを生成することができます。 特に埋め込みベクトルがあれば興味があるテキストに類似したテキストをBigQuery内で検索し、類似レコードの特徴から関心のあるテキストを分析することもできます。また、RAGに使用することもできます。 今回はBigQueryとVertex AIを使って、テー

When a large language model (LLM) doesn’t have enough information or has no contextual knowledge of a topic, it is more likely to hallucinate and provide inaccurate or false responses. Developers are increasingly excited about generative AI and Retrieval Augmented Generation (RAG) — an architecture pattern that combines LLMs with backend information retrieval from other information sources. This a

はじめに この記事は、Google Cloud Champion Innovators Advent Calendar 2023 18日目の記事です。 機械学習エンジニアをしています、原です。Google Cloud Champion Innovators(AI/ML)として選出いただき、活動しています。Google Cloud Innovatorsは、Google Cloud開発者/技術者のためのメンバーシッププログラムです。誰でも参加可能ですので、Google Cloudユーザーの方はぜひ参加をおすすめします！ 先日、下記のような記事を公開し、Vertex AIにおけるGemini APIの概要と簡易的な実装例を紹介しました。 今回は少し実践寄りで、Vertex AIでのGemini APIとLangChainを組み合わせて、MultimodalなRAGを構築する一例を紹介します。実現

顧客が生成した画像を安全に使うために、Google DeepMindの電子透かし「SynthID」を組み込む。また、潜在的に有害なコンテンツjの生成を防止するための「包括的な安全フィルター」が含まれているという。（GoogleはImagenのトレーニングデータについては開示していない。） Vertex AIでのImagenの利用可能範囲は以下の通り。 関連記事 Google、企業と開発者向け「Gemini Pro」提供開始 Googleは、新しい生成AIモデル「Gemini」のミドルサイズ「Gemini Pro」を企業と開発者向けに提供開始した。「Vertex AI」と「Google AI Studio」で利用できる。まずは無料で提供し、将来的には“競争力のある価格”にする計画。 Google、「Vertex AI」での生成AIサポート一般提供開始　「PaLM 2」も使える Google

Duet AI for Developers は 2024 年 5 月 11 日まで無料で試用でき、請求先アカウント 1 つにつき 1 ユーザーに制限されています。

これはエムスリーAdvent Calendar 2023 の10日目の記事です。 こんにちは、エンジニアリンググループの石塚です。最近は年明けに控えている結婚式という大イベントに向けてダイエット中でスポーツジムへ通い、有酸素運動するのと並行して食事制限をして追い込んでいる毎日です。2ヶ月ほどで6kg弱の減量を目標に地道に日々目標をスプレッドシートにまとめながら追い込んでます。(今の所良いペースです。) 今回は、弊社で利用しているLookerというBIツールを利用しているなかで発生したつらみの共有と対策について共有します。少しニッチな内容ですが、自分自身が調べているときに同事象で苦しんでいるようなブログ記事が見当たらなかったこともあり、ニッチな人を対象に有益な内容になれば幸いです。 11/6からの体重減少とランニング累計の記録をグラフにしました。 Lookerとは？ デプロイに成功したのに想

クラウドインフラのシェア、生成AIブームによりマイクロソフトが上昇率でGoogleを抜いてトップに、AWSを猛追中。2023年第3四半期。Canalysの調査 調査会社のCanalysは、2023年第3四半期のグローバルにおけるクラウドインフラのシェアを発表しました。 クラウドインフラとは、IaaS、PaaS、ホステッドプライベートクラウドを合わせたものを指します。 同時期のクラウドインフラのシェアの調査結果として、すでに先月（2023年11月）にSynergy Researchの調査結果が報告されており、そこではマイクロソフトが3カ月で2ポイントのシェア上昇を見せていたことが示されました。 参考：グローバルのクラウドインフラ市場シェア、この3カ月でマイクロソフトのシェアが2％増加。2023年第3四半期、Synergy Researchの調査結果。 Canalysの調査結果でも同様に、マイ

Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI「LLa

Google Cloud Pipeline ComponentsのBigQuery MLコンポーネントを使うことで、Vertex AI PipelinesからBQMLの処理を実行しました。 データアナリティクス事業本部 機械学習チームの鈴木です。 この記事は、ブログリレー『Google CloudのAI/MLとかなんとか』の２本目の記事になります。 Google Cloud Pipeline Components SDKのうち、BigQuery MLリソースに関連するオペレータを使用して、Vertex AI Pipelinesで実行する用の機械学習パイプラインの定義を作成しましたので、サンプルをご紹介します。 この記事について 『Vertex AI Pipelines の BigQuery および BigQuery ML 演算子に関するお知らせ』では、Vertex AI Pipelines

Google Cloud Next Tokyo 2023 の LT で登壇した際の資料です、一般に Feature Store と呼ばれるコンポーネントの要件や、Vertes AI Feature Store の実装について述べています

Googleのクラウドコンピューティングサービス「Google Cloud」において、機械学習特化型プロセッサ「TPU v5e」を用いた処理が可能になりました。GoogleはTPU v5eについて前世代の「TPU v4」と比較してコストパフォーマンスが2.3倍に向上しているとアピールしています。 Cloud TPU v5e is generally available | Google Cloud Blog https://cloud.google.com/blog/products/compute/announcing-cloud-tpu-v5e-in-ga/?hl=en TPU v5eはGoogleが独自に開発している機械学習特化プロセッサ「Tensor Processing Unit(TPU)」の第5世代モデルで、発表時には前世代モデルのTPU v4と比較して1ドル当たりのパフォーマ

はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を検索する類似アイテム検索機能があります。本記事ではこの機能を画像検索と呼びます。 画像検索では類似商品の検索を高速に行うため、画像特徴量の近傍探索Indexを事前に作成しています。近傍探索Indexはワークフローを日次実行して作成しています。 このワークフローでは大きく次のように処理を行っています。 当日追加された商品の情報を取得し、商品情報をもとに商品画像を取得する。 物体検出器で商品画像から商品が存在する座標とカテゴリーを検出する。 検出

2023年9月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2023年10月号です。2023年9月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、基盤モデル(FM)をAPIを通じて利用できるようにする完全マネージド型サービスであるAmazon Bedrockがついに一般提供開始しました。AWSでは7月にアナウンスされたAuroraのpgvectorサポートなど生成系AI利用のための様々なアップデートがありましたが、Bedrockの一般提供開で生成系AIを使ったシステム開発がより強力に支援されるようになりました。 Google Cloudでは、Vertex AI Workbench

フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ホット タブレット Bigtable には、パフォーマンスの問題をトラブルシューティングするため、クラスタ内のホット タブレットを特定してモニタリングする機能があります。このページでは、ホット タブレットの概要、ホット タブレットのリストを取得する方法、ホット タブレットの識別が有益な状況について説明します。このページを読む前に、Bigtable の概要を理解しておく必要があります。 ホット タブレットのリストを取得するメソッドの名前は、使用する言語によって異なります。わかりやすくするため、このドキュメントでは RPC Cloud Bigtable Admin API 名（ListHotTablets）を使用します。ホット タブレットのリストは、以下のものを使用して取得できます。 Goo