Google、GPU不要でLLMの実行を可能にするツール「localllm」を公開
2月7日、Google Cloudがブログで紹介したところによると、大規模言語モデル（LLM）をGPUなしでローカル実行できる新しいツール「localllm」を発表した。localllmはCPUとメモリでLLMを実行可能にし、特にGPUの不足が課題となる開発者に新たな選択肢を提供する。 このアプローチでは、Google Cloudの完全管理型開発環境であるCloud Workstations内で、GPUなしでLLMを実行できる。具体的には、HuggingFaceの「TheBloke」リポジトリのLLMモデルを使用し、CPUや低消費電力GPUで動作できるように最適化された量子化手法を採用している。 量子化モデルは、制限された計算リソースを持つローカルデバイスで効率的に動作するように最適化されたAIモデルだ。例えば、以下の利点が挙げられる： パフォーマンスの向上: 低精度データ型を使用すること
電通デジタルの「AI活用型コンバージョン率改善サービス」が「BigQuery」に対応 | Web担当者Forum
電通デジタルは、AI(人工知能)を活用してWebサイトのコンバージョン率(CVR)改善を一括支援する「AI活用型コンバージョン率改善サービス」で、米国Googleのクラウドサービス「Google Cloud」のデータウェアハウス(データ倉庫)「BigQuery」に対応したメニューの提供を始めた、と1月22日に発表した。アクセス解析ツール「Googleアナリティクス4(GA4)」による分析やレポーティング作業が数日でできるようになる。 AI活用型コンバージョン率改善サービスは2021年12月から提供。企業のWebサイト内でのユーザーの行動をAIで精緻に分析し、コンバージョン(CV)予兆・離脱予兆の発見とCV起点のクラスターを抽出してCVが高まるゴールデンパス(主要な導線)を発見する。最も効果の高いCVR改善を導出して、パーソナライズのPDCA(計画・実行・評価・改善)と改善策の実行まで一気通
【アップデート】Cloud Build デフォルト サービス アカウントの変更と新しい組織ポリシー | DevelopersIO
デフォルト サービス アカウントとは サービスアカウントには下記3つの種類が存在します。 ユーザー管理のサービス アカウント デフォルトのサービス アカウント Google 管理のサービス アカウント デフォルトのサービスアカウントは、特定のGoogle Cloud サービスを有効にするときに自動的に作成されるもので、ユーザーで管理できるサービスアカウントになります。 役割としては、自動化されたタスクやAPI呼び出しを行う際に使用され、ユーザーが作成を意識しなくても、Google Cloudのサービスを使えるようにあらかじめ生成してくれるものと理解するとイメージがしやすいかもしれません。 実際に、IAMと管理でCompute Engineのデフォルトのサービスアカウントを確認できます。 今回の変更内容 概要 新しいプロジェクトでデフォルトで使用される Cloud Build サービス アカ
AIドリームチーム「Sakana.ai」が人材募集 AWS・GCPや日本産HPCインフラの利用経験があるエンジニアなど 設立者は元Googleトップ研究者ら
元米Googleの著名な研究者、リオン・ジョーンズ氏とデビッド・ハー氏らが東京で立ち上げたAI企業Sakana.ai（東京都港区）は1月16日、ITエンジニアやビジネスアナリストといった人材の募集を始めた。募集するポジションは「技術スタッフ」「コンピューティングプラットフォームエンジニア」「ビジネスアナリストもしくはアソシエイト」。 技術スタッフは「AIに関する過去のプロジェクトもしくは出版物を証明できる人材」を募る。特に「NeurIPS」「ICLR」「GECCO」といった学会や、他の学術誌などに論文が採択されていたり、高品質のコードを書く能力があり、人気のあるオープンソースソフトウェアに貢献した経験があったりする人材を優遇するという。 雇用期間・形態は4～6カ月のインターンシップ、大学院生を想定したパートタイム勤務、1年間の期限付き、フルタイムなどさまざまな形を想定する。リモート勤務は認
【実践】Cloud Functionsのセキュリティを強化！組織全体で外部アクセスを制御する方法を解説 #GoogleCloudセキュリティ | DevelopersIO
概要 今回はCloud Functionsの外部アクセスの設定について、組織で統一的に制御する方法について解説します。 方法としては、組織ポリシーという仕組みを使います。 こちらを簡単に説明すると、組織配下に存在するリソース全てにおいて、設定を強制させる仕組みです。 図にするとこんな感じです。 全てのVMインスタンスに外部IPの付与を禁止するというポリシーを適用させた場合の例です。（リソースについては点線で区別してます＝直でポリシーは付与しないため） 今回使用する組織ポリシーは「constraints/cloudfunctions.allowedVpcConnectorEgressSettings」を使用して、サーバーレスVPCコネクタ経由でのみ、外部へのトラフィックを許可するといった設定を反映します。 以前にはCloud Runで、今回と似たような記事を書いているのでそちらも参考にしてく
画像を見て質問に答えられるオープンソースなGPT-4レベルのAI「LLaVA-1.5」をGCP上で動作させてみた
Microsoftやウィスコンシン大学マディソン校などの研究チームが開発し、2023年4月17日に公開した「LLaVA」は「視覚」を持つAIで、画像を入力するとその画像に基づいて返答を行うことができます。2023年10月5日に登場したLLaVA-1.5はさらにクオリティが向上しているとのことなので、実際にGoogleのクラウドコンピューティングサービス「Google Cloud Platform(GCP)」上で動作させてみました。 LLaVA/pyproject.toml at main · haotian-liu/LLaVA https://github.com/haotian-liu/LLaVA 2023年4月にリリースされた旧バージョンの性能や、デモサイトの使い方については下記の記事で確認できます。 画像を認識して年齢推測可能＆人名クイズにも正答できる無料の高性能チャットAI「LLa
「僕が今のピクシブのAWSやGCPの形を作ったと言っても過言ではない」 クラウド推進の生き字引が語る、これまでの取り組み
完全招待制のオンラインカンファレンス「PIXIV MEETUP 2023」。「創作活動を、もっと楽しくする。」というミッションを遂行するために、メンバーが普段行っている業務について、自らの言葉で語り、その想いと技術を共有する場です。sue445氏は、 ピクシブ社における、パブリッククラウド活用の取り組みについて発表しました。全2回。前半は、sue445氏が入社後に取り組んだ、GitLab CIのオートスケール化やTerraform導入などについて。 登壇者の自己紹介 sue445氏：「pixiv Cloud Journey」というタイトルで発表させてもらいます。 こちらの発表資料ですが、先ほど「X」にハッシュタグ付きで流しているので、後から見返したいという方は、そちらのURLをご覧ください。 自己紹介させてもらいます。末吉剛といいます。SNSでは「sue445（すえよんよんご）」というID
AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表
AWS Glue for Apache Spark が Google BigQuery へのネイティブ接続をサポートするようになりました。これにより、ユーザーは Apache Spark ライブラリ用の BigQuery コネクタをインストールしたり管理したりすることなく、BigQuery からデータを効率的に読み書きできるようになります。ユーザーは、ノーコードのドラッグアンドドロップで使用できる AWS Glue Studio の視覚的なインターフェイス内で BigQuery をソースまたはターゲットとして追加したり、AWS Glue ETL ジョブスクリプトでコネクタを直接使用したりできるようになりました。この新しいコネクタを AWS Glue の ETL (抽出、変換、ロード) 機能と組み合わせると、ETL パイプラインの作成が容易になり、ETL デベロッパーはデータパイプラインの構
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について) - Qiita
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について)AWSAzureGoogleCloud はじめに 今年のはじめに書いた3大クラウドの比較シリーズに関して長いこと続編を書いてませんでした...。 最近、知人/友人のみならず取引先からも「AWSやGCPに関して続編書かないんですか？」と言われることが増えてきたので、今回はAWSを本番運用していて感じたAWS固有の優位性について感想を述べていきます。 AWS 固有の優位性 周知の事実ではありますが、AWSは長年クラウドベンダーとして世界トップシェアを維持し続けています。 AWSをクラウド基盤として利用しているサービスを一切利用せずに1日を過ごすことは不可能なんじゃないかというレベルで日本国内では利用されています。 もはや電気/ガス/水道等の社会インフラに近い状態です。 そして
BigQuery上のデータマートをクラスタ化したらクエリコストが９割カットできた話 - エムスリーテックブログ
こんにちは、エンジニアリンググループ、データ基盤チームの木田です。 最近我が家では手作りピザがブームになっており、週末になると度々生地をこねては家庭内ピザパーティーを開催しております。 息子が盛り付けた手作りピザ (本文とは特に関係ありません) さて、エムスリーではBigQueryをメインのデータウェアハウスとして活用していますが、費用最適化の取り組みの 1つとして一部のデータマートでクラスタ化テーブルの活用を始めました。本日はその導入効果をご紹介できればと思います。 この記事は【データ基盤チーム ブログリレー4日目】です。データ基盤チーム設立の経緯についてはブログリレー1日目の鳥山の記事をぜひご覧ください。 www.m3tech.blog はじめに 費用最適化のアプローチ クラスタ化テーブルとは クラスタ化テーブルの作成方法 実際に速く・安くなるのか 複合キーによるクラスタリング クラス
Container Registryから脱却してコスト削減した話 - 生涯未熟
一人でインフラ周りなど色々と見て毎日を過ごしているのですが、ある日「そういえば全然Billing情報確認してないぞ」となり確認してみるとえらいことが。 なんか一部のSKUで料金が爆上がりしてる！！！ サービス全体からするとそこまで大きなインパクトではない額だったのですが、それでも見過ごせない不穏な上がり方です。 10/1を契機に上がっていたので、GCPのお知らせを確認してみると・・・ cloud.google.com これや〜〜〜 GKEでContainer Registryを利用していたので、Podを生やす際にContainer Registryからイメージをダウンロードしてくるタイミングで新たにお金がかかるように😇 えらいこっちゃとすぐさまダウンロード時の料金がかからないArtifact Registryへの移行を準備しました。 Artifact Registryへの移行 まずはCD
独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた
特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行えるようにしたライブラリとのことなので、実際に使ってどれくらい簡単なのかを試してみました。 lit-parrot/scripts at main · Lightning-AI/lit-parrot · GitHub https://github.com/Lightning-AI/lit-parrot How To Finetune GPT Like Large Language Models on a Custom Dataset - Lightning AI https://lightnin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Comparing Postgres Managed Services: AWS, Azure, GCP and Supabase