CIU Tech Meetup #1 (https://cyberagent.connpass.com/event/283317/) で発表した資料です。
Evolving ML Platform with OSS Upstream Community
CIU Tech Meetup #1 (https://cyberagent.connpass.com/event/283317/) で発表した資料です。
microk8sとkubeflowで機械学習開発基盤を構築(MLOps) - Qiita
microk8sとkubeflowを使って機械学習開発基盤を構築します(いわゆるMLOps)。 kubernetesを試してみるにあたってはminikubeがよく利用されてると思いますが、将来的にきちんとしたマルチノードクラスタを構築したいなと思ったのでmicrok8sを使っています。 1.Install microk8s まずはmicrok8sをインストールしましょう。 今回は1.20をインストールします。 もっと新しいバージョンもありますが、gpuのaddonがうまく動かなかったりするので安定動作した1.20を利用します。
機械学習の実験管理をトレンドサーチしてみた - Qiita
概要 実験管理ツールがOSSとして複数あるものの、どれが流行っているのか&学習コストに見合うだけ使えるのかの知りたく調査しました。今回はMlflow,Kubeflow,Kedro,Metaflow,ClearMLをGoogleトレンドで調査。結果、Kubeflow,Mlflowがよく検索されているようです。 調査 Googleトレンドで12ヶ月,5年,おまけで日本での12ヶ月の3つの結果を載せます。画像は執筆時点で取得したものです。 線の色の対応は次の図を参照して下さい。 12ヶ月の検索では、MlfLowとKubeflowがほぼ同立の1位。 5年ではKubeflowがやや優勢。2018年6月にMlflow 0.1.0のリリースが開始されています。Kubeflowも2018年2月ごろからv0.1の開発が進んでいます。 おまけに日本での検索結果です。Kubenetesの学習コストが大きいからか
Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines
第9回 MLOps 勉強会 Tokyo (Online)： https://mlops.connpass.com/event/215133/ でトークした際の資料です
KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構
AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG
ZOZOテクノロジーズ推薦基盤チームの寺崎（@f6wbl6）です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械学習基盤（以下、ML基盤）の設計と実装を行っています。本記事ではML基盤の足掛かりとして用いたAI Platform Pipelines (Kubeflow Pipelines) の概要とAI Platform Pipelinesの本番導入に際して検討したことをご紹介し、これからKubeflow Pipelinesを導入しようと考えている方のお役に立てればと思います。記事の最後には、推薦基盤チームで目指すMLプロダクト管理基盤の全体像について簡単にご紹介します。 上武氏との共同研
Amazon EKSでKubeflowを立ち上げてJupyter Notebookを触るまでの道のり -Kubeflow v1.0.1 Released-
COVID-19でリモートワークが推奨されているため自宅にこもりがちです。self-isolateするだけでなくself-studyに最適な時機なのではないでしょうか。そんなわけで以前より興味のあったKubeflowをEKSのKubernetesクラスタ上に設置して簡単なJupyter Notebookを作るテストを行ってみました。KubeflowはKubernetes上で機械学習のモデル開発やエンドポイントのデプロイをサポートするオープンソースのシステムです。データサイエンスの職能領域は主にビジネス寄りとされるデータサイエンティストとエンジニア寄りの機械学習エンジニアに枝分かれして語られます。機械学習エンジニア領域ではMLOpsの興隆と共に実際に構築したモデルを運用しテストおよび改善していく必要性が以前にも増して高まってきているようです。Amazon Sagemakerのようなマネージド
MLOps 海外テック企業の事例とフレームワークの紹介 - Gunosyデータ分析ブログ
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
Kubeflow 1.0: Cloud Native ML for Everyone
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why Karrot Uses TFX, and How to Improve Productivity on ML Pipeline Development
Machine Learning Pipelines with Kubeflow