なぜ今も Google App Engine を選ぶのか - ぽ靴な缶
Google Cloud で何かアプリケーションを動かしたい時、いつも App Engine (GAE) を第一の選択肢として挙げています。 なのにみ〜んな Cloud Run に行ってしまう。なぜなのか?? 確かに Cloud Run のほうが新しくて公式に露出が多いし、GAE はこういうランディングページからの言及も消えているので無理もない。Google Cloud 的にもあんまり使って欲しくない雰囲気が漂っている。 cloud.google.com App Engine は GCP 最初期からあるサービスで今年で 14 年目になるらしい。 当時学生だった僕はすげーのが出たぞと聞いて GAE を触っていた記憶がある。その頃は Google App Engine 単体で出ていて、他のサービスが続いて Google Cloud Platform になったような気がする1。 そんな歴史あるサ
Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える
前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは？ サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは？ Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run で DB エンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに
AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!
はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅
300万テーブルのデータ流通を支えるエンジニアリング #GoogleCloud #GoogleCloudDay / 20230523
テクノロジーカンファレンス「Google Cloud Day ’23 Tour in TOKYO」の登壇資料です。詳細は当社ニュースをご参照ください。 https://kazaneya.com/5a50c1c1bb7b42f1bd9eb7b35d813ba1 --- スモールチームで 300 万テーブル規模のデータ基盤を構築・運用し、社内・社外にデータを提供しています。スケーラブルな仕組みやデータ流通を実現するヒントになればと思います。 具体的には - BigQuery へのマイグレーション - dbt によるデータモデリング - IAM や AnalyticsHub によるデータ共有 - BigQueryML による異常検知 - CS 活動におけるデータ活用 といったテーマを扱います。 ---------------------------------------------------
スプラトゥーン3をパケットキャプチャーで解析、最新の通信技術を学ぼう
人気の「スプラトゥーン3」を通して、最新の通信技術の基本を学んでしまおうというこの特集。今回は実際にスプラトゥーン3のパケットをWiresharkでキャプチャーして、UDPの通信やNAT越えの仕組みを見ていきます。 なお記載内容については、実際の通信をキャプチャーした結果に基づいた筆者の考察や推測によるものであり、任天堂の公式見解ではないことを記しておきます。 任天堂が開発した汎用ゲームプラットフォーム「NPLN」 スプラトゥーン3では、「NPLN」という、任天堂がスクラッチから開発をした任天堂プラットフォーム向け汎用ゲームサーバーが使われ始めました。従来のプラットフォームである「NEX」はニンテンドー3DS／Wii Uからの世代で使われてきて、NPLNはそこでのノウハウを基に2021年から「Google Cloud Platform（GCP）」で稼働しているようです。オンライン対戦のマッ
Twitter、Google Cloud 用 API でツイートからインサイトを獲得 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 6 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: Twitter はデータの宝庫と言われています。しかし、世の中で何が起きているのか、人々は今何を話しているのか、その情報をどのようにビジネスのユースケースに活かすのかを理解するために、ツイートを分析する作業には、これまで高度な技術と時間が必要でした。今はそうではありません。Twitter は最近、Google Cloud 向けの API ツールキットを発表し、デベロッパーが数分以内にツイートから大規模にインサイトを獲得できるよう支援しています。このブログは、これを実現した Twitter チームとの対話をもとに書かれています。このブログに貢献してくだった、Twitter の Prasanna Selvaraj 氏と Nikki Golding 氏に謝意を表し
とりあえずWebサービス作る時の私の技術選定ポイント@2022/02
はじめに inspired mogaさんのブラウザで動くサービスを作るときの技術選定が素晴らしい記事だったので、自分も書いてみる事にしました。 幸いにも技術選定からのお仕事をする機会が多くて、自分の中でパターンが大体決まってきているので言語化してみます。前提が同じサービスは無いので絶対的な正解は無いですが、なんかしらの参考になれば幸いです。 ※2022/02時点 私/よくあるお仕事について Web系のサービスなんかいい感じにするマンとして、フリーランスとして働いています。 準委任という形でスタートアップ企業をお手伝いする事が多いです。 MVPを作りたい、もしくはMVPは行けたのでちゃんと作り直したい、という要望があって参画して、まるっと作ってそのまま運用をします。作って終わりではなくて、運用や拡張性を考えてやってます（サービスに必要なのはもちろん、運用する自分が楽だから）。 前提 エンジニ
GCPをフル活用して東京五輪の2週間で約5000万ツイートをさばいた話 - JX通信社エンジニアブログ
はじめまして。JX通信社でデータアナリストをしている @nrtaking です。 弊社では、7/23〜8/8に行われた東京オリンピック、8/25〜9/5に行われた東京パラリンピックにあわせて関連した日本語ツイートを全量収集し、Twitter Japanなど各社に提供していました。 内容に関する簡単な分析についてはプレスリリースでお伝えしているので、そちらもあわせてご覧ください。 prtimes.jp 実はこのツイート収集システムは、2週間ほどでほぼゼロから立ち上げたものでした。 今回は五輪関連のツイート収集を支えた技術について紹介します。 叶えたかった要件 五輪に関するツイートを、NTTデータの提供するAPIからストリームで受け取り続ける ツイート量などの統計情報やRTが多いツイート情報をダッシュボードの形で見ることができる 上記を（ほぼ）リアルタイムで実現できる 実はこの取り組みにあたり
みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 | Google Cloud Blog
みんなの銀行：日本初の「デジタルバンク」として Google Cloud に勘定系を構築。Cloud Spanner で銀行基幹システムで求められる可用性を実現 2021 年 5 月にサービス提供を開始した「みんなの銀行」は、デジタル ネイティブ世代をターゲットとしたスマートフォン専業銀行。金融にまつわる煩わしさを排除し、ゼロベースでこれからの銀行に求められる機能を開発・提供していくと打ち出しています。そんな同行の大きな技術的トピックの 1 つが、勘定系システムにパブリッククラウドを採用したこと。これはもちろん国内初*の試みです。ここではサービス開始後の手応えをシステム構築をリードしてきた皆さんにお伺いしました。 利用している Google Cloud ソリューション： Google Cloud Databases、Stream Analytics 利用している Google Cloud
GCPとDockerでKaggle用計算環境構築 - Qiita
Kaggle Advent Calendar 13日目の投稿です。 初めまして、Lain（@lain_m21）と申します。Qiita初投稿です！ 今回はKaggle関連のトピックで何か短いのを一本書こうと思い、私が普段行なっているコンペ用の環境構築についていくつか良いなと思ったtipsをシェアしたいです。 先に結論からまとめておくと、 ローカルPCよりクラウドの計算資源をうまく使おう AWSもいいけど、GCPの方が目的に応じてインスタンススペックを細かくチューニングできるので良いぞ 今後のクラウドの環境構築をスムーズにするためにdockerを使おう といった感じです。昨今のコンペの規模を考えるとクラウドで計算することが増えると思うのですが、いちいちコンペごとに環境構築したりめんどくさいと思うので、できるだけdockerで自動化して楽しよう！というのが趣旨になります。 一応順を追って説明しま
株式会社バンダイナムコスタジオ様の導入事例動画： Google App Engine の活用で、ゲームリリース後のトラブルとは無縁の「平和な日々」という驚きを体験 | Google Cloud 公式ブログ
株式会社バンダイナムコスタジオ様の導入事例動画： Google App Engine の活用で、ゲームリリース後のトラブルとは無縁の「平和な日々」という驚きを体験 ゲームアプリ「アイドルマスター ミリオンライブ！ シアターデイズ」（配信元：株式会社バンダイナムコエンターテインメント）の開発にあたり、株式会社バンダイナムコスタジオは Google Cloud Platform（GCP）の導入を決断します。 Google App Engine（GAE） は、スケーリングが極めて高速であり、突発的なアクセス数増加にも柔軟に対応することが可能です。この GAE を活用し、大きなメリットを生み出した同社の事例をご紹介します。 ■ 利用している Google Cloud Platform サービス Google App Engine、Google Kubernetes Engine、Cloud Dat
TensorFlowのGPU環境をGCPでさくっと作る方法 - Qiita
TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請（初回のみ。所要時間は約5分） CUDAやcuDNNをインストール（NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒） TensorFlowをインストール（所要時間は約5分） って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請（初回のみ。所要時間は約5分） Cloud Datalabインスタンスを作成（コマンド一発、待ち時間は15分ほど） これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、
株式会社メルカリの導入事例：Kubernetes を駆使したマイクロサービス化でグローバルサービスの開発効率を劇的に向上 | Google Cloud 公式ブログ
日本国内で圧倒的なシェアを誇り、今や知らない人はいないというほど認知度を増した「メルカリ」。その勢いは国内だけに留まらず、2014 年 9 月には米国に、2017 年 3 月には英国でのサービスを開始しています（世界累計 1 億ダウンロード。2017 年 12 月 16 日時点）。海外展開に消極的と言われる国内サービス事業者ですが、同社に関してはその常識は通用しないようです。今回は、そんなメルカリの米国における最新の取り組みについて、今春 CTO に就任した名村 卓さんと、SRE 中島 大一さんにお話をお伺いしました。 ■ 写真左から 執行役員 CTO 名村 卓氏 SRE 中島 大一氏 ■ 利用している Google Cloud Platform サービス Google Kubernetes Engine、Cloud Dataflowなど ■ 株式会社メルカリ 2013 年 2 月 1 日
Google Cloud ML EngineをJupyterから簡単に使えるMagic - Qiita
Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。 こんな感じ。 Cloud ML Engineとは 簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。 また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。 準備 Google Cloud SDKの
[GCP]Cloud Machine Learningを使ってハイパーパラメータチューニング | Workpiles
GCP Cloud MLを使ってハイパーパラメータチューニングをやる方法です。 普段の開発環境にはGPU付いてないので、ここぞという時はGCP（Tesla K80）使ってます。お値段は１時間使って約1.5ドル（160円）ほどです。 ※ちなみにTesla K80のお値段って80マンもするんですね。たかっ！ ハイパーパラメータチューニングみたいにPCぶん回さないといけない場合も、CPUだと厳しいのでGCPを使います。 CloudMLを使ってトレーニングができる環境が構築済みという前提で話を進めていきます。 準備 まずは、CloudML上でハイパーパラメータチューニングを行うためにいくつか準備が必要です。 １．パラメータを実行時オプションから指定出来るようにソースコードを書き換える チューニング対象のパラメータをプログラム実行時のオプションで指定できるように書き換えます。 例えば、下記のように学
Google Cloud Machine Learning : 入門編 (1) – OpenAI API / Gemini API | ClassCat® Chatbot
Google Cloud Machine Learning がパブリック・ベータになった旨のお知らせを頂きましたのでさっそく試してみました。サービスの概要は以下に記されています : Google Cloud Big Data and Machine Learning Blog 要約すれば、Google Cloud Machine Learning は GCP (Google Cloud Platform) と統合され、Google Cloud Dataflow、BigQuery、Cloud Storage そして Cloud Datalab のようなクラウド・コンピューティング・ツールと TensorFlow に渡るリッチな環境をスケールして作成可能なフルマネージドサービスになります。 また、新しい特徴として HyperTune があります。これは自動的に予測精度を改善します。モデルのため
TFGANでFashion MNISTのGANをさくっと試す - Qiita
これはTensorFlow Advent Calendar 2017の22日目の記事です。 12/12にGoogleからTFGANがリリースされた。TFGANはTensorFlowでGenerative Adversarial Networks (GAN)を手軽に使えるライブラリ。さっそく触ってみたので、お手軽に試す手順を紹介したい。おそらく30〜60分ほどでこんなふうにFashion MNISTの画像が徐々に生成されていく様子が確認できるはず。 TFGANで生成したFashion MNIST画像 GANって何？ GANについては、アイドル顔画像生成やいらすとや画像生成などの事例で目にしたことのある人も多いはず。いわゆる生成モデルに分類される技法で、既存のデータを投入して学習すると、そのデータの特徴を捉えた新しいデータの生成を行える。2014年にIan Goodfellow他が考案したモデ
Google Compute Platformの無料枠がちゃっかり拡大されたらしいので使ってみる - jtwp470’s blog
こんにちは．たんごです．ニュースを読んでいたら常時無料プランができたらしいですね．AWSは1年間無料枠があるのとバイト先で利用しているので慣れ親しんでいますし，さくらのクラウドはよくクーポンをもらっていたのでそれで楽しんでいました．またAzureに関しても昨年のISUCONで使ってみてWeb UIはハゲるほど使いづらいなぁという印象を受けていましたがGCPだけは使っていませんでした． しかし jp.techcrunch.com の記事にあるようにGCPのCompute Engine (AWSのEC2に相当)にも常時無料枠が登場したとのことなのでせっかくですが試してみます． 残念ながら私にはないのですが初めて利用する方には12ヶ月有効の300ドルクレジットがもらえるらしいですよ 始め方 プロジェクトを作成する． IAMの画面にあるプロジェクト作成を選択して適当な名前で． アカウントに課金を有
キュウリ農家とディープラーニングをつなぐ TensorFlow
家のキュウリが枯れてしまってから知りました。 ある程度パラメータがはっきりすれば 大規模なFPGAで処理できるかもしれません。 12月3日の大垣ミニメーカーズフェアでデジタルフィルタの人と会えたら話してみます。 返信削除
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTTドコモがペタバイト級分析基盤で「BigQuery」本格運用開始、背景を語る (1/2)
