はてブの闇を可視化してみた - 坂本から君へ
三ヶ月ほど前に僕が「作ります！」と宣言していた、はてブホッテントリの感情分析サイトだが、ようやく完成したので公開したいと思う。 hotentry-sa.appspot.com このサイトでできること はてなブックマークのホッテントリ内の各エントリーについた全てのブクマコメントを解析して、感情的なネガティブ度・ポジティブ度を算出して表示している。 次の３種類の分析結果が表示できるようになっている。 闇ホッテントリ⇒ネガティブなコメントの多いエントリを順に表示する。 きれいなホッテントリ⇒ポジティブなコメントの多いエントリを順に表示する。 揺れホッテントリ⇒ネガティブとポジティブの間の揺れ幅が大きい、つまり賛否両論の激しいエントリを順に表示する。 サイトが出来上がるまでの経緯 今年の始めにネットのどこかのサイトを覗いていたら、グーグルが自然言語処理に関するWebAPIを提供しているということを
GCP移行でハマった10件総まとめ(GAE Rails+Postgres編) - Qiita
はじめに Google Cloud Next '17で発表されたGCPの大きな改良によって、GCPで利用できるプロダクトの幅が広がりました。注目すべきは以下の2点です： Cloud SQLでPostgreSQLのサポート GAE(GoogleAppEngine) Flexible EnvironmentによるRuby, Node.js, .NETのサポート 従来からGCPでは、MySQL+(Python|Java|PHP|Go)という構成のアプリが動かせましたが、これに加えて上述の様々なアプリが動作するようになりました。 私達のチームではRails+Postgresでアプリを開発していたのですが、この変更によってGCPでやっていく機運が高まり移行しました。しかし出たての機能ということもありドキュメントが手薄で、ハマりどころが多かったのも事実。そこで、ハマったところをまとめて共有します。 ハ
Google App EngineでGoを動かすときに知っておくべきこと（ソースコード・ビルド編） - 詩と創作・思索のひろば
Google App Engine（GAE）で Go 製のウェブアプリを動かしたかった話。いっぺん動かしてみると GAE/Go はウェブアプリを動かす環境としてはとてもいい。ただ、中途半端な知識だけで始めると開発者としてはつまずくことが多かったので、分かりにくい点をまとめておく。 Google App Engine Go Standard Environment について goapp は $GOPATH 以下もアプリケーションのソースとしてアップロード／コンパイルする goapp はプロジェクトルート以下のソースコードをすべてコンパイルしようとする go-app-builder: Failed parsing input: parser: bad import "syscall" in ... go-app-builder: Failed parsing input: app file x
Google Compute Engineに続き、Google App EngineもDockerサポートを発表。Dockerをクラスタ化して管理するツール「Kubernetes」をオープンソースで公開
Googleは昨年2013年12月にIaaS型クラウドサービスの「Google Compute Engine」を正式サービスとして開始した際に、コンテナ型仮想化のDockerを正式にサポートすると発表しました。 そして今度はPaaS型クラウドサービスの「Google App Engine」でDockerのサポートを開始すると、6月10日付けのブログ「An update on container support on Google Cloud Platform」で明らかにしました。 Google App Engineは、PythonやJava、PHP、Goなどのアプリケーションの実行環境と、スケールアウトやフェイルオーバーなど自動化された運用環境を提供しますが、今年の3月には「Managed Virtual Machines」（Managed VM）と呼ばれる新機能が追加されました。 Man
Google App Engine / Python 上での開発で最初から知ってればよかった、ってことをいくつか - Masatomo Nakano Blog
ここ数ヶ月、Google App Engine/Pythonを使い、初めてちょっとしたものを作ってみているのだけど、開発初期から知っておけばよかったなー、と思うノウハウ/tips的なものをずらずらと書いてみる。 基本的な環境設定は、 以前書いた まま。 0. 公式ドキュメントを良く読む 言うまでもなく、だけど、 マニュアル はもちろん、 この辺 の下の読み物も、流し読みだけでもしておいたほうがいい。 datastoreとmodel的なところ 1. key nameを使いこなす key nameは、レコードの作成時に指定できる(RDBでいう)primary keyの別名みたいなもの。primary key自体は自動的で作成されるので開発者が指定できるのはkey nameだけ。 key nameをうまく使うことで、datastoreを使いやすくすることができる。特にdatastore上で"un
GAE/Pythonでサービス作ろう！ « python練習帳
この10日間ほど、地震のニュースばかり追いかける日々をすごしていないでしょうか？大勢の方が被災され、原発関連の二次災害も発生する中で落ち着きづらいというのも事実なのですが、心配しすぎてもしかたない。そう思いながらこの記事をまとめました。 GAEとは 多種多様なクラウド系サービスが登場しているが、大きくわけて3つの種類があります。 SaaS (Software as a Service) サービスそのものを提供 例) GoogleApps、SalesForce、Gmail PaaS (Platform as a Service) ソフトウェアの開発・運用基盤を提供するサービス 例) GoogleAppEngine、Azure、Force.com HaaS (Hardware as a Service) = IaaS (Infrastructure as a Service) サーバやネットワ
【無料】GAE使ってみない？【無広告】 « python練習帳
みなさん、Google App Engineって聞いたことありますか？ あっ、それしってる。Google Docsとかでしょ？って思った方。惜しいけど違います。 Google App Engineとは、Googleが運営している宇宙最強のデータセンタを、一定量まで無料で使える仕組みなのです。 ほんとに無料なの？ Google App Engineを使って無料でサイトを立ち上げる方法にもありますが、無料割り当て分(Free Quota)だけで、かなりの規模のサイトを運営できます。1日の通信量が1GBまでなら基本的にお金はかかりません。100kB/pvとして、1日1万PVまで無料です。個人運営のサイトなら、たいていは無料利用分で足りるのではないでしょうか。 プログラム必要なんでしょ？ Google App Engineを使って無料でサイトを立ち上げる方法の方法を使えば、プログラムを一切書かずに
サーバー側コーディング不要のGoogle App Engine開発環境「jsonengine」
はじめに 本稿では、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するツール「jsonengine」について紹介します。 対象読者 Google App Engineに興味はあるが経験のない方。JavaScriptやActionScriptによるクライアント開発、またはiPhoneやAndroidによるスマートフォン開発の経験のある方。JavaやPythonの開発経験は不要です。 必要な環境 最低動作環境は次のとおりです。 Java SE 5 jsonengineって何？ 「jsonengine」は、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するオープンソースのツールです。このツールは、昨年開催された「Mashup Awards 6」において「
apache のユーザ認証を Google Apps アカウントで行う Apache::Authn::GoogleApps - nazokingのブログ
https://github.com/nazoking/perl-apache-authn-googleapps perlの書き方とかドキュメントの書き方とかどうやったらCPANにあげられるのかとかテストの書き方とか英語とか全然分からないので知ってる人は何とかして欲しいです。apache のユーザ認証を Redmine で行う Redmine.pm を見ながら作りました。 使い方は、GoogleApps.pm をダウンロードして、/usr/lib/perl/Apache/Authn/GoogleApps.pm みたいなところにコピーして（詳しい場所は自分のlinuxさんと相談）、httpd.conf に PerlLoadModule Apache::Authn::GoogleApps <Location /svn> AuthType Basic AuthName GoogleAccount
AppEngine/Jのspin-upを劇的に改善する方法 - ひがやすを技術ブログ
AppEngineは、アクセスがあったときにアプリケーションを起動し、しばらくアクセスが無ければアプリケーションを終了させ、また次のリクエストで再起動するという仕組みを導入しています。 そのため、アプリケーションを起動(spin-up)する時間がとても重要になってきます。このspin-upの時間はpython(webapp)で60cpu_ms以下。(cpu_msはcpuが使う仮想的な時間ですがmsと同じ感じで捉えてもらってもとりあえずは大丈夫です)JavaのServletだと600cpu_msくらいです。PythonでもDjangoような大きなフレームワークだと1000cpu_msくらい(アプリによる)かかりますが、許容範囲内。JavaだとSlim3で1300cpu_ms、Springだと早くて7000cpu_msという感じで、Slim3がギリギリ許容範囲内でしょうか。ほんとうは、1000
google appengine に関してひと言
ここ数日、Twitter上で appengine に関する発言をたくさん目にする。それを見る限り、「注目をされてはいるが、手を出しかねている人が多い」というのが現状だろう。そこで、私からもひと言。 App Engine は純粋なソフトウェア・エンジニアにとっての天国 私自身、色々な開発環境を試して来たが、私のようにプログラミングが大好きで、新しい言語や環境を学ぶのが楽しくて仕方が無いエンジニアにとっては、「App Engineは天国」というのが正直な感想。SQLやRailsのように一見開発効率を良くしてはくれるが、直感的に実行効率とかが把握できない「補助輪付きプログラミング」と違い、App Engine上でのプログラミングは、ちょっと手を抜くとすぐに実行効率の悪さとして跳ね返ってくる「一輪車プログラミング」。 新しい言語を学ぶのが苦ならApp Engineは避けた方が良い 現時点で、Pyt
AppEngineにどんなアプリが向いているのかを知ろう - ひがやすを技術ブログ
AppEngineは、万能なプラットフォームではありません。むしろ、かなり使い道は限定されていると言ってもいいでしょう。 向いていないアプリで使うとかなりはまって、アプリが完成しないリスクがあります。 一方、向いているアプリで使うとこれまでよりかなり費用を節約できたりとか、儲けにつなげることができます。 AppEngineにどのようなアプリが向いているかというと、AppEngineがGoogleの既存のインフラをそのまま利用していることをまず知っておく必要があります。 Googleのインフラは、(極端に単純化すると)大量のデータを多くの人に同時に見せるために最適化されています。 AppEngineも同様で、大量のデータに大量にアクセスがあっても大丈夫なように、BigtableというKVSを使っています。また、自動でスケールアウトするWebのFront Endも既存のインフラをそのまま使って
Google AppEngineについて思うところ
早すぎる最適化オジサン @makotokuwata まずAppEngineがいまいちブレークしないのは、お金を集める仕組みが用意されていないことと、Datastore (Bigtable) の使い方が難しいことの2点だと思う。 2010-11-05 23:11:32 早すぎる最適化オジサン @makotokuwata 1点目の、集金システムについて。AppEngineと比べて、たとえばiPhoneアプリは十分ブレークしているといえるけど、これはやはりiPhoneアプリは販売して収益を出せる可能性があることが大きい。 2010-11-05 23:12:58 早すぎる最適化オジサン @makotokuwata それに比べて、GAEはインフラと開発環境は提供するけど、集金の仕組みは提供できてない。言い方を変えると、無料で使える環境は提供しているけど、収益を上げるための環境は提供できてない。そこが
Google App EngineがSQLデータベースをサポートへ。エンタープライズ向けサービスを拡充
Google App EngineがSQLデータベースをサポートへ。エンタープライズ向けサービスを拡充 グーグルは5月19日（現地時間）に米サンフランシスコで開催されたイベント「Google I/O」の基調講演で、エンタープライズ向けにフォーカスした「Google App Engine for Business」を発表しました。その内容を紹介しましょう（基調講演の内容は、記事「［速報］Google I/Oで発表された4つのポイント：VP8オープンソース化／Chrome Web Store／VMwareとの協業／Google App Engine for Business」をご覧ください）。 基調講演で最後の発表者として壇上に立ったのは、グーグルのKevin Gibbs氏。App Engineがエンタープライズに受け入れられるようにするためには、いくつかのバリアを乗り越えなければならないと語
Google App Engineでランキングやページングを実現する - $koherent->diary
昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時
ASCII.jp：Twitter APIとGAEでおもしろWebサービスを作ろう！ ｜Twitter＆Google App Engineで始めるWebプログラミング入門
みなさんこんにちは。ふむふむソフトの飯島です。 さっそくですが、みなさんはTwitter APIを使ってプログラミングしていますか？ すでに星の数ほどTwitterアプリやWebサービスはありますし、バリバリ使っている方も多いと思いますが、「知っているけれど、なかなか触るチャンスがなくて……」という方もたくさんいるのではないでしょうか？ そこで今回から5回にわたって、Twitter APIを使ったWebサービスのプログラミングについて解説したいと思います。ただAPIの使い方を解説するだけでは面白くないですから、Webサービスを公開するサーバーとしてグーグルのクラウドサービス「Google App Engine（以下GAE）」を使い、自分でサーバーを用意することなく全部無料で遊んでみましょう。 本連載では、サンプルコードのダウンロードはもちろん、Twitter APIの準備からGAEの準備、
App Engineではどの言語を使えばいいのか - ひがやすを技術ブログ
App Engineで使える言語は基本的にはPythonとJavaです。それでは、どちらを選ぶのが良いのでしょうか。 それ以外の言語の人向けの話は後から出てくるのでしばらくこのままお読みください。 趣味ならば単に好きなものを選ぶだけでいいのですが、仕事で使うためには、長所と短所をきちんと把握した上で選ぶ必要があります。また、ここでの話は言語としての一般的な話ではなくApp Engineで使うとき限定の話としてお読みください。 まず安定度ですが、インフラ部分の安定度は、どちらも基本的に同じです。もしかすると、まったく同じものを使っているのかもしれません。 その上で動くAPIの部分は、インフラと直接結びついている低レベルな部分と低レベルなAPIの上に構築された高レベルな部分とに分けて考える必要があります。 低レベルなAPIはLLAPIと呼ばれたりしますが、安定度は、PythonとJavaも同じ
Google App Engine をはじめてみよう
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google App Engine を利用した、新規 Web サービスの立ち上げ方
GAE/Go の勘どころ
