FluentdとRedisを使ったランキング機能の実装 | SmartNews開発者ブログ
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい
MySQL用にランキング専用ストレージエンジンを作る話 - kazuhoのメモ置き場
前提: ゲームに限らずランキング機能が必要になるケースは多い つまり需要はある だが、MySQLで高速なランキング表示は難しい 具体的に言うと、以下の要件を満たすのが不可能 １行の更新コストが要素数Nに対して O(log N) 以下 任意のランキング位置周辺のSELECTコストが O(log N) 以下 ならば、専用のストレージエンジンを作ればいいのではないか いつやるか？ 今でしょ！ 以下理由 MySQL 5.5以降?だとストレージエンジンをまたぐトランザクションがまともになってるはず*1 ランキング専用でいいから、テーブル構造とか固定でいい（つまり実装が簡単！） ランキング専用だから、テーブル・ロックで十分（つまり実装が簡単！） 更新すると順位がずれる（つまりテーブルの大部分に影響がある）ので行ロック実装するメリットが小さい*2 ランキング専用でいいから、全データをメモリにもっても問題
検索とランキング - 人工知能に関する断創録
集合知プログラミング 作者: Toby Segaran,當山仁健,鴨澤眞夫出版社/メーカー: オライリージャパン発売日: 2008/07/25メディア: 大型本購入: 91人 クリック: 2,220回この商品を含むブログ (277件) を見る 4章の検索とランキングを読んだ。pythonを使ってシンプルな検索エンジンを作ってるけどけっこう感動した。この本すごいよ。技術メモと感想。 1. クローリング 検索エンジンの第一歩となるWebページを収集するクローラを作る。昔は、クローラというプログラムがWebサーバを渡り歩いてデータを収集し、本部のサーバへデータを送るというイメージを持っていたのだがこれは全く違う。実際は、本部からURLへアクセスしてデータをダウンロードするだけ。実体がサーバを渡り歩くプログラムはモバイルエージェントと言ってクローラとは目的が異なる。 urllib2を用いるとWeb
DCGによるスコア付きランキング出力結果の評価
DCGによるスコア付きランキング出力結果の評価 2012-04-11-1 [Programming][Algorithm] スコア付きランキング出力結果のDCG(Discounted Cumulative Gain)による評価についてのメモ。DCGは関連度の高い要素が上位にあればあるほど評価が高い、という考え方に基づく。 出力結果の順位iの要素はスコア（関連度Ri）を持っている。DCGの計算ではそれを用いる。 順位p（p位）までの結果に対するDCGp： 例：上位5位のそれぞれのスコアが「3,0,2,1,1」のときのDCGは： ■サンプルコード(dcg.pl)： #!/usr/bin/perl use strict; use warnings; my @r = (3,0,2,1,1); my $cum = $r[0]; for (my $i = 1; $i < @r; $i++) { $cu
EdgeRank（エッジランク） ニュース表示順番はこれで決定
Facebookが発表している数字によると、Facebookユーザーは平均で130名の友人とFacebook上でつながっているそうです。ただ、Twitterでもそうですが、一定数を超えると全部のニュース（ツイート）を読むことは難しくなってきますよね。 Facebookは、ユーザーにとって大事な人の情報は出来るだけ伝わるような仕組み（News Feeds Optimization:ニュースフィード最適化）の開発に取り組んでおり、それを実現するアルゴリズムとしてEdgeRankを開発しました。 Facebookでマーケティングなど企業活動を行う上で、この仕組みを理解しておくことは非常に重要だと思いますので、是非、目を通してください。 ニュースフィードの順番は、最新順ではありません デフォルトでは、ニュースフィードはハイライト順で表示されています。ハイライトとは、あなたと関係の深い人や企業（Fa
Tetsuya Hattori; moved
Tetsuya HATTORI 引っ越しました．クリックしてください． ブックマークとリンクの変更をお願いします．
検索エンジンのランキングアルゴリズムをMySQLで真似てみる
今回はMySQLを使って、GoogleやYahooなどがやっている「ランキング」を出す方法を書いてみたいと思います。 別に検索エンジンを作ろうなどと大それたページではありません。笑 単に「あっちこっちにあるデータを指標として得点化し、合計値でランキングを出すにはどうしたら良いか」を簡単に調べるための方法について書いているものです。 誤解しないでね！ 今回のテーマ：関連キーワードと被リンクからランキング 今回は、検索エンジンの王道である「キーワード数」と「被リンク数」にスポットを当て、ページ各々が持っている数からランキングを出してみようと思います。 インストールOSも選べる注目のホスティングサービス テーブル情報 テーブル名：pages pid title url
ランキングのつくりかた:Kenn's Clairvoyance
遅ればせながら、あけましておめでとうございます。 先週には、ベイエリアの友人たちがやっているEchofonがPostUpに買収されるなど、幸先のよい新年のスタートとなりました。 さて、最近ホットなマーケットといえばソーシャルゲームですが、ゲームといえばリーダーボード。ハイスコアのランキングで友人や見知らぬ人たちと競うのは、ビデオゲームが誕生した1970年代から欠かせない要素でした。 ところが、インターネット経由で100万人規模のプレイヤーがつながるようになってきた現在、その全体をランキングづけするのは、技術的にも大きなチャレンジとなってきました。 今回は、そのリーダーボードのつくりかたについて、ぼくらの作っているソーシャルゲーム・プラットフォームであるPankiaの運用で得られた知見を共有したいと思います。 自分の順位を知る方法 リーダーボードの基本的な考え方はシンプルで、それはつまり「ユ
AppStoreのランキングは4日移動平均 | fladdict
フランスのコンサルティング会社faberNovelHow to Successcully Market Your iPhone Applicationのスライドの中で、AppStoreのランキング算出が紹介されているとのことでメモ。 従来からの予想通り、アプリケーションのランキングは移動平均であるというのがファイナルアンサーっぽい。ここでは式が出てきたことが重要。 こちらのスライド25ではスコアの算出は以下のように表記されてる。 スコア = Day*8 + (Day-1)*5 + (Day-2)*5 + (Day-3)*2 ただ、移動平均であるならば スコア = Day*0.4 + (Day-1)*0.25 + (Day-2)*0.25 + (Day-3)*0.1 と正規化する方が、通常のセールスと比較できる為に、使い勝手がよいと思われる。アプリをリリースしてその日のウチにAppStore
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
