Elasticsearch運用ノウハウ | メルカリエンジニアリング
こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
文書のランキングは情報推薦なのか？ - Qiita
検索エンジンにこれらのフィールドを持つ文書として格納します。「冷蔵庫 安い 黒」のような文字列のクエリが来たら単語に分解して各フィールドに一致する文書をフィルタして、なんらかの方法でソートして表示すればよさそうですね。このように基本的に検索システムは候補生成とランキングの多段構成になっています。候補生成に関してはクエリ拡張や候補拡張など様々な手法が提案されてきて、多くの現場で実際に使われていると思いますが、ランキングはどうでしょうか。 文書のランキングの目的は検索結果の有用性を最大化することです。1977年にRobertsonは与えられた文書セットに対して関連度の確率を高い順にソートしたときに有用性が最大になるというProbability Ranking Principleを提案し、それ以来人々は様々な方法で関連度を推定しようと試みてきました。 従来の単語の出現頻度からランク付けをする手法
ZOZOTOWNにおける検索速度改善までの道のり - ZOZO TECH BLOG
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは先日公開した記事の通り、すべての検索をElasticsearchへ置き換えました。置き換え直後は順調に見えたのですが、実際に数%ずつリリースしていく中で一部時間帯、一部リクエストでレスポンス速度の低下がみられました。 本記事ではその解決のために行ったパフォーマンス調査、チューニング方法についてご紹介します。なお、一般的に行われるであろうElasticsearch本体のパラメータチューニングの話ではなく、クエリやmapping、setting面の話がメインとなります。 改善前後の速度について 詳細な内容の前に、本改善によるレスポンス速度の最終的な改善結果を示します。 今回の計測では、一定パターンのリクエストを10秒間繰り返し、95%tileのレスポンス
生活と意見: ソーシャルディスタンスなどと称してユーザー名や文章にスペースを挟む行為についての苦情
covid19-twitter-research_01.md 生活と意見: ソーシャルディスタンスなどと称してユーザー名や文章にスペースを挟む行為についての苦情 更新履歴 2020-05-13 追記 継続して観測していて、対応が行われたアカウントの記録などを残している https://twitter.com/bulkneets/status/1259419102851903490 FAQとして「機械が人間の都合に合わせろ」に対する反論を取り急ぎ置いておく 走り書きで書いた https://twitter.com/bulkneets/status/1260524434256879617 https://twitter.com/voqn/status/1259515760986095617 記事下部に、フィードバックなどを追記した。 はじめに この文章は mala (twitter: @bul
検索結果の品質向上 Elasticsearch入門
2019年度リクルート新人ブートキャンプ エンジニアコースの講義資料です
Bing検索の裏側―BitFunnelのアルゴリズム - Hatena Developer Blog
はてなアプリケーションエンジニアの id:takuya-a です。 この記事では、Microsoft の検索エンジン Bing で採用された BitFunnel アルゴリズムを紹介します。 昨年のエンジニアアドベントカレンダーでは、文字列検索のアルゴリズム全般について紹介しました（文字列アルゴリズムの学びかた - Hatena Developer Blog）。今年はそのなかでも、インデックス（索引）を使った全文検索アルゴリズムについてのお話になります。 この記事の前半は全文検索の入門にもなっていますので、検索技術になじみがない方にも楽しんでいただけるのではないでしょうか。 逆に、「そんなのもう知ってるよ！」という方は、本題である「BitFunnel アルゴリズムの詳細」から目を通していただければと思います。 この記事は、はてなエンジニア Advent Calendar 2017の21日目の
日本が機械学習パラダイスなのは情報大航海プロジェクトのおかげ - kuenishi's blog
人工知能じゃ〜これからはシンギュラリティじゃ〜と盛り上がっており、猫も杓子も深層学習で人工知能で人類皆失業などと楽しいお祭り、ぼくは嫌いじゃない。我々が生きていくためには金が必要なんだ。というわけで、ちょっと気になって調べたことがあったのでここに記録しておく。もしこれが知財や法曹方面の業界で有名な話だったらコンピュータエンジニアたち何やってんのという話ではある。 AIブームというやつが燃料になって日本は機械学習パラダイスだという記事が話題になっているが、これは平成21年の著作権法改正で追加された著作権法47の7のおかげである（ラッキー！） じゃあ、そもそもどうしてそんな条項ができてるの？ 調べてみたら情報大航海プロジェクトが深く関わっているようだよ？ちょっとは感謝したらどう？？ もともとこれが気になっていた。ので調べました。という話。 著作権法の47の7が、思いがけず今重要にって解説が散見
CiNii Dissertationsレビュー - ささくれ
http://ci.nii.ac.jp/d/ 2014年5月にその名を聞いてからずっと楽しみにしていたCiNii Dissertationsが昨日ようやくお披露目に。 長年、日本の博士論文データベースといえば、NII-DBRのひとつである博士論文書誌データベースだったわけです（その前身は今はなきNACSIS-IRで、1987年まで遡る。NDL-OPACから博士論文のデータを取り込んでいて網羅性も高いが、書誌情報のみ）。最近は、NDLによる1990年代の博士論文の電子化や、2013年4月の学位規則改正によるインターネット公表義務化が行われ、各大学の機関リポジトリやNDLデジタルコレクションで博士論文の本文が公開されるようになってきています。こうしたオープンアクセス化の進展を受けて、新たに、博士論文本文までナビゲートできるまとまった（そしてモダンな）データベースが必要になったということなんでし
MySQL-5.6.4からの新機能「InnoDB FullText Search」を用いた全文検索エンジンのベンチマークLTをしました。#mysqlcasual - Y-Ken Studio
2013年4月17日にオラクルで開催された「MySQL Casual Talks Vol.4」に初参加してきました。 さらにライトニングトーク（LT）もさせて頂けましたのでレポートしたいと思います。 前夜 開催前日の夜に「MySQL Casual Talks Vol.4」のイベント告知をTwitterで見つけました。 この手の勉強会は気づいたときには満席で参加を諦める事が多かったのですが、 今回は「事前登録不要/先着順受付」という新しい試みのお陰もあり、参加することが出来ました。 どうやらLT枠がまだあるようなので、ここはチャンスとネタ探しを始めました。 空き狙いでLT発表したいMySQL-5.6ネタがあるのだけれど、スライドを明日までに用意できるだろうか… #mysqlcasual— Y.Kentaro (@yoshi_ken) April 16, 2013 @yoshi_ken まだま
第1回 全文検索エンジンgroongaを紹介します！ | gihyo.jp
今回から始まった隔週連載groongaでは、groongaを使いたくなるような情報を隔週毎にお届けします。 groongaとはGitHubで公開されているオープンソースの全文検索エンジンです。大量にある文書の中から目的のキーワードを持つ文書を高速に見つけることができます。 groongaのロゴ©groongaプロジェクト 第1回目である今回は、この連載についてとgroongaの特徴を紹介します。 この連載について まず、この連載について説明します。 この連載は「読者の皆さんがgroongaを使いたくなる！」ことを目指しています。そのために、次の2点の情報を次回から交互にお届けします。 groongaの利用事例の紹介 利用事例に関連した役立つ情報の紹介 利用事例を紹介することで、「あそこでも使っているなら自分も使ってみようかなぁ」とか「こんな使い方をしているなら自分も使ってみようかなぁ」と
ナレッジグラフ "モノ" を認識する検索エンジンに向けて
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
検索3社が協力してセマンティックウェブを促進、schema.orgイニシアティブを発表 ::SEM R (#SEMR)
検索3社が協力してセマンティックウェブを促進、schema.orgイニシアティブを発表 Google、Yahoo!、Microsoft 3社が共同でセマンティックウェブを導入しやすい環境作りに取り組む。検索結果に詳細情報を反映するために必要な構造化データについて、フォーマットや形式を標準化した Schema.org イニシアティブを発足。ウェブマスターはデータ構造化を実現するための労力を減らすことが可能になり、取り組みが容易に。検索エンジンは多くのウェブサイトが提供する構造化データを使って検索サービスをもっと便利に。そして、検索ユーザーは優れた検索体験を享受する -- この循環の促進が狙いだ。 公開日時：2011年06月03日 03:27 Google、Microsoft、Yahoo!の検索大手3社は2011年6月2日、構造化データマークアップのためのスキーマ（schema.org）を共同
Lucene Revolution 2011 に参加しました - mixi engineer blog
研究開発グループの takahi-i です。 先日 Lucene Revolution という Apache Lucene / Solr に関する会議に参加してきました。ここでいう Lucene とは Java ベースの全文検索エンジンです。 Lucene (ルシーン) は優秀な全文検索エンジンなのですが、Lucene から実際にWebサービスで提供される検索サービスを作るのにはそこそこコストがかかります。これに対して Solr （ソーラ） は Lucene をベースにした検索プラットフォームで、簡単に検索サービスを立ち上げられるパッケージ（Webインターフェース、Spell Check機能等）を提供しています。 Lucene / Solr 共に多くの企業が提供する検索サービスで利用された実績を持ちます。 今年の Lucene Revolution はサンフランシスコで開かれ、開発者および
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Airbnbの機械学習導入から学ぶ
ElasticSearch入門
amakanにおける書籍のシリーズ判定方法について 2016-08-21
はてなブックマーク全文検索の精度改善
Fulltext search with Node.js and elasticsearch
http://logmania.masakiplus.net/archives/6154
画像会話検索No.1／画像会話なら ちくわぶ