タグ

groongaに関するstealthinuのブックマーク (9)

  • RubyでGroonga使って全文検索 - ラングバ

    ラングバプロジェクト ラングバプロジェクトはカラムストア機能も備える高速・高機能な全文検索エンジンGroongaを用いた全文検索システムを提供するプロジェクトです。Groongaの機能をRubyから利用するためのライブラリ、様々な文書から検索対象のテキストを抽出するユーティリティ、検索用Webインターフェイスなどを提供します。提供する機能の一覧は以下の通りです。 Rroonga: Groongaの機能をRubyから利用するためのライブラリ ActiveGroonga: RroongaをWebアプリケーションから使いやすくするためのライブラリ ActiveGroonga Fabrication: FabricationにActiveGroongaサポートを追加するライブラリ racknga: 検索用Webアプリケーションの構築・運用を支援するユーティリティ Packnga: 多言語対応ドキュ

    stealthinu
    stealthinu 2017/05/23
    ラングバっていうGroongaが全文検索エンジンになっている汎用全文検索ツール。すとうさんのプロジェクト。namazuやfessのgroonga版的な。まだこれから開発が進む予定で開発費募集中!とのこと!!
  • Mroonga 5.06リリース!

    2015-08-31 Mroonga 5.06リリース! 今日は野菜の日ですね。 Mroonga 5.06 をリリースしました! インストール方法: インストール アップグレード方法: アップグレードガイド 今月は変更点が少なめですが、次のいずれかの条件にマッチする人はアップグレードを推奨します。 Mroonga 5.04または5.05を使っている マルチカラムインデックスを使っている それぞれ理由を説明します。 Mroonga 5.04または5.05を使っている Mroonga 5.04、5.05にはシャットダウン時にクラッシュするバグがありました。このバグはこのバージョンで修正しました。 シャットダウン時に常にクラッシュするわけではなく、次の条件を満たした時にクラッシュします。 Mroongaのテーブルを1つ以上開いている そのため、次のようにFLUSH TABLESを実行してすべての

    Mroonga 5.06リリース!
    stealthinu
    stealthinu 2017/04/13
    mroonga 5.04,5.05ではシャットダウン時にクラッシュするバグがあるのか。該当バージョンだったのでこれ踏んでるの関係あるのかなあ?今もう7.01とかなんだ。
  • Linuxのメモリまわり - tmtms のメモ

    ちょっと前から groonga を使うとプロセスサイズが肥大化するのが気になっていて、メモリ関係を色々調べていたのですが、そこでわかったことなどを書いときます。 malloc() しただけではOSのメモリは使用されない メモリを1GB獲得するだけのこんなプログラムを作って実行してみます。 #include <stdlib.h> #include <unistd.h> #include <stdio.h> #include <string.h> int main(int argc, char *argv[]) { char *p; char buf[1024]; int i; p = malloc(1024*1024*1024); gets(buf); for (i=0; i<1024*1024; i++) memcpy(p+i*1024, buf, sizeof(buf)); pause(

    Linuxのメモリまわり - tmtms のメモ
    stealthinu
    stealthinu 2017/04/13
    今日とみたさんに教えてもらったLinuxのメモリはmallocしただけでは実際に確保されるわけじゃない話、2010/10のとみたさんのブログに書いてあったのね。6年半遅れだったか…
  • Redmineで高速に全文検索する方法 - 2016-04-11 - ククログ

    Redmineで全文検索するとかなり時間がかかります。 クリアコード社内でもRedmineを使用しており、全文検索が遅いことは以前から問題視していました。 最近Redmineでの全文検索を高速に実行できるようになるプラグインを開発したので紹介します1。 リンク先を見てもらえばわかるとおり、PostgreSQLMySQL(MariaDB)に対応しています。 それぞれPGroongaとMroongaを使用しています。 このプラグインを使うと、デフォルトの全文検索と比較して以下のメリットがあります。 高速 Ruby on RailsでPostgreSQLとPGroongaを使って日語全文検索を実現する方法 PostgreSQLで日語全文検索 - LIKEとpg_bigmとPGroonga Ruby on RailsMySQLとMroongaを使って日語全文検索を実現する方法 MySQL

    Redmineで高速に全文検索する方法 - 2016-04-11 - ククログ
    stealthinu
    stealthinu 2016/04/12
    RedmineをGroonga対応して検索を高速化する。あとスコア順に並ぶため関連性の高いものが上にくるようになる。
  • 4.4. ラッパーモード — Mroonga v13.05 documentation

    4.4. ラッパーモード¶ ここでは Mroonga におけるラッパーモードの利用方法を説明します。 4.4.1. ラッパーモードの利用方法¶ ラッパーモードでは、既存のストレージエンジンをラップするかたちで Mroonga が動作します。ラップする対象となるストレージエンジンは、現在のところ SQL のコメントを利用して COMMENT = 'engine "InnoDB"' のように指定するようになっています。

    4.4. ラッパーモード — Mroonga v13.05 documentation
    stealthinu
    stealthinu 2015/08/27
    mroongaのパーサ指定各種の意味。TokenBigramSplitSymbolAlphaだと英語のワードも1つにせずbigramで処理してくれるので単語の部分一致検索が可能になる。
  • MroongaでGroongaの機能を使いこなす高度なテーブル設計をする方法 - CreateField Blog

    はじめに MySQL/MariaDBで高速に全文検索するためのオープンソースのストレージエンジンMroongaは、以下のように、Engine=Mroonga、FULLTEXT INDEX (${source_column})と書くだけで非常に簡単に全文検索を使い始めることができます。 CREATE TABLE memos ( id INT NOT NULL PRIMARY KEY, content TEXT NOT NULL, FULLTEXT INDEX (content) ) Engine=Mroonga DEFAULT CHARSET=utf8; 検索するときも以下のようにMATCH ... AGAINSTを使うだけです。 mysql> INSERT INTO memos VALUES (1, "1日の消費㌍は約2000㌔㌍"); Query OK, 1 row affected (

    MroongaでGroongaの機能を使いこなす高度なテーブル設計をする方法 - CreateField Blog
    stealthinu
    stealthinu 2015/08/21
    MroongaでトークナイザーをTokenMecabにしてたんだけど業界用語が多い文章に対してのヒット率が悪くて困ったが、ここみてTokenBigramにすることで解決した。
  • Mroonga full text Search in Boolean mode (jp) - Mroonga - Groonga issues!

    Mroonga full text Search in Boolean mode (jp) ¶ MroongaはIN BOOLEAN MODE修飾子を使ってブーリアン全文検索を行うことができます。 ブーリアン検索クエリを構築する際には、MroongaではMySQLがサポートする修飾子と独自のプラグマを使うことができ、 それらによって検索結果の相対的なランク付けを変更できます。 修飾子と独自のプラグマのどちらをも使わないクエリの場合、その検索結果は検索文字列を含む行が上位に順位付けられます。 サポートする修飾子¶ + 頭にプラス記号が付いた単語は、その言葉が戻される各行に必ず含まれていなければならないことを示します。 ー 頭にマイナス記号が付いた単語は、その言葉が戻される行のいずれにも含まれるべきでないことを示します。 * アスタリスクは前方一致演算子として機能します。 " 二重引用符で囲ま

    stealthinu
    stealthinu 2015/07/16
    mysqlからmroonga使っての日本語全文検索を「MATCH AGAINST」句を使って行う場合の使い方。実は最初、単に含まれてるのが表示されるのかと思って、あれ?と思ったらスコアリングされるのね。
  • MySQLで高速全文検索を実現するMroongaでTokenMeCabが使えないときの対処方法 - Qiita

    もっとGroongaを知ってもらおう!ということで週刊Groongaをはじめました。毎週木曜にGroongaやMroonga、Rroongaのトピックを投稿予定です。 今年も11/29に全文検索エンジンGroongaを囲む夕べ4を開催することになりました。Groongaのいろんな話を聞きたい人にはおすすめです。参加希望者が定員を超えていますが、イベントレポーターをやってくれるなら別枠(1名様)で入れます! 登録が間に合わなかった人は検討してみてください。詳細は協力者募集を参照してください。 はじめに MySQLで高速に全文検索するためのオープンソースのストレージエンジンとしてMroonga (むるんが)を公開しています。 最新のバージョンは2013年10月29日にリリースした3.09です。 今回は、Mroongaで全文検索をするときにMeCabが使えなくて困ったときの対処方法を紹介します。

    MySQLで高速全文検索を実現するMroongaでTokenMeCabが使えないときの対処方法 - Qiita
    stealthinu
    stealthinu 2014/10/29
    Mroongaでmecabが効いてないっぽい時はgroonga-tokenizer-mecabを入れる。
  • Mroongaを使ってリアルタイム全文検索データベースを作成する!! - Qiita

    mroongaのインストール(wingリポジトリを利用) ちょっとまだメモ書きレベルですが、あとあと充実させる予定、検索の速度とかは、Solrのほうがきっとはやいと思うけど、リアルタイム性とSQLを利用するライト感は、Mronngaのほうが上だと僕は思う・・・。 yum インストール (wing リポジトリを利用) この順番でやらないとはまることになる(というより、はまるようになってしまった)そしてトランザクションのサポートしているという贅沢さ。。 yum --enablerepo=wing install mysql55-mroonga mysql55-libs-5.5.34-1.el6_7.wing /etc/init.d/mysqld start yum --enablerepo=wing install groonga-tokenizer-mecab /usr/bin/mysql

    Mroongaを使ってリアルタイム全文検索データベースを作成する!! - Qiita
    stealthinu
    stealthinu 2014/10/29
    Mroongaで既存のテーブルのカラムに対しmroongaでの全文検索インデックスを設定するalter tableの書き方。
  • 1