文法圧縮入門：超高速テキスト処理のためのデータ圧縮（NLP2014チュートリアル）
言語処理学会第２０回年次大会（2014/3）のチュートリアル講義資料です。 - 要旨 - 文法圧縮とは，入力テキストをよりコンパクトな文脈自由文法（CFG）に変換する圧縮法の総称である． 文法圧縮の強みは圧縮テキストを展開すること無く，検索等のテキスト処理を効率よく行える点にある． 驚くべきことにその処理速度は，元テキスト上での同じ処理を理論的に，時には実際にも凌駕する． また近年，ウェブアーカイブやログ，ゲノム配列等の大規模実データを高効率に圧縮できることで注目を集めている． しかしながら，文法圧縮についての初学者向けの解説資料はまだまだ少ない． そこで本チュートリアルでは，文法圧縮の歴史的背景から最新動向までを幅広く紹介する． 具体的には文法変換アルゴリズム，圧縮テキスト上での文字列パターン検索，文法圧縮に基づく省メモリデータ構造等の解説を行う．Read less
教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ
※普通は「教師なしLDA」という言い方はしないです モチベーション 元々は、TwitterからURLつきのツイートを取りたかった。某ニュースアプリがTwitter上で(？)話題になっているニュース記事を(法的な是非があるとはいえ)配信しており、そんな感じのマイニングがしたかった。 ただ、普通に「http,https」でTwitter上で検索すると、量が膨大だった。加えて、ほとんどがスパム。なーにが「このサイトすごすぎｗｗｗｗｗ」じゃ。 ということで、検索の段階でスパミーなキーワードを取り除き、純度の高いURL投稿マイニングをしたいわけだが、キーワードは既知なものには限らない。例えば「無料」とか「アフィリエイト」とかがスパムなのはそうなんだけど、「パズドラ」とか「魔法石」とか、未知のキーワードとか出てきた時に対応できない。 そこで、教師なし学習のアプローチを使って、スパムなキーワードを抽出す
ニューラルネットによる単語のベクトル表現の学習 〜 Twitterのデータでword2vecしてみた - 病みつきエンジニアブログ
最近にわかにword2vecが流行っています。ので、乗っかってみました的記事です。 理論に関してはあまり詳しくしらないので、印象だけで語っているかもしれません。何かありましたらTwitterかコメント等でご指摘いただけますと幸いです。 ちなみに、失敗した話が多いです。 word2vecと単語のベクトル表現 word2vecは、機械学習の分野で使われる、ニューラルネットというモデルを使ったツール／ライブラリです*1。名前の通り、wordをvectorにします。vectorにする、というのは、ベクトル表現を獲得するということで、意味(みたいなもの)の獲得というか、素性の獲得というか。 単語のベクトル表現の獲得自体は、別にword2vecにしかないわけではありません。言い換えると、昔からあります。LDAを使って単語のトピック分布のようなものを学習したり(vingowでやりました)。余談ですが、こ
名詞評価極性辞書を利用したTwitterの感情分析（Positeve/Negative判定） - Men talking over coffee with smoking Ark Royal.
Twitter感情分析所 さんを利用しようとしたら、結構重たくて、大量の処理を実行するのは申し訳ない…。と思い、じゃあ自分でコードを書いてしまえ、と思い、調べていたところ、東山昌彦, 乾健太郎, 松本裕治, 述語の選択選好性に着目した名詞評価極性の獲得, 言語処理学会第14回年次大会論文集, pp.584-587, 2008.（日本語評価極性辞書）がありました。 日本語評価極性辞書（名詞編）ver.1.0（2008年12月版）pn.csv.m3.120408.trim.gz をダウンロード→解凍し、拡張子に.txtを設定し、適当なエディタで開きます。 Python標準モジュールのcsvで読み込ませるときに、タブ区切りが上手く読み込めなかったので、\tを,に置換して、保存します(Mac OSXの場合、\はoption+\でバックスラッシュを入力)。 また、以下のサイトを参考に、Yahoo!の
Twitter感情分析所
解析方法 機械学習を使ってます。 解析例：「原発」を含むTweetの感情推移 3.11の原発事故の影響で、人々に否定的な印象を与えたことが数値上に反映されている。 キーワード/ユーザタイムラインの感情推定（肯定/否定性 の判定） 最新の50Tweetについて解析します。 否定的な発言の多いユーザや否定的な印象のキーワードはオレンジ色が多くなります。 時間帯によっては結果を返すまで1分くらいかかります。需要があればもっと安定させます。 [2012/01/02 22:00]ちょっと今混雑中みたいなので停止するかもしれないです。そうでなくても、一時間に350回までしかできません。 -- 分析結果 -- P/N判定（肯定/否定 の判定） API ［API URL］ : http://mueki.net/twana/api.php ［使い方］ : POSTパラメータのqに解析したい文書をのせてアクセ
日本語テキストに対する述語語義と意味役割のアノテーション
日本語テキストに対する述語語義と 意味役割のアノテーション 言語処理学会第18回年次大会(NLP2012) @広島市立大学 3月14日(水) 15:00-18:00 502講義室 隅田 飛鳥* *KDDI 研究所 林部 祐太+ 小町 守+ 松本 裕治+ +奈良先端大 1 B2-7 ガ格 述語 機械翻訳 [Wu 09] や情報抽出 [Surdeanu 03]などに有用 私は 妻に 贈った. 花を ニ格 ヲ格 項 2 述語項構造解析 関係ラベル 項と述語の関係の粒度 (日本語) 3 ガ格 ニ格 ヲ格 [河原 07, 飯田10, Taira 10,吉川 10] 深層格レベル（意味役割ラベル） 表層格レベル（助詞相当ラベル） [肥塚 07, 竹内 10] 対象 動作主 経験者 従来の多くの研究の 対象 あまり対象にされてこ なかった 理由の1 つ: 実テキストへ意味役割を大規模にアノテーショ ンし
[OpenNLP] 最大エントロピー法とパーセプトロンの分類器を使う - 株式会社ロンウイット
Apache OpenNLPとは？ Apache OpenNLP(以下OpenNLP)は、統計的自然言語処理（Statistical Natural Language Processing）のためのツールキットです。Javaで実装されたOSSの自然言語処理（NLP）ライブラリであり、2010年11月にApache Incubatorに寄贈され、2012年2月にApacheのトップレベルプロジェクト（TLP）に昇格しました。 自然言語処理と検索エンジンは技術的な関連が深いため、OpenNLPの知識があると、Solrの機能を改善したりパワーアップするのに大いに役立ちます。たとえばLUCENE-2899では、OpenNLPのトークナイザーをSolrから使うための改善提案が行われています。 OpenNLP関連記事の第一弾となる本稿では、OpenNLPの利用知識の入門として、OpenNLPに附属して
JavaScriptだけで作られた分かち書き·TinySegmenter MOONGIFT
TinySegmenterはJavaScriptで作られた分かち書きライブラリです。 日本語から情報を得る際に使われる技術が分かち書きです。そんな分かち書きでは辞書を使って解析を行うのが一般的ですが、JavaScriptのような言語では大量の辞書を扱うのには不向きです。そこで自動的に判定するTinySegmenterを使ってみましょう。 分かち書きのサンプルです。機械的分類ですが、精度は高いように見えます。 2と5、9と5などの連続する数値が分かれてしまっているのが無念。しかし凄いです。 TinySegmenterでは解析は全てクライアントサイドで行われます。ライブラリは僅か25KBです。機械学習型であり、n-gramや文字種を組み合わせつつ分類を行っています。そのため新聞のような文字種が様々に組み合わさったある程度の長さを持った文章に対して強い反面、チャットや短いメッセージ、平仮名のみと
A Plan for Spam (スパム対策）
スパムへの対策 ---A Plan for Spam Paul Graham, August 2002 これは、Paul Graham：A Plan for Spam を、原著者の許可を得て翻訳・公開するものです。 <版権表示> 本和訳テキストの複製、変更、再配布は、この版権表示を残す限り、自由に行って結構です。 (「この版権表示」には上の文も含まれます。すなわち、再配布を禁止してはいけません)。 Copyright 2002 by Paul Graham 原文: http://www.paulgraham.com/spam.html 日本語訳：Shiro Kawai (shiro ＠ acm.org) <版権表示終り> Paul Graham氏のエッセイをまとめた『ハッカーと画家』の 邦訳版が出版されました。 出版社の案内ページ Amazon.co.jp サポートページ 2003/01/
Mozcソースコード徹底解説 #TokyoTextMining
Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. Mozcソースコード徹底解説 #TokyoTextMining - Presentation Transcript Mozcソースコード徹底解説 #tokyotextmining @nokuno 自己紹介 2 Twitter: @nokuno はてな：id:nokuno 自然言語処理勉強会を主催 PRML/R/Python/Hadoopなど 2002～2006：コミケで同人ゲーム売ってた 2007～2008：未踏でSocial IMEの開発 2009～現在：Web業界勤務 今日
コサイン類似度を求める
研究でコサイン類似度を求めなくてはならなくなりました。コサイン類似度ってなんだ？？どうやるんだ？？まったく検討つかない！というレベルから、計算式はわかった！とりあえず値を出す関数まで作ろう！というレベルに達したのでメモしておきます。あんまりコサイン類似度自体の本質はわかってないかもしれませんが、遅延評価勉強法というかんじです。 コサイン類似度とは 2つのデータが似ているかどうかを、文字列が似てるのを調べる分野では距離などで換算します。ちょっとよくわからないかもしれませんが、ぴいことぴいたろう君の類似度は、なんらかの測定器を使うと60mくらいの距離です。ぴいこと弟の類似度は、その測定器では30mくらいの距離でした。弟とぴいこは近いので、ぴいたろう君より似ています。 みたいなかんじ。 コサイン類似度ではベクトルというものを使います。ベクトルってなんだ！！わけわかんねーこと言うな！！！と思ってい
可変次数 N-gram デコードのアルゴリズム - アスペ日記
前に書いた N-gram 漢字-かな変換 - アスペ日記 のアルゴリズムについて。 かなり縦に長いエントリになると思う。途中までは一般的な日本語自然言語処理にかかわること。 例として、「かれがくるまでまつ」というひらがなの文をデコードして、対応する漢字かな混じり文にすることを考える。 こういう時に使われるのが「ラティス構造」。こういうやつ↓ （この図は一回しか出てきません。ちなみにこのために Keynote 買ったようなもの） それぞれのノードで、そこに入ってくるエッジの中で一番確率が高いものとその確率を覚えていくことで、動的計画法によって最適なパスを導くことができる。 これをプログラム上でどう実現するか。 まず、共通接頭辞検索というものを使う。 これは、あるキーを渡すと、そのキーに前から一致するようなキーを持つ候補を列挙してくれるというもの。 例えば、「くるまで」をキーとして使うと、「く
修論（可変次数 CRF）の英訳 - アスペ日記
ここのところ一ヶ月ぐらい、修士論文（可変次数 CRF）の英訳に取り組んでいた（うまくいったら国際学会とやらに出してみようかなと。ちなみに出したことはない）。ただの翻訳のつもりが、始めてみるといろいろとまずいところや足りないところが見つかったので、いろいろと修正した。その結果： 厳密になった。 ストーリーができた。 （多少）簡潔になった。 と、自分では思っている。 英訳＆修正したバージョン：http://vocrf.net/docs/thesis_en.pdf 元の修士論文：http://vocrf.net/docs_ja/thesis.pdf 英訳した部分に相当するのは、日本語版の 12〜24ページに相当する（図を使った例は省いた）。 とりあえず、これで先行研究の人に意見を聞いてみようかな。
テキストマイニングで始める実践Hadoop活用
Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用（1） それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します
日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft
今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに「日本テレビ東京」を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS 「日本 | テレビ東京」と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに「フジテレビ東京」ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bobuhiro11's home
http://www.cs.cmu.edu/~hideki/softwares/jawjaw/
はてなブログ | 無料ブログを作成しよう
Charming Python: Functional programming in Python, Part 3
PowerPoint プレゼンテーション