言語情報処理 用語集
あ行 アーリーアルゴリズム (Earley algorithm) 文脈自由文法に基づく構文解析アルゴリズム。ある非終端記号の直後に現われ得る終端記号を事前に予測することによって解析効率を改善している点が特徴。 IIS (Improved Iterative Scaling algorithm) 最大エントロピー法のパラメタを学習するアルゴリズム。 合図句 (cue phrase) →「手がかり句」 曖昧性 (ambiguity) 自然言語処理では、複数の解析結果が得られることを曖昧性があるという。例えば複数の語義がある場合は語義(選択)に曖昧性があるといい、かかり受け解析において複数の可能性がある場合は、かかり受けに曖昧性があるという。曖昧性は様々な処理レベルで存在し、曖昧性解消(ambiguity resolution, disambiguation)は自然言語処理の真髄とも言われる。
対話破綻検出チャレンジ - 雑談対話コーパス
1. 公開の目的 本コーパスはProject Next NLP 対話タスクで収集したものです．対話タスクは，対話の破綻（文脈上不適当なシステムの応答）を検出する技術（対話破綻検出）に焦点を絞り，対話システムのエラーを共同で分析することを目的としたタスクです．本タスクではNTTドコモの雑談対話APIを用いて，1,146対話の人・システムの雑談対話を収集し，システム発話に対して対話破綻のアノテーションとコメント付けを行いました． 人間同士の雑談対話コーパスはいくつかありますが，本コーパスは日本初の人・システムの雑談対話コーパスです．対話破綻検出技術だけでなく，様々な対話技術の発展に寄与することを目的として，本コーパスを公開します．本コーパスは，様々な雑談対話の分析に有用だと考えています．人間同士の雑談ではなかなか起こりえない破綻を含みますので，破綻発生時のユーザの反応の分析，破綻からの復帰の分
文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)
前置きというか概要 今年のEMNLP2017で提案されていたSCDV(Sparse Composite Document Vectors)について、日本語のコーパス(livedoor ニュースコーパス)で検証しました。 20171114追記 fasttextベースのSCDVによるテキスト分類精度を追記しました。 SCDVのモチベーション (https://dheeraj7596.github.io/SDV/) いい感じのランディングページまで用意していてすげえなって思いました。論文は当然のようにarxivで公開されています。大正義。 https://arxiv.org/pdf/1612.06778.pdf HTMLで読みたい方はこちら。https://www.arxiv-vanity.com/papers/1612.06778/ これを読んでいる皆様に、「どうにかして文章のベクトルが欲しい
コメントスパムの手の内が、スパマーのミスでダダ漏れに
Githubユーザーshanselmanさんが、「自分のブログにコメントスパムを書き込もうとしたスパマーが、バグか何かでこれを書き込んできたよ」と、スパマーが使っていたテンプレートらしきものを公開して、Hacker Ne […] Githubユーザーshanselmanさんが、「自分のブログにコメントスパムを書き込もうとしたスパマーが、バグか何かでこれを書き込んできたよ」と、スパマーが使っていたテンプレートらしきものを公開して、Hacker Newsでも話題になっています。 以下のような感じで100行以上あるのですが、 { {I have|I've} been {surfing|browsing} online more than {three|3|2|4} hours today, yet I never found any interesting article like yours.
Tanaka Corpus - EDRDG Wiki
Introduction This page provides some brief documentation for the Tanaka Corpus of parallel Japanese-English sentences, and in particular the modification and editing that has been carried out to enable use of the corpus as a source of examples in the WWWJDIC dictionary server and other systems. The corpus was compiled by Professor Yasuhito Tanaka at Hyogo University and his students, as described
オープンソース日英対訳コーパス|「あの文言、英語で何て言う？」が分かる英語対応アプリ開発支援サービス
対訳コーパスとは 対訳コーパスは、オープンソースで公開されているプロダクトの日英対訳を検索できるサービスです。多くのオープンソースプロジェクトは多言語対応されています。しかし、開発者の母語以外の言語に対応するには、その言語の知識が必要になり、開発者のある種の負担になります。こうした、多言語対応の作業をサポートするために作られたのがこのサービスです。 コーパスのデータは、日本のみならず海外でも広く使われており、GPLで公開されているオープンソースCMSのXOOPS2やそのモジュールの言語ファイルを中心に構成されています。翻訳者は、こうした過去の翻訳財産を活用することで、効率的に多言語化の作業を進めることができることでしょう。 日英対訳コーパスAPI 本コーパスの対訳データはJSON APIからも利用できます。 今のところコール数制限はかけていません。 APIやデータの利用は自己責任でお願いし
Vimで少納言をささっと見たい - さわだのノート
さて、ここからが本題です。この少納言、とっても便利なのですが、いちいちサイトを見に行くのは面倒です。ぼくは原稿の編集・執筆にVimを使っており、Yahoo!辞書やWeblioの類義語辞典をVimから閲覧できるようにするためのプラグインを過去に作ってみました。これと同じような仕組みでなんとか少納言も閲覧できないか考えてみたいと思います。 Vimから国語辞典をチェックする - takepierrot Editor Note 続・Vimで国語辞典を見る（同音異義語 対応版） - takepierrot Editor Note これまで作ってきたプラグインは、GETメソッドを用いてアクセスしていましたが、少納言の場合は、POSTメソッドで検索クエリを送信しているみたいです。 POSTメソッドでの送信内容の解析方法は今度説明するとして、とりあえずPerlでコードを書いてみました。 #!/usr/bi
言語資源・サービス一覧
契約書の入手及 び記載方法等につきましては、右下の「ALAGIN会員」よりログイン頂く事で、右メニューより「入手の方法（契約書含む）」「契約書の記載方法・代理作成」がご覧になれます。 主な言語資源・サービスは以下の通りです。今後、さらに増強を予定しております。 先頭の英数字（A-1など）は対象成果物のID番号（成果物ID）を表します。 公開中の資源・サービス A-1. 文脈類似語データベース （Version 1.1.2）（商用利用可） （概要） A-2. 動詞含意関係データベース （Version 1.3.1）（商用利用可）（概要） A-3. 負担・トラブル表現リスト （Version 1）（商用利用可）（概要） A-4. 上位語階層データ（Version 1）（商用利用可）（概要） A-5. 単語共起頻度データベース（Version 1.1）（商用利用可）（概要） A-6. 日本語パ
ウェブコーパスの作成方法と内容，現状での課題 - やた＠はてな日記
先月から作成中のウェブコーパス（Amazon EC2 を使ってウェブコーパスを作成中 - やた＠はてな日記）について，現状でのまとめです． はじめに 統計的言語処理の研究において，大規模な言語資源（コーパス）はとても貴重なデータです．特に，ウェブコーパスは規模や多様性の面で魅力的であり，いろいろな研究で利用されています．しかし，現状では共有資源として利用できるウェブコーパスがなく，各組織・研究者が個別にウェブコーパスを作成・管理しているため，研究成果を単純に比較できないという問題があります．また，ウェブページの収集方法や排除ルールなど，詳細が明らかにされていないことも問題だと思います． そこで，共有資源として利用可能なウェブコーパスの作成を目的として，ウェブページを収集しています．現在，進捗は 25% くらいで，ウェブコーパスの規模は 3000 万ページを超える程度です．完成までには，後
コーパス紹介 - コーパス日本語学のための情報館
はじめに 現在、日本国内で比較的に低コストで入手可能なコーパス・言語資源の概要と入手方法を紹介します。 主に現代語の研究を想定したものです． 書き言葉 青空文庫 内容:ネット上の電子図書館『青空文庫』の公開作品を一枚に収録しています。 入手方法1:「蔵書○○○○」という形で毎年更新版を500円で販売しています。現在は完売に購入はできないようです。 入手方法2:『インターネット図書館 青空文庫』を購入するとＤＶＤ-ＲＯＭ（青空文庫4843作品ほか収録）が付いてきます。 関連文章:夷石寿賀子, 千葉 庄寿, 陳君慧 (2006)「『青空文庫』を言語コーパスとして使おう―メタデータ構築による歴史的・社会言語学的研究への応用の試み―」(言語処理学会第12回年次大会 (NLP2006) 発表論文集 pp.915-918) 茶漉による青空文庫の検索: 日本語用例・コロケーション抽出システム『茶漉』によ
日本語ウェブコーパス 2010
概要 本コーパスの HTML アーカイブは，ipadic-2.7.0 の見出し語をシードとして，かつての Yahoo! Web API による検索結果に含まれるウェブページを収集したものです．テキストの抽出においては，文字コードを UTF-8 に統一した後，いくつかの記号をデリミタとして文への分割をおこない，さらに文を構成する文字の種類や数によるフィルタリングを施しています．N-gram コーパスについては，テキストアーカイブに出現する頻度 10 以上の N-gram を収録しています． 本コーパスの英語名称は Nihongo Web Corpusn 2010 (NWC 2010) です． 謝辞 本コーパスの作成においては，様々なウェブサービス，ツール，コーパスを利用させていただきました．開発者・研究者の皆様に感謝いたします． コーパスの作成・保存・配布には Amazon Web Serv
Google Japan Blog: 大規模日本語 n-gram データの公開
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
意見（評価表現）抽出ツール
目次 意見（評価表現）抽出ツールとは 高度言語情報融合フォーラム（ALAGIN）で公開されているモデルデータと辞書データについて 新着事項 ご利用にあたっての注意事項 ダウンロード ツールの実行環境 意見（評価表現）抽出ツールの動作確認方法 モデルデータの生成 このパッケージに含まれているディレクトリ・ファイル 解析精度 参考文献 著作権＆ライセンス 付録 意見（評価表現）抽出ツールとは 本ツールは、国立研究開発法人情報通信研究機構 旧知識処理グループ 情報信頼性プロジェクトによって開発されたもので、1行につき1文が書かれたテキストファイルを入力として、機械学習を使って何らかの事象に対する意見や評判および評価（以下、これらをまとめて「評価情報」と呼びます）がテキスト中のそれぞれの文に存在するかどうかの判定を行い、その文に評価情報が存在すると認められた場合、以下の情報を出力するツールです。
Social IMEの共有辞書を公開しました - nokunoの日記
表題の通り，Social IMEの共有辞書を公開しました．dictionary.tar.bz2 - nokuno - Dictionary data including Social IME, Wikipedia, MS-IME - nokunoの個人リポジトリ - Google Project Hosting 実際にはSocial IMEの辞書だけでなく，Wikipediaから括弧表現をマイニングしたものや，はてなキーワードをクリーニングしたもの，MS IMEのユーザ辞書をWebからクロールするスクリプトを含んでいます．各辞書の単語数は以下のとおりです． 辞書 Social IME Wikipedia Hatena 単語数 48k 137k 235k Social IMEに登録される単語やWikipediaからのマイニングで得られる単語には，多くのノイズが含まれています．このノイズを取り
言語モデル配布ページ
このページでは、ウェブデータ、現代日本語書き言葉コーパスから作成した音声認識用と仮名漢字変換用のN-gramを配布しています。 コーパス N-gram 音声認識用N-gram 仮名漢字変換用N-gram ダウンロード コーパス ここでは、N-gramを作成するために利用したコーパスについて説明します。 ウェブコーパス: ウェブコーパスは京都大学 黒橋・河原研究室において、2010年12月～2011年3月にクロールし、文抽出したコーパスの一部です。N-gramの作成には、このうちの2万ページ、20万ページ、200万ページ、3000万ページを用いました。 現代日本語書き言葉コーパス: 現代日本語書き言葉コーパス(BCCWJ)は雑誌、新聞、白書、教科書、国会議事録、インターネット上の書き言葉などを対象としたコーパスです。 コーパスの統計情報 各コーパスに関する文数、単語数、文字数について次の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
朝日新聞単語ベクトル
Tatoeba: Collecting example sentences
Webコーパスの提案 (PDF)
Loading...
http://blog.yuku-t.com/entry/20110623/1308810518
