LLM時代のX情報収集術｜べいえりあ
AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ
Speech and Language Processing
Speech and Language Processing (3rd ed. draft) Dan Jurafsky and James H. Martin Here's our Jan 7, 2023 draft! This draft is mostly a bug-fixing and restructuring release, there are no new chapters. The restructuring moves the applications section earlier, reflecting how we and others tend to teach NLP, and combines the linguistic structure chapters in one section. We've put up a list here of the a
作って理解する Transformer / Attention - Qiita
こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から
Topic Modeling in Python with Gensim
Topic Modeling is a technique to extract the hidden topics from large volumes of text. Latent Dirichlet Allocation(LDA) is a popular algorithm for topic modeling with excellent implementations in the Python’s Gensim package. The challenge, however, is how to extract good quality of topics that are clear, segregated and meaningful. This depends heavily on the quality of text preprocessing and the s
「あまりにも危険過ぎる」と危険視された文章生成ツール「GPT-2」の技術で画像を自動で生成することに成功
人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は高精度の文章が自動生成できるため、開発陣が「あまりにも危険過ぎる」と危惧して論文公開を延期する事態に発展しました。このGPT-2のトレーニングに使用されるアーキテクチャを直接適用し、自動で画像を生成する技術が開発されています。 Image GPT https://openai.com/blog/image-gpt/ ある領域で学習させたモデルを、ほかの領域に転用する技術を転移学習(トランスファーラーニング)と呼びますが、GPT-2はこの転移学習モデルによって大きな成功を得ました。人間が関わらない教師なし学習は、GPT-2の他にも、Googleの「BERT」やFacebookの「RoBERTa」などで、目覚ましい進歩を遂げています。一方、自然言語の分野では転移学習モデルの成功は目覚ましいものの、これま
Recipes for building an open-domain chatbot
Building open-domain chatbots is a challenging area for machine learning research. While prior work has shown that scaling neural models in the number of parameters and the size of the data they are trained on gives improved results, we show that other ingredients are important for a high-performing chatbot. Good conversation requires a number of skills that an expert conversationalist blends in a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://arxiv.org/pdf/2005.14165
Hugging Face
最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020
spaCyを使った先進的な自然言語処理 · 無料のオンラインコース
Recipes
GitHub - yoheikikuta/bert-japanese: BERT with SentencePiece for Japanese text.