論文紹介：What Learning Algorithm is In-Context Learning?�Investigation with Linear Models第14回最先端NLP勉強会の論文（ https://openreview.net/forum?id=0g0X4H8yN4I ）紹介スライドです．
Siamese Networkをchainerで実装するまで(1) - Qiita
Siamese Networkを理解してchainerで実装するまでの流れを書きたいと思います。 Siamese Networkとは、１クラスあたりの学習データが極端に少ないケース（これをone shot learningとかfew shot learningと言います）にでもうまく学習をしてくれるネットワークモデルです。 Siamese Networkは20年以上前に作られたものらしいのですが、近年のディープラーニングブームでSiamese NetworkにCNNやLSTMを組み込んだものが良い結果を出してきて、プチブームが起こっている気がします。(GANには遠く及びませんが) このSiamese Networkに基づいた研究にNIPS2016で発表された”Matching Networks for One Shot Learning”(Oriol)があります。個人的にはこれを実装するこ
ReLU とその発展型の活性化関数 [GELU, Swish, Mish など] | CVMLエキスパートガイド
1. ReLU (Rectified Linear Units) 型の活性化関数 とは [概要] ReLU (Rectified Linear Units, 整流化線形ユニット)は，ディープニューラルネットワークにおいて広く用いられる，主に中間層向けの活性化関数である [Nair and Hinton, 2010]．それまでの3層MLP時代に隠れ層活性化目的で使用されてきた「シグモイド形の活性化関数(tanh関数, シグモイド関数)」と比べて，ReLUは深いCNNやDNNの学習を速めることができ，安定した最適解への収束も促すことができる． この記事では，ReLU型の活性化関数について，紹介・整理する．まず元のReLUの解説を行ったのちに(1, 2節)，主なReLUと似た関数型の発展版 (PReLU, GELU, Swish, Mish)についてまとめる (3節)． ReLUは，max関数を
![ReLU とその発展型の活性化関数 [GELU, Swish, Mish など] | CVMLエキスパートガイド](https://cdn-ak-scissors.b.st-hatena.com/image/square/b8c7f59da9d637254caef4afb5c4ac2b9af322f4/height=288;version=1;width=512/https%3A%2F%2Fcvml-expertguide.net%2Fwp-content%2Fuploads%2F2021%2F08%2Factivation_functions-1.png)
感想: Human-in-the-Loop 機械学習 -人間参加型AIのための能動学習とアノテーション-
共立出版様よりご恵贈いただきました。高品質なデータセットがあれば比較的単純なアルゴリズムでも十分な結果が出せるのは産業界でよく知られているにもかかわらず、既存の書籍や授業はデータセット作成ではなくアルゴリズムに焦点を当てています。本書は機械学習研究と災害対応をバックグラウンドに持つ著者がデータセット作成プロセスに焦点を当てており、Human-in-the-Loop機械学習、能動学習、アノテーションについて様々なドメインの機械学習応用事例を交えて解説しています。 目次 【第I部 概要】 第1章 Human-in-the-Loop機械学習の概要 第2章 Human-in-the-Loop機械学習を始める 【第II部 能動学習】 第3章 不確実性サンプリング 第4章 多様性サンプリング 第5章 高度な能動学習 第6章 能動学習をさまざまな機械学習タスクに適用する 【第III部 アノテーション】
Item2Vecを用いて推薦システムを構築するときに気をつけること - Qiita
NTTドコモの久保田です。2度目の登場です。 みなさんItem2Vecという技術をご存じでしょうか。 Item2Vecとは、文章から単語の分散表現を獲得するWord2Vecを推薦システムに適用した技術です。具体的にECサイトでの推薦を考えたときに、Word2Vecの単語を商品に、文章をユーザが評価したアイテム集合として、アイテムの分散表現を獲得し、アイテム間の類似度などをもとに推薦していく感じです。 簡単に実装できるので、割とやってみた系の記事が多いですが、実際に推薦システムへの適用を考えたときに気を付けるところがあります。 Item2Vecの実装方針 gensimというトピック分析のライブラリがあり、このライブラリを使えば簡単にItem2Vecを実装できます。 1行をユーザが評価しているアイテム集合、各アイテムはスペースで区切られたテキストファイル(今回は、item_buskets.tx
時間情報表現抽出とルールベース解析器のこれから / Temporal Expression Analysis in Japanese and Future of Rule-based Approach
論文翻訳: Deep Clustering for Unsupervised Learning of Visual Features - MOXBOX #DeepCluster #CNN
\( \def\vector#1{\boldsymbol{#1}} \) \( \newcommand{\argmax}{\mathop{\rm argmax}\limits} \) Mathilde Caron, Piotr Bojanowski, Armand Joulin, and Matthijs Douze Facebook AI Research Abstract 概要: クラスタリングはコンピュータ・ビジョンで広く適用され研究されている教師なし学習方法の一種である。しかし大規模なデータセット上での視覚的特徴量の end-to-end 学習にクラスタリングを適用させる研究は殆ど行われていない。本研究では、ニューラルネットワークのパラメータと、その結果として得られた特徴量のクラスタ割り当てを組み合わせて学習するクラスタリング手法である DeepCluster を提示する。Deep
GANを使わず画像を綺麗にしたい話（SRFlow） - Qiita
はじめに ABEJA Advent Calendar 2021の8日目の記事です。 この記事では素晴らしい技術のはずなのになかなか日の目を浴びないFlowと呼ばれる技術を使った超解像について書こうと思います。 これを読んだ暁には「そうか、だから日の目を浴びないのか」となっていると思います。 そしてなぜこの人はこんなマニアックな記事を書いているんだろうと思うことでしょう。 超解像の概要 超解像とはざっくりいうと小さい画像を大きくする技術のことを指します。画素数の少ない低解像度な小さい画像を、画素数の多い高解像度の大きい画像にするということは、何かしらの方法で画素を補間してあげる必要があります。 非常にわかりやすいこちらの記事にもあるように、超解像とは不良設定問題です。 画像丸パクで大変恐縮ですが、1x3pixelの画像を2倍拡大して2x6pixelにする場合、以下のように様々なパターンが考え
マイナーな正則化手法「ラベル平滑化」は実は効果アリアリらしい - Qiita
教師あり学習のクラス分類タスクにおいては、既に様々な正則化手法が考案・実用化されています。 例えば、荷重減衰（Weight Decay）、ドロップアウト、バッチ正規化やレイヤー正規化などが知名度高いでしょう。 しかし「ラベル平滑化（Label Smoothing)」というのは、「あ～なんか聞いたことある」とか「何それ？」というくらい、認知度がありません。 なぜでしょう？実装は恐ろしいほど簡単で、ちゃんと 論文もある（※1） んですが。 ※1）「Rethinking the Inception Architecture for Computer Vision」のP6「7. Model Regularization via Label Smoothing」 本稿では、ラベル平滑化の正則化の効果をMNISTを使用して実験し、少なくともこの実験の条件下においては正則化の効果があることを示しています
【論文解説】TabNetを理解する
さて今回は、最近テーブルデータの予測においてKaggleでもよく使われているTabNetの解説をしたいと思います。 このサイトでは自然言語処理分野がメインで画像認識分野を少しという感じでしたが、テーブルデータについても面白い発展があるようですね。 以下は簡単にまとめたTabNetの特徴です。 ディープラーニングをベースとしたモデル。特徴量の選択や加工などの前処理が不要で、end-to-endで学習することができる。アテンション・メカニズムを使い、各決定ステップ(decision step)において使用する特徴量を選択する。 アテンション・メカニズムにより解釈性が向上し、重要な特徴量をうまく学習することができる。全サンプル共通ではなくサンプルごとに重要な特徴量を選択する。いくつかの特徴量をマスクし、それを予測するという事前学習を行う。 特徴量の選択が不要で、自動的に、しかも全体ではなくサンプ
日本語x-vectorから感情成分を分離するニューラルネットワークを構築してみた −感情分類に敵対的な損失関数の導入− - 備忘録
はじめに 本記事は前回記事の続編に相当する． 前回記事では声優統計コーパスの3話者・3感情の音声データに対してx-vector抽出器を適用し，UMAPで可視化を試みた． この可視化の実験を通じて，感情成分が分離できていない傾向が見られた．すなわち，本来は話者3クラスにも関わらず，疑似的な9クラス（= 3話者 × 3感情） が存在するように見える，というものである（x-vector抽出器の学習データを考えてみれば，それはそうなのだが）．せっかくx-vectorが手元にあるのだから，感情成分を分離/除去するフィルタの役割を果たす手法を実装してみたいと考えた．本記事はその実装の詳細と簡単な検証実験に関する報告である． 感情成分を分離するニューラルネットワーク 先行研究と論文 今回の実装にあたり下記の論文を参考にした．本論文では，音響特徴量（ベクトル系列）に含まれる話者成分とテキスト情報を表す成分
Unet, VAE+Unet, Dncnnを用いて、ガウスノイズ画像を復元してみた - Qiita
はじめに ピンボケ画像の復元をしたいと思い、いくつか検証を行ったので記事にしました。 ピンボケ画像は、一般的にはガウシアンフィルタ(ぼかしフィルタ)に近似できるとのことで、当初はフーリエ変換を用いた方法(ウィーナフィルタ)を検討していました。しかし、撮影環境が変わったりピンボケの拡がり方が多様な場合は、汎化性能的に深層学習の方が優位性があるかなと思い、深層学習のモデルを用いた検証を行いました。 調べてみると、Dncnnなどノイズ除去目的のモデルがあったため、dncnn含め以前作成したUnetとVAE+Unetを用いました。 加えて、モデルは復元させる綺麗な画像自体を学習するよりもノイズを学習しやすい傾向があるとのことで、(stable diffusionも考え方は似ていますよね。こちらもノイズを正規分布として仮定しているため、考え方はほぼ同じな気がします。)Unetの出力をノイズを学習させ
Resnet-50の精度を高める方法について（Bag of Tricks論文解説） - Qiita
0.参考にした論文 Bag of Tricks for Image Classification with Convolutional Neural Networks 画像分類において、深層学習を用いているのですが、なかなか局所最適に陥ったり なんか精度が上がる手法って何があるんだろうと思い、 chat-GPT様に「なんかいい論文はないのか」と聞いたところ なんか良さそうな論文があった。 さまざまな手法が載っており、自分の持っているモデルに活用できそうなtickがたくさんあった。 0.1 簡潔にこの論文でやっていること BaseはRes-net50を扱っています 大変有名な論文なので、一応載せます。 冒頭では、大まかに「trick」と言っているのですが、さまざまな試行錯誤の組み合わせを総称してtrickと呼んでいます。 Res-netにはさまざまな派生系がありますが、 初学者（自分）にとっ
Revisiting L1 Loss in Super-Resolution: A Probabilistic View and Beyond を読んで - CADDi Tech Blog
はじめに こんにちは。2022年に誕生したAI Labというチームで、主に図面解析をしている中村遵介です。 趣味が料理と画像を4倍に拡大することなので、今日は最近読んだ「Revisiting $l_1$ Loss in Super-Resolution: A Probabilistic View and Beyond[1]」という、画像の拡大で利用される損失関数に関する論文を紹介したいと思います。 趣味以外の理由として、CADDiでは図面画像の解析を行なっておりノイズ除去や画像拡大などの分野に注目しているという点もあります。 畳み込みニューラルネットに関する知識は必要ですが、画像の拡大に関する知識は必要としないように書いたつもりです。 論文の概要 いったん細かい話を置いておいて、論文の概要をざっくりご説明します。 この論文が取り組んだ課題は以下の点になるかと思います。 入力された画像を拡大
デバイス数の変化によって連合学習(federated learning)の性能がどのように変化するか検証する｜株式会社Rosso公式note
はじめにこんにちは。株式会社Rosso、AI部です。 近年、個人情報を保護しつつ機械学習を行う連合学習(federated learning)という新しい手法が登場しています。 ただし、連合学習を行う際は、従来の機械学習モデルと比べ、性能が悪化しないかどうかに留意する必要があります。 この観点を踏まえ、本記事では、連合学習を行う際に使用するデバイス数に着目。連合学習を行う際のデバイス数が変化した場合、性能が従来の機械学習モデルと比較してどのように変化するか、簡単な検証を行います。 連合学習の概要機械学習でデータを使用する際には、個人の顔が映し出された画像や、性別、年収、住所などで構成されているテーブルデータなど、個人情報が入ったデータを取り扱うケースがあります。 そのようなデータを扱う場合、個人が特定されないようにデータを加工したり、個人情報の委託先に監督を行うなど、プライバシー保護に配慮
【Kaggle】Child Mind Institute - Detect Sleep Statesコンペで金メダルと銀メダルを獲得しました - Platinum Data Blog by BrainPad
ブレインパッドのデータサイエンティスト3名が、KaggleのChild Mind Institute - Detect Sleep Statesコンペに参加して1,878チーム中13位と17位になり、金メダルと銀メダルを獲得しました！ 本ブログでは今回のコンペの概要とアプローチ手法をご紹介したいと思います。 こんにちは。アナリティクスコンサルティングユニット所属の尾村と内田です。 2023年9月～12月にかけて、Kaggleで開催されたChild Mind Institute - Detect Sleep Statesコンペに2チームで参加し、金メダルと銀メダルを獲得することができました！ 本ブログでは、コンペの紹介と、どのような手法が有効であったのか、ご紹介したいと思います。 コンペの概要 解法 共通のアプローチ ソフトラベリング 睡眠ラベルの追加 後処理の工夫 尾村・内田チーム（17位
複数時系列データ × Transformerの実装と評価
目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま
深層自己符号化器＋混合ガウスモデルによる教師なし異常検知
[DL輪読会]Understanding Black-box Predictions via Influence Functions
推薦システム実践入門読んだので簡単に所感 - KIWAM_KEN_DIARY
書くときは頑張って書く。 以前会社で同僚だったhttps://twitter.com/zr_4から献本してもらった推薦システム実践入門を読んだ。 www.oreilly.co.jp 章立ては以下のようになっている。 1章 推薦システム 2章 推薦システムのプロジェクト 3章 推薦システムのUI/UX 4章 推薦アルゴリズムの概要 5章 推薦アルゴリズムの詳細 6章 実システムへの組み込み 7章 推薦システムの評価 8章 発展的なトピック 推薦システムの書籍だとモデルの部分にフォーカスを置いたものが多い印象だけど、この書籍は4,5章でモデルの話をしている以外ではあまり触れられていない。 むしろ推薦システムをどのような目的で導入するべきなのか、どのようにシステムを作るべきなのか、どのように評価して改善をしていくのか、そういった推薦システムの基本的な部分を広く網羅したものになっている。 そういっ
Kaggle(データサイエンス)における写経
普段は Kaggle 等のデータサイエンスに関連する Podcast をやっていますれごんです。 この前、一緒に Podcast をやっているカレーちゃん@currypurinに「Kaggle コードの写経について」の質問があり、ポッドキャストでも取り上げたので、それについてブログにも自分の思っていること(ポエム)を書いていきます。 私もまだ、Kaggle Expert なので、偉いことは言えませんが、Web 界隈で開発や写経を今までしてきて、データサイエンスでの写経の難しさについて書いていけたらなと思います。 質問内容 Kaggle のタイタニックを終えて開催中のコンペの適当なカーネルを写経中なのですがとても難しいく、このままで力が | Peing -質問箱- 取り上げたポッドキャストの回 056 Kaggle 写経 - regonn-curry とりあえず言いたいこと Kaggle と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
