松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme
プログラミングをある程度基礎を勉強するとさ「作りたいもの作ってみよう..
プログラミングをある程度基礎を勉強するとさ「作りたいもの作ってみよう」っていうふうになるじゃん。 けど世の中便利すぎて、ほしいなーと思ったものの9割は検索したらあるし、 あんまりこうなったら便利だなという風にも頭が働かなくて、向いてないんだなという風に落ち込んでしまう。 でもある程度勉強に時間を使ったので、ある程度何かをつくれるまでにはなりたいんだけどこれどうしたらいいのよ……
学校の学習端末、いじめ４７件…担任見られない設定で生徒の悪口・なりすましで汚物の絵も（読売新聞オンライン） - Yahoo!ニュース
２０２０年度以降、全国の小中学校に１人１台配備された学習用端末を使ったいじめが、全国の主要１０９自治体のうち、少なくとも２５自治体で４７件あったことが読売新聞の調査でわかった。他の児童のＩＤやパスワードを勝手に使用する不正アクセスも２３自治体で３６件に上り、学校は端末の不適切な利用に苦慮している。 【グラフ】パソコンやスマホでのいじめ件数 調査は２～４月、政令市、道府県庁所在市、中核市、東京２３区の計１０９自治体を対象にインターネットで実施。９７自治体が回答（回収率８９％）した。 「学習用端末導入後、その機能を使ってのいじめはあったか」との質問には東京都、大阪府、愛知県、埼玉県など１２都府県の２５自治体が「あった」と答え、４７件が確認された。関西の中学校では、生徒３人が文書共有ソフトを担任に見られない設定にして、別の生徒の悪口を書き込んでいた。 「児童生徒が他の子供らの端末にログインするな
君には今から3時間で機械学習Webアプリを作ってもらうよ
新人: 「本日データサイエンス部に配属になりました森本です！」 先輩: 「お、君が新人の森本さんか。僕が上司の馬庄だ。よろしく！」 新人: 「よろしくお願いします！」 先輩: 「さっそくだけど、練習として簡単なアプリを作ってみようか」 先輩: 「森本くんは Python なら書けるかな？」 新人: 「はい！大学の研究で Python 書いてました！PyTorch でモデル作成もできます！」 先輩: 「ほう、流石だね」 新人: 😊 先輩: 「じゃ、君には今から 3 時間で機械学習 Web アプリを作ってもらうよ」 先輩: 「題材はそうだなぁ、写真に写ってる顔を絵文字で隠すアプリにしよう」 先輩: 「あ、デプロイは不要。ローカルで動けばいいからね。顔認識と画像処理でいけるよね？」 新人: 😐 新人: (えぇぇぇぇぇぇぇ。3 時間？厳しすぎる...) 新人: (まずモデルどうしよう。てかもら
画像の機械学習が劣化する理由 - Qiita
前書き 注意：ここに書いていることは2020年代としては、古すぎる見解になっている。 近年の自己教師あり学習の大幅な進展で、ここで述べているようなアプローチは大幅に古めかしいものになっている。 ・自己教師あり学習の進展は、画像認識タスクに対する共通のbackbone を作り出しており、後段で個々の画像認識タスクに対するfine-tuningをするアプローチに変わってきている。 ・そのため、ラベル付きの限られたデータで特徴量の抽出をしていたのが、自己教師あり学習に基づく特徴量の抽出になっている。 ・各人、自己教師あり学習について調べることをお勧めする。 主旨 単純に学習データを追加するだけでは学習が改善しないことがある。そのような場合へのヒントを著者の限られた経験の中から記述する。 はじめに 画像認識の機械学習を改善するためにはデータを追加すればよい。 そう思っている人が大半だろう。 ただ、
AWS初心者向けの教材まとめ、AWS日本法人が公開
アマゾンウェブサービスジャパン（AWSジャパン）は4月19日、クラウドサービス「Amazon Web Services」の初心者向け教材などをまとめたブログ記事を公開した。初学者やクラウド人材の育成を受け持つ人向けで、自社の教材などを全6段階の理解度別に紹介している。 Webページでは、学習に当たっての理解度を（1）ビジネスにおけるAWSの活用方法や効果を学ぶ、（2）AWSの全体像をつかむ、（3）AWSが提供するサービスそれぞれに詳しくなる、（4）実際に手を動かし、知識を深める、（5）AWSの最新情報を追う、（6）より現場で求められる知識を追う──に分類。 各段階で使える教材と、その段階で学習すべき内容をまとめている。例えば（1）ではクラウドのメリットを理解できるとして導入事例の記事や動画などを、（2）ではAWSの基礎知識を学べるとしてオンライン教材「AWS Cloud Practitio
「強いエンジニアは結局休日に勉強してるじゃん」って思うけど - spice picks
これまで何人も強いエンジニアと出会って、 「なんで自分はあの人と比べて何もできないんだ・・・。」と何度落ち込んだことか。 ただ、最近強いエンジニアの仕組みを理解してから落ち込むことは無くなった。 それについて書いていく。 （強いエンジニア達本人に聞いたわけではなく、観察してえられた個人の見解です） 気づき：強いエンジニアを見て落ち込む要因は2つありそう 1つは今の知識や技術力の差。 書くコードの違いだったり、成果物ができるまでの時間に差がありすぎたり、PRレビューで自分が思いもしなかったウルトラ解決策を何度も提示されて、自分の実力の無さを感じて落ち込む。 もう1つは新しいことを学ぶときの時間の差。 お互い知らない技術だったはずが、いつの間にか強いエンジニアはその技術に習熟(しているように見える)して、自分は理解不足で取り残されているという状況が発生しがち。 この時、自分には才能がないのかと
真面目なプログラマのためのディープラーニング入門
はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなことが学習できるのか?」 という疑問に対する具体例として、物体認識や奥行き認識などの問題を扱う。 最終的には、機械学習のブラックボックス性を解消し、所詮は ニューラルネットワークもただのソフトウェアであり、 固有の長所と短所をもっていることを学ぶことが目的である。 なお、この講座では機械学習のソフトウェア的な原理を中心に説明しており、 理論的・数学的な基礎はそれほど厳密には説明しない。 使用環境は Python + PyTorch を使っているが、一度原理を理解してしまえば 環境や使用言語が
AIプロジェクトにおける説明可能性の方針 - techtekt
こんにちは。デジタルテクノロジー統括部でアナリストをしているY・Nです。 パーソルキャリアのデジタルテクノロジー統括部は、一般社団法人データサイエンティスト協会が定める「データサイエンティストに求められるスキルセット」を基に、以下の3つのグループが組織されています。 ビジネスグループ アナリティクスグループ エンジニアグループ 出典：データサイエンティスト協会 これらの3グループが互いに連携しあい、AI（ここでは機械学習による予測モデルを指すことにします）によって様々な業務を自動化させたり、意思決定の補助に利用させるプロジェクトに取り組んでいます。 その際、「AIの判断根拠をどの程度（どの様に）見せれば良いか」ということが常にビジネスグループで議題に上がります。殊にAIの予測結果を人間（特に営業部門の人）が見た上で意思決定の補助として利用する場合に顕著で、判断根拠が表示されないブラックボッ
女子高生に流行中の「タイムラプス勉強法」はなぜ効果的？
学生の間では、「ついスマホを触っちゃって勉強にならない。どうしよう」という声は多い。SNSの通知、ゲーム、動画など、スマホには誘惑が多く、ついつい手にとってしまい勉強が手につかなくなる学生は少なくない。 そんな中、勉強中の誘惑を絶ち、集中して勉強する方法は高校生たちにとって大切なことだ。高校生において流行中のスマホを活用した勉強法をご紹介したい。 「ビデオ通話しながら勉強」で集中 一人ではなかなか集中できない場合、図書館や塾の自習室などの勉強せざるを得ない環境に行くことで集中しやすくなる。自宅では気が散るという学生は多く、中でもついついスマホを見てしまって集中できないという声は多い。自宅で勉強する際にはスマホの電源を切ることが必要なのだ。しかし、逆にスマホを勉強に集中するために使う方法もあるという。 「友だちとビデオ通話でつないで、一言も話さないでお互いに勉強するとすごく集中できる」とある
［速報］AWS、データベース性能問題を数分で検出、分析、解決までしてくれる「Amazon DevOps Guru for RDS」発表。AWS re:Invent 2021
［速報］AWS、データベース性能問題を数分で検出、分析、解決までしてくれる「Amazon DevOps Guru for RDS」発表。AWS re:Invent 2021 Amazon Web Servicesは、データベースの性能に関する課題を自動的に検出し、原因を分析し、解決してくれる新サービス「Amazon DevOps Guru for RDS」を、開催中のイベント「AWS re:Invent 2021」で発表しました。 Amazon DevOps Guruは、昨年のAWS re:Invent 2020で発表されたサービスで、設定ミスなどを機械学習によって検出してくれるものでした。 参考：［速報］「Amazon DevOps Guru」発表。DevOps関連の設定ミスやコードの問題などを機械学習が指摘してくれる。AWS re:Invent 2020 今回発表されたAmazon D
AWS認定10資格について模擬試験が無料/解説付きで公式からリリースされたので受けてみた | DevelopersIO
こんにちは。 MAD事業部のきんじょー(@joe-king-sh)です。 AWS認定資格取得を目指す皆さんへ朗報です。 本番試験前の腕試しに、あるいは学習開始時に試験概要の把握のために、 公式のトレーニングセンターからAWS認定資格の模擬試験を受ける方も多いと思います。 これまでの模擬試験は1回受けるのに2000円〜4000円かかり、試験結果は分野ごとの正答率のパーセンテージだけで、どの問題を間違えたのか、正解はなんだったのかがわかりませんでした。 そんな中、AWS Skill BuilderからAWS認定無料版模擬試験が、AWS Certified Advanced Networking - Specialty を除く10資格について、解説付きでリリースされたとのことなので、早速受けてみました。 模擬試験を受けてみた AWS SkillBuilderでトレーニングの登録 AWS Cert
世界史講義録
『世界史講義録』に、文章の整理と校正をほどこして、ほぼ完全書籍化。 107回以後は書き下ろし。2分冊となりました。 皆さんに重宝される本になることを願っています。枚数制限なしで出版をしていただいた学研教育出版さんに感謝。 これは、私の高校世界史の授業を記録したものです。語り中心で、生徒達に世界史の面白さを伝えようと意識した授業です。あらゆるネタをかき集め、時には、俗説、珍説、奇説、私説をまじえながら、「見てきたような」話で生徒を引きつけようというわけです。脱線話も含め、可能な限り忠実な再現を試みています。ですから、少々くどいところもありますし、各ペ−ジは、長文です。しかし、実際の授業の雰囲気を伝える手段と考えています。世界史の面白さ、楽しさを、伝えることが出来れば幸いです。(1999.3.19) 金岡新 世界史講義録 第１回 最初の授業（1999.4.12） 第２回 人類の登場（1999.
「多くの人が正しいと思っている、間違った知識」の見分け方｜ふろむだ@分裂勘違い君劇場
はじめに かつて、ウサギ跳びで筋力トレーニングしていた時代がありました。 (アニメ『巨人の星』より引用) (アニメ『アタックNo.1』より引用) (アニメ『ヒーリングっどプリキュア』より引用) 私も小学校のころ、ウサギ跳びをやっていました。 運動負荷が高く、かなりの効果を得ている実感がありました。 また、実際、運動能力もアップしました。 しかし、アスリートの動きの研究をしている関西大学教授の小田伸午氏によると、「ウサギ跳びはトレーニング効果が無い」そうです。 ウサギ跳び（ウサギとび）は、＜略＞1980年代以降はトレーニング効果が無く故障のリスクが高いと周知されて廃れた(出典：小田伸午「ウサギ跳び信仰とは何だったのか」『スポーツゴジラ』第2013-11-05号、スポーツネットワークジャパン、 12-14頁。 )。(Wikipediaより引用(太字引用者) ) 「トレーニング効果が無い」と「故
機械学習の評価指標 | 機械学習のモデル性能を評価する感度・特異度・偽陽性などについて
機械学習モデルの評価指標 機械学習モデルを評価する指標は以下のように多くの種類がある。どの指標を重視すべきかは、実際に解決しようとする問題によって決める。例えば、機械学習によるがん診断などで、正常者をがん患者と間違って予測してても、がん患者を見逃ししたくなければ、感度や適合率に着目すればいい。 感度 sensitivity / 検出率 recall 感度 sensitivity は、陽性のデータを正しく陽性と予測した割合である。検出率 recall または True positive rate (TPR) ともいう。感度の計算には、陰性データの予測結果が含まれていない。そのため、すべてのデータを陽性と判定すれば（FN = 0）、感度を 100% にすることができる。 \[ TPR = \frac{TP}{TP + FN} \] 特異度 specificity 特異度 specificity
【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning
▼テーマ Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。 Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。 今の Deep Learning を語る上では外せない要素！ 要チェック！ ▼関連プレイリスト Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP 自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 (後で追加します。暫くお待ちください)
コードで学ぶAWS入門
各方面でご好評をいただいている本講義資料ですが，この度増補・改訂のうえ書籍として出版することが決定いたしました！ 書籍限定の書き下ろしの３章 (約100ページ分！)を新たに追加して，2021年9月27日に発売予定です． この資料を気に入っていただいた方は，手に取っていただけるとありがたいです． ここで公開している資料は引き続きオンラインで無料で読めますので，ご安心ください🙇
LINEのAIサービスの音声認識技術を支えるチームを紹介します
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEの提供するAI関連のソリューションやプロダクトに実装されている、音声認識技術の開発を担当しているチームを紹介します。 Speechチームの木田祐介、坂本渚、芦川博人に話を聞きました。 Speechチームの皆さん まず、自己紹介をお願いします。 木田：AIカンパニーにて音声認識技術の開発を行っているSpeechチームのマネージャーをしています。1年ほど前にエンジニアとしてSpeechチームにジョインして、今年の1月からマネージャーを務め
Kaggle Expertになるまで勉強したことを全て書く - Qiita
はじめに こんにちは。Yuki | Kagglerです！ 先日、Shopeeコンペの順位が確定して銀メダルをいただき、晴れてCompetition Expertになることができました。区切りがいいのでここまで取り組んできたことをまとめてみました。 ※ 6/28追記：Amazonのリンクが切れていたので貼り直しました！ プログラミング&機械学習を始めて一年、ようやく Kaggle Expertになることができました！！ 行列も正規分布も知らず、ターミナルなんて触ったこともない状態からのスタートでしたが、ようやくここまで来ました。 ここまで来れたのは偏にこれまで関わってきた皆様のお陰です。これからも頑張ります！！ pic.twitter.com/kMkaFhqhU9 — ユウキ | Kaggler (@Yuki_Kaggler) May 12, 2021 この記事の対象者 Kaggleをやって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ミクシィの21新卒技術研修の資料と動画を公開します！
