It is our pleasure to announce the public release of stable diffusion following our release for researchers [https://stability.ai/stablediffusion] Over the last few weeks, we all have been overwhelmed by the response and have been working hard to ensure a safe and ethical release, incorporating data from our beta model tests and community for the developers to act on. In cooperation with the tirel
マイクロソフト、ソースコードをAIが読み込んで自然言語で説明してくれる「Copilot Explain」を開発中。GitHub Copilotは今夏に正式サービスへ。Microsoft Build 2022
マイクロソフト、ソースコードをAIが読み込んで自然言語で説明してくれる「Copilot Explain」を開発中。GitHub Copilotは今夏に正式サービスへ。Microsoft Build 2022 マイクロソフトは現在開催中の開発者向けイベント「Microsoft Build 2022」で、ソースコードの内容をAIが自然言語で説明してくれる「Copilot Explain」の開発を進めていることを明らかにしました。 AIが説明してくれることで、そのソースコードについてまだ詳しい内容を把握していないプログラマによるコードの修正やデバッグ作業などの効率化がはかれるとしています。 AIが自然言語の説明とコードの関係を学習 GitHub Copilotでは、人間のプログラマがペアプログラミングの相手であるAIに対してこれから書こうとしているコードの意図を説明するために、まずコメントを記述
生成AI開発に革新か “自律進化”で目的のAIを自動生成 超低コスト＆短期間で高性能モデルも開発済 トップ研究者集団「Sakana AI」
生成AIのトップ研究者らが東京で創業したAIベンチャー「Sakana AI」が、生成AI開発の新たな手法を開発したと3月21日に発表した。従来は人間が手動で設計し、多くの計算資源を使っていたが、同社の手法では設計を機械が自動で行い、“ほぼ無視できるレベル”の計算資源で開発が可能になるという。この手法で開発した日本語基盤モデルをGitHubで公開した。 同社が提案したのは「進化的モデルマージ」という手法。公開されているさまざまな基盤モデル（生成AIを含む、大規模なデータセットによる事前学習で各種タスクに対応できるモデルのこと）を組み合わせて新たなモデルを作る「マージ」に、進化的アルゴリズムを適用したものだ。 マージ自体は現在の基盤モデル開発で使われている手法で、モデルの“神経回路”（アーキテクチャ）の中に別のモデルの神経回路の一部を組み入れたり、入れ替えたり、神経同士のつながりやすさ（重み）
【重要】日本語形態素解析・自然言語理解API V2 リリースのお知らせ - Yahoo!デベロッパーネットワーク
いつもテキスト解析Web APIをご利用いただきありがとうございます。 テキスト解析Web APIにおける一部APIの後継バージョン（V2）リリースと仕様変更についてお知らせいたします。 ■ 対象API 日本語形態素解析 自然言語理解 ■ 変更箇所 リクエストURLが変わります GETリクエストは廃止となり、POSTリクエストのみになります リクエストパラメータが変わります（一部パラメータが廃止されます） レスポンス形式・フィールドが共に変更になります V2の仕様の詳細につきましては以下のページをご覧ください。 日本語形態素解析 自然言語理解 V1終了予定時期につきましては2022年11月末を予定しております。 ご迷惑をおかけしますが、なにとぞご了承ください。 今後ともテキスト解析Web APIをよろしくお願いいたします。
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
アマゾン ウェブ サービス ジャパン株式会社（Amazon Web Services、AWS）は、同社のオープンデータセットに、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリであるfugashi経由でPythonで使用する際の語彙（ごい）データに加えた、と公式ブログで明らかにした。 多くの機械学習デベロッパーが、AWS上でさまざまなアルゴリズムの開発やモデルを構築している。なかでも、自然言語処理をする際には、対象言語の特性に即した形で前処理をする必要がある。日本語の自然言語処理を実施する際には、一般的に「形態素解析」と呼ばれる文章の分解処理を前位処理として実施する。 日本語形態素解析をするためには、日本語の語彙データが必要になる。語彙データは大きなサイズになるだけではなく、これらを用いた計算の際にも大量のGPUおよびCPUが求められる。そのため、従来このよ
よりよい文書を書くための校正ツール「textlint」のSmartHR用ルールプリセットを公開しました！｜SmartHRオープン社内報｜株式会社SmartHR
おつかれさまです。プロダクトデザイングループのこぎそ（@kgsi）です。みんなのデザインシステムことSmartHR Design Systemプロジェクトの一環として、より良い文書を書くための校正ルール「textlint（テキストリント）」のSmartHR用ルールプリセットをオープンソースで公開しました！ SmartHR用ルールプリセット公開の背景 SmartHRのバリューには「一語一句に手間ひまかける」と、SmartHR Design Systemのデザイン原則の中でも「言葉からはじまるデザイン」と表されていますが、改めて、SmartHRは「言葉」をとても大切にしている会社ですよね。 UXライティングチームを中心に、日々文言ガイドラインが整備され、SmartHRの扱う言葉は進化しています。整備対象は各部署共通で使う文言から、ヘルプページ、プロダクトで使う文言まで多岐にわたっています。 ▲
こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇♂️）
ありま🐴🧵新刊発売！ @arimama_umauma 絵を描いたり刺繍をしたりする1児の母です| 夫と娘が推し| 新刊！文字刺しゅうBOOK ▶︎ amazon.co.jp/dp/4847074041 | 祝3刷！ゆるくてかわいいはじめての刺しゅう |パンどろぼう手芸本
OpenAI Platform
Explore resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's developer platform.
OpenAIは、個人のニーズに合わせてカスタマイズ可能なChatGPTの新しい形、GPTs（ジーピーティーズ）を発表しました。 これにより、ユーザーは独自の指示、追加知識、スキルの組み合わせを持つChatGPTのカスタムバージョンを簡単に作成し、共有することができるようになります。 GPT は、ChatGPT Plus ユーザーならば誰でも無料で使うことができます。 この記事では、GPT の作り方をご紹介します。 GPTsとは？GPTsは、特定の目的に合わせてChatGPTをカスタマイズする新しい方法です。 日々の生活、仕事、家庭での特定のタスクに役立てるために、誰でも簡単に独自のGPTを構築でき、コーディングの知識は不要です。 GPT の作り方 Step 1 GPT Builder を立ち上げる新しい ChatGPT UI の My GPTs のすぐ下、Create a GPT をクリッ
#stablediffusion 完全に理解した pic.twitter.com/IR5yjnL07Y— すぎゃーん💯 (@sugyan) August 31, 2022 ということで少し触って遊んでみたのでメモ。 Stable Diffusion をザックリ理解 先月公開された Stable Diffusion。 stability.ai 高精度で美しい画像を出力できる高性能なモデルながら、Google Colab などでも手軽に動かせるし、 Apple silicon でもそれなりに動かせる、というのが魅力だ。 中身については 以下の記事の "How does Stable Diffusion work?" 以降のところが分かりやすい。 huggingface.co 図をそのまま引用させていただくと という仕組みになっていて、受け取る入力は "User Prompt" と "Late
OpenAI API ドキュメントの日本語訳をこちらでまとめます。文字量の多いドキュメントなので、セクションごとに記事を分割しています。 今回は「GET STARTED 」のセクションからIntroduction と Quickstart を抜粋した前編です。 基本 DeepLで翻訳して、気になるところだけ書き換えています(ほぼ気になるところがないのが、DeepLのすごいところ)。原文との突き合わせができるようにはじめに原文を入れてますので、間違いなど見つけられましたら、ぜひご指摘ください。ご指摘箇所は随時反映させていただきます。 原文のリンクが有効になってますので、それぞれ必要な場合は原文リンクの方を参照ください。 Introduction｜はじめに Overview｜概要The OpenAI API can be applied to virtually any task that i
ライブラリのアプリ化 現代のニュースをくずし字で読んでみませんか？内容がわかるテキストをくずし字で読んでみると、くずし字に対する印象が変わるかもしれません。 edomi ニュース その他の事例については、活用事例を参照してください。 構成 古活字とくずし字 そあん（soan）で用いる「古活字」とは、今から400年ほど前に使われた印刷技術に由来する言葉です。一方「くずし字」とは、くずして書かれた文字を指す言葉です。くずし字は、印刷では古活字版だけでなく整版印刷にも使われましたし、写本などの手書きの文字（草書体）も、その多くはくずし字です。一方、古活字の中には、文字を崩していないものもあります。このように、古活字は印刷技術を指す言葉、くずし字は文字の形を指す言葉、という違いがあります。 そあん（soan）は、テキストをくずし字画像に変換する方法として、古活字画像を組み合わせる方法を用いるサービ
【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&LLM
始めに こんにちは！自然言語処理（NLP）・自然言語生成（NLG）の解説記事を書いている、すえつぐです！ 突然ですが、BERT、GPT-3、PaLMを使ったことはありますか？Transformerはこれらの最先端のモデルに使用されている、現代のNLPモデルには欠かせないモデルです。おそらくBERTやGPT-3でTransformerを知った、このページに来たという人も多いのではないでしょうか。機械学習、特にNLPの勉強をしている方々は、Transformerの概要は知っておいた方が良いと思います。 ただ多くのサイトは、いきなり細かい仕組みの解説をする中級者以上向けの記事が多いですよね。 そこで、このページでは、Transformerの入門〜中級までの解説をしていきます！まず入門として、「Transformerの使い道」「Transformerの何が凄いのか？」を先に解説します。その上で「T
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど） - Qiita
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど）Python機械学習入門ChatGPTLLM CoT、Zero-CoT、ToT、mock、ReAct、Step Back、Metacog、IEPなど、各種Prompt Engineering手法の概説と、日本語での実際のプロンプト例をまとめた記事です。 各種Prompt Engineering手法を日本語で実装したい方向けの記事となります。 本記事で取り扱う手法は以下の通りです。 項目数が多いため、記事右下の目次リンクもご活用ください。 本記事の内容 01: 通常のPrompt 02: Few-shot Learning 03: CoT（Chain of Thought） 04: 出力形式の指定方法 05: Zero-shot CoT（≒
ChatGPTはどこまで雑な仕様でコードを書けるのかLINE Botを作らせてみた(GPT-4) - Qiita
最近すっかりChatGPT(GPT-4)にハマっています。 GPT-4にバージョンアップして、日本語でのやり取りがとても自然になったのにも正直驚いていますが、それとプログラマー的にはもっと衝撃なのが「かなり雑な仕様でもちゃんと動くコードを書いてくれる」こと。 ということで、今回はChatGPTがどこまで雑な仕様でコードを書けるのか試してみることにしました。 題材としては、この間作ったAIレシピbotのGAS版を作らせてみることにしました。 実験の手順としては、まずはカッチリ仕様を提示するバージョンで試してみて、徐々に提示する仕様を雑にしてみようかと思います。ChatGPTは文脈を記憶する特性があるので、毎回チャットをリセットして記憶を消去しています。使用したのはWeb版のChatGPT Pro(GPT-4)です。 結論を先に書くと、かなりヤバい結果です。めちゃくちゃ雑なほぼ丸投げの指示でも
文書の数が多い場合、単語の種類(ボキャブラリ)も多くなり単語の次元が大幅に増えていきます。 一方、一つの文書に含まれる単語の数には限りがあるため、これは全体として疎行列になります。 また、単語が各次元として扱われますが、文書ごとの出現順序など、単語間での関連性を示す情報は抜け落ちたものとなります。 それに対して低次元(通常数百次元程度)の密な行列で単語の意味を定義する方法があります。 これは、「分散表現」や「埋め込み表現」と言われるものになっております。 この表現を獲得するため手法は様々なものがありますが、ここではWord2Vecを紹介します。 元論文 : Efficient Estimation of Word Representations in Vector Space 具体的な実装についての解説 : word2vec Parameter Learning Explained Wor
最近またLinux用の日本語IMEを作っている 本件は mozc の ut がどうこうとかは関係なくて、ふと linux desktop を使おうと昨年末に思いまして、昨年末からちまちまやってます https://github.com/tokuhirom/akaza かな漢字変換って作るの難しいのかなぁ、と思ったので作ってみている。これはまさに Just for Fun でやっている。 わりと普通に自分で常用してる分には困らないかな、というところまできている。 以下は、思ってることの垂れ流しという感じで、まとまってないですが。 「日本語入力を支える技術」という本が 2018年に出ていて、この本の内容を読めば、だいたいエンジン部分は実装できる。Amazon のレビューではこの本よんでも実装できないって書いてあるけど、変換エンジン自体は実装できます。 UI が辛い。けど。 エンジンは、ビタビア
ChatGPTプラグインは外部サービスから情報を取得してChatGPTの機能を拡張するもの。AIが生成する情報は必ずしも正確とは限らなかったが、外部情報を参照するため正しい結果を出力できる。利用にはウェイティングリストへの登録が必要。 関連記事 GPT-4搭載の「新しいBing」、誰でも利用可能に 新機能も多数追加 オープンプレビュー」に移行した。これにより、ウェイティングリストに登録せずに誰でも利用できるようになる。また、画像を交えた回答やチャット履歴の保存、マルチセッションなど多数の新機能を追加する。 OpenAIのChatGPT、イタリアで再び利用可能に 透明性改善で イタリアのデータ保護当局は、ChatGPTの使用禁止を解除した。OpenAIが年齢確認機能や履歴を保存しない機能を追加したため。GPDPはOpenAIの対策を認め、引き続き欧州データ保護法順守についての調査を続けるとし
最近流行りのChatGPT。 「色々な作業を自動化した」 「国家試験に合格した」 ニュースで目にする機会も最近は多いと思います。 では、ChatGPTは現段階でどのくらい賢いのでしょうか？ 「海外の司法試験で人間を超えた」などの情報をよく耳にしますが、実感が湧きませんよね。 今回は日本人に馴染みの深い大学入学共通テスト（旧センター試験）を題材に、その実力を検証してみました。 実験方法今回は、令和４年度の国語・英語（リーディング）・公民（倫理 / 政治・経済）の3科目について実験を行いました。 ※ 数学・理科等の科目については図表を読み取る問題が多く、正確に試験できないため今回は除外しました。 ポイント①： テキストになおす大学入試センターで公表されている試験問題がPDFのため、ChatGPTに読めるテキスト形式にする必要があります。 今回はGoogle Docsの機能を活用して文字起こしし
東京都立の大学院で24時間対応の Teaching Assistant (ChatGPT) を用意して分かったこと
ChatGPT Meetup Tokyo #0 で発表したスライド資料です! 2023年度の講義では、AI に TA (Teaching Assistant) 相当の質問対応サポートをしていただきました 🤖💨 📊 アンケート結果 - Google フォーム (Raw Data) https://bit.ly/learn-to-code-with-chatgpt-raw-data 📺 発表動画 (ライブ配信版) - YouTube https://youtu.be/K0X6zkSxWzs?t=2282 📺 発表動画 (再収録版) - YouTube https://youtu.be/Q4zh98b5KAs 🌸 ChatGPT Meetup Tokyo #0 https://chatgpt.connpass.com/event/280653/ 👥 視聴者・参加者からのコメント h
ツイートを分析して街の感情を色で表す
特定の地域のツイートを集めて、その内容をポジティブかネガティブか感情分析するプログラムを書いた。 これをつかって街の感情を可視化していきたいと思う。 大学中退→ニート→ママチャリ日本一周→webプログラマという経歴で、趣味でブログをやっていたら「おもしろ記事大賞」で賞をいただき、デイリーポータルZで記事を書かせてもらえるようになりました。嫌いな食べ物はプラスチック。（動画インタビュー） 前の記事：仕事25分ごとにドラクエを5分挟むとはかどる ＞ 個人サイト ジャーニーとモアイとめがね 知らない駅を1人で歩いているときに、 「この街ってゆるい空気がするな〜」 「なんか全体的に暗いな……」 と、感じることがある。言葉では説明できない曖昧なものだが、誰しもが街の雰囲気のようなものを感覚で捉えたことがあると思う。 この街の雰囲気というのはそこにいる人たちが形成しているものだ。ということは『その街に
ドワンゴ教育事業Webフロントエンドチームの berlysia です*1。 はじめに この記事では、日本語の縦書きHTMLにおいて、「ある1文字が縦組みのなかで違和感なく縦書きとして表示される」とはどのように成り立っているのか、意図しない表記になりやすい文字とその理由について紹介します。 最後まで読むと、縦書き時の文字の縦横に関する問題をたちどころに分解できるようになるはずです。とりあえずフォントのせいだろうかと疑う日々には、これでおさらばしましょう*2。 はじめに N予備校における日本語縦書きHTML CSS の関連仕様 日本語の一般的な縦書きに設定する うまくいかないことが起こりやすい文字たち うまくいかない文字がうまくいかない理由を理解する 縦書きを考慮した文字の周りの方向の定義 CSS における縦書きでの文字の縦横 upright typesetting sideways type
日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
ローカルPCでセルフホストできてGithub Copilotのように使えるコーディング補助AI「tabby」、Dockerイメージありなので早速使ってみたレビュー
Github Copilotのコーディングアシスト性能は目を見張るものがありますが、データを社外に持ち出せないなどの都合で泣く泣く使用を諦めている人も多いはず。そうした状況のなか、ローカルのPCでセルフホスト可能なコーディングアシストツール「tabby」が登場しました。 GitHub - TabbyML/tabby: Self-hosted AI coding assistant https://github.com/TabbyML/tabby tabbyはDockerから簡単に起動することが可能とのこと。Dockerのインストール方法については下記の記事の前半に詳しく記載してあります。 画像生成AI「Stable Diffusion」にたった数枚のイラストから絵柄や画風を追加学習できる「Dream Booth」が簡単に使える「Dreambooth Gui」レビュー - GIGAZINE
以下の記事は、アウトライン及び原稿の自動生成プログラムによって作成したものです。 通常、GPT-4で長い文章を作成する場合は、最初に全体のアウトラインを作成し、部分ごとに分割して文章を生成して、最後に全体を統合する必要がありますが、このプログラムは、その手順を一括でできるようにしたものです。プログラムは記事の後に紹介します。 第1章: AIの浸透と今後のビジネスへの影響1. はじめにa. AIの重要性と現代ビジネスへの適応 近年、人工知能（AI）の急速な発展とその浸透がビジネス界に大きな影響を与えています。今や、AI技術は製造業からサービス業、さらには情報産業まで幅広く利用されており、企業が生き残るためには、この新技術に適応し実用化しなければならない時代となっています。そこで、本章ではこれまでのAI技術の進化とその局面を明らかにし、今後のビジネスに与える影響について検証します。 b. AI
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
2023年08月23日 デジタルサービス局 「文章生成AI利活用ガイドライン」の策定について この度、東京都職員向けに、文章生成AIの利活用に関するガイドラインを下記のとおり策定しましたので、お知らせいたします。 本ガイドラインの職員への浸透を徹底するとともに、全局で約5万人を対象に利用できる環境を整備しましたので、今後業務への活用を進めてまいります。 記 1 目的 文章生成AIに関する利用上のルールを定めるとともに、効果的な活用事例を掲載し、職員が新しい技術を正しく使いこなすことで、行政サービスの質を高め、都政のQOS（Quality of service）向上へとつなげていく。 2 概要 別紙1（PDF：721KB）参照 （1）文章生成AIの特徴 （2）利用環境 （3）利用上のルール （4）効果的な活用方法 （5）今後の展望 3 公表資料 デジタルサービス局ホームページから御覧いただけ
Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019
PyCon JP 2019 での発表スライドです。 GitHub: https://github.com/taishi-i/nagisa-tutorial-pycon2019
東京工業大学(東工大)と産業技術総合研究所(産総研)の両者は12月19日、現在公開されている中で、日本語に強い生成AIの基盤である「大規模言語モデル」(LLM)としては最大規模となる「Swallow」を、米・MetaのLLM「Llama 2」の日本語能力を拡張することで構築し、Webサイト「TokyoTech-LLM」にて一般公開したこと、またオープンで商用利用も可能なことを共同で発表した。 同成果は、東工大 情報理工学院 情報工学系の岡崎直観教授、同・横田理央教授、産総研の共同研究チームによるもの。今回、東工大は主にデータの語彙拡張によるモデル学習・推論効率の改善に取り組み、産総研はモデル構築に必須である大規模計算資源としてAI橋渡しクラウド(ABCI)を提供すると同時に、主に継続学習によるモデルの日本語能力の改善を担当したとしている。 産総研のAI橋渡しクラウド「ABCI」(出所:東工
PyTorch の基礎 - Training
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。
【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】 - Qiita
【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】ChatGPTAzureOpenAIServiceGPT-4MicrosoftAIAOAI こんにちは、もっちゃんと申します。 今AIの快進撃が続いておりますね！2000年代に第三次AIブームが始まってからはや十数年、ここ数年の進化のスピードは眼を見張るものがあるのではないでしょうか。そしてその話題の中心となっているのがOpenAIやMicrosoftなどが開発を行っているChatGPT,GPT-4といった大規模言語モデルです。 特に今年に入ってからは本当にあまりにも各所でアップデートが巻き起こっていてついていくのに必死な状態ですよね（笑） また、情報を追うのと同時に実際に触っていくことも大事ですので、今回はAzure
Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表
LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
あるメタファーの空間において二つのメタファーの対比(B)についてGPT4に列挙(1)させ、それからその対比を抽象化(2)させる。その後、抽象化した対比を異なるドメインに応用して具体化(3)させた
ありがとうございます！ 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください！このモデルに関する論文が公開される予定です（一応それを待ってからこの記事にも掲載します）。 （私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 ）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stable Diffusion Public Release — Stability AI
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
AWS、PythonでMeCabを使う際の語彙データを無料公開 | Ledge.ai
自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男
「人間の脳は主語が認識できないんだって」人間関係に悩んでいた時に、母から言われた言葉が素敵すぎる
面倒な「ダミーデータ作成」をChatGPTに任せる〜Code Interpreterの限界までリアリティを追求した作業の記録【イニシャルB】
GPT の作り方【GPTs とは？何ができる？】｜ChatGPT研究所
Stable Diffusionでmorphing - すぎゃーんメモ
OpenAI API ドキュメント 日本語訳｜#1 GET STARTED 前編｜ゑぐみかるちゃあ
そあん（soan）：古活字画像を用いて現代日本語テキストをくずし字画像に変換／共有するサービス
ChatGPTを探す旅に出させていただきます | DevelopersIO
最近またLinux用の日本語IMEを作っている - tokuhirom's blog
ChatGPTと食べログが連携 「明日夕方に4人で入れる焼き肉屋ある？」に返答 店探しを支援
ChatGPTに共通テスト（旧センター試験）を解かせてみた｜usutaku@AI情報解説
縦書きHTMLにおける文字の向きはどのように定まるか - ドワンゴ教育サービス開発者ブログ
GPT-4を利用した長文原稿自動生成プログラムの紹介｜IT navi
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
「文章生成AI利活用ガイドライン」を策定｜東京都
地味に便利、日本人のフルネームを姓と名に分割するツールのPythonパッケージ公開【やじうまWatch】
東工大など、日本語に強い大規模言語モデル「Swallow」を無償で公開
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
メタファー空間でGPT4に発散と抽象化をさせてから具体化する - 西尾泰和のScrapbox
フリーで使える日本語の主な大規模言語モデル（LLM）まとめ
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）