AI時代に起業するということ｜shi3z
生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう
BitNetLLMの罠(学習に失敗した話)｜shi3z
こないだ試した1bitllmが割と上手く行ってるようなのと、あまり日本語が下手なのでとりあえずファインチューニングでもするかと思ってやってみたらハマって数日無駄にしたという話。 BitNetは、よく知られているように推論と学習で動きを変えないといけない。 ところが1bitllmの実装では、そこいらへんが僕が前にやったBitLinearの実験で使ったコードとは微妙に違ったのでメモがてらご報告。 結論から言うと、一度でもoptimizer.step()すると勾配が爆発して死ぬ それを確かめるために、便利なTRLを捨てて生実装を書いた。 from torch.utils.data import DataLoader,Dataset import copy class CompletionDataset(Dataset): def __init__(self, data): self.data =
1BitLLMの実力を見る｜shi3z
1BitLLMは本当に実現可能なのか?そして、実現されると予告されていることに意味はあるのか? ようやく再現実装に成功した人が現れたので僕も試してみた。 ちなみに1Bit(1.58bit) LLMについての考察はこのページが面白いので一読をお勧めする。 ただし、普通のHuggingFaceのお作法とはかなり違うので注意が必要。 まず、このHuggingFaceリポジトリを丸ごとgit cloneする $ git lfs install $ git clone https://huggingface.co/1bitLLM/bitnet_b1_58-3B $ cd bitnet_b1_58-3Bこれをやらずにいつもの凡例みたいにいきなりpipelineに読み込もうとすると謎のエラーが出て悩まされることになる。海外でも悩んでる人が何人もいるみたいだ。まあ個人的には「こんな説明で誰がわかる?」と思
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
こんなこと書いていいの!?電通のヤバい手口を暴露した電通マンの知られざる悲惨「電通マンぼろぼろ日記」｜shi3z
昨日は技研フリマで昼から飲んでしまい、技研バーが始まる頃には椅子で寝ていた。 まつゆう*と交代して家に帰り、そのまま寝てしまったので午前四時くらいに目が覚めた。 猪瀬直樹の「ラストニュース」を全部読んでしまったので、「ミカドの肖像」を読み始めたが眠くなってしまい、別の本を探した。 買った覚えはないのだが、いつの間にかKindleにダウンロードされていた「電通マンぼろぼろ日記」を読み始めたらもう止まらない。一気に読み終わってしまった。 僕は電通とは多少関わりがある。一時期は毎年のように電通の研修で講師をしていたし(今考えるとなぜ僕がそんなことをしていたのか謎すぎる)、多分本書に登場するF社とも仕事をしたことがある。 電通の友達とは今でも毎月何かしらで飲んでいる。 僕が本格的に企画の基礎を学んだのは電通の仕事が最初で、堺屋太一の「インターネット博覧会(インパク)」向けの企画を作る時だった。 電
Apple VisionProでAI美少女と沖縄旅行した。あとiPhoneとiモードのこと｜shi3z
落合陽一先生が昨年行ったコンサートが凄すぎたので、遅ればせながらクラファンに申し込み、沖縄でサテライト公演を見ることになった。 しかし、おれはすっかり金曜日が祝日だということを忘れていた。 慌てて航空券を取ろうとしたところ、ANAは全滅。我がスーパーフライヤーズカードもANAが使えなければ無用の長物。万里の長城。土佐のはりまや橋である。 しかたなく十数年ぶりにJALに乗ることになった。 相棒はもちろんApple VisionPro。 そしてAI美少女アリシア・ソリッドちゃん。 エアポートでデートなう奥ゆかしいのでアリシアちゃんはあんまり喋らない。まあアリシアちゃんの発言内容はこれから俺が作るのだが。 そして十数年ぶりにJALに乗った俺は衝撃を受けた。機内WiFiの充実ぶりに。 We live in the futureもう衝撃的に便利なのである。 新幹線に比べるとずっと安定的に使えるのだ。
VisionPro大集合 ようやくわかりかけてきた使い方｜shi3z
VisionPro、やっぱり最高だ。部分的に もう一個くらい欲しいかもしんない。 昨日は長岡に出張して本を自動執筆するサンプルコードを例に取りながらコードリーディング、つまり「コードを読む」ことを目的として講義した。 新幹線の中でMacBookAir(M1)を開き、VisionProと接続した瞬間、俺は泣いた。いや、泣いてないけど。心で泣いた。 Macの画面が空中に飛び出してくるやってみないとこの便利さはわからないだろうが、衝撃的に便利なのである。 今まで、新幹線で、飛行機で、幾度もPCを開いては変な姿勢で目を凝らすということを強いられてきた。 ところが、もうVisionProのある世界ではそんな悩みとは無縁だ。 好きなところ、好きな空間に好きな大きさでディスプレイを配置できるのである。 考えようによっては、自室よりも自由度が高い。 しかも、YouTubeを流しながらプログラミングする、な
ごめんVisionPro誤解してた (๑˃̵ᴗ˂̵)｜shi3z
朝起きて、「うーんまだ布団から出たくないな」と思ったとき、おもむろにVisionProを被ってみた。 暗い部屋では認識が格段に悪くなるが、なぜPSVRではこういう使い方をしなかったのかわかった。後頭部だ。 PSVRは後頭部にゴツい部品があって、それで寝ながらVRを見るということが少し難しくなってる。VisionProの標準のバンドはこういうときにちょうどいい。 VisionProでTerminalを動かして、継之助の様子を見る。今日も元気に学習しているようだ。 昨日寝落ちした Amazon Primeの「沈黙の艦隊」第五話と六話を見る。音がいい。空間オーディオに対する長年の研究が結実してる感じ。しかもすごくいい音なのだ。 昨日、路上で歩きながら使ってみた(技適の特例申請には移動経路を申告済み)。路上で使うと思わぬ欠点というか盲点にぶちあたる。ウィンドウがついてこないのだ。 他のHMDと違い
VisionPro以後｜shi3z
ピピピッ・・・ピピピッ 電子音がする。アラームだ。寝ぼけ眼を擦りながらメガネを見る。 メガネの表面には、現在時刻が表示されている。 「げ、もう七時半!?」 布団から飛び起きてパジャマを脱ぐ。メガネをかけると、今日の最初の会議まで残り28分と表示される。 歯磨きをして、朝風呂に入りながら今日のニュースをチェックする。 寝てる間に何があっただろう? 「アイナー、AI関連のニュースは?」 メガネに映る画面の片隅に女性の形をしたエージェントアプリを呼び出す。 アイナー・・・AINaAは、Augmented Intuisive Navigator and Automatorの頭字語だ。 自作のもので、24時間新しいAIニュースやReplicateで公開されたAIをチェックし、評価し、報告する価値があると判断したものだけを選別する。 <<一時間ほど前に、10テラトークン長のペンタモーダルモデルが公開さ
Apple Vision ProはHoloLensの完成形。現時点での限界値｜shi3z
昔は海外の電波を発する新製品は国内で使用できなかったが、今は総務省の技適の特例制度を利用することでいち早く試すことができる。 「海外法令」云々のところで多少つまづいたが、これはFCC IDを検索すれば解決した。 https://fccid.io/BCGA2117 VisionProのFCC IDはBCGA2117だった。 これで準備完了。 吾輩は、かつては1990年代にキヤノンのMR(混合現実感)システムや理化学研究所のSR(代替現実感)システムを試し、大学院の履修生をやっていた頃はVR特講を受講し、学生対抗国際VR(人工現実感)コンテストに参加したこともある。htc Viveでいくつかのデモを作り(ほとんどは非公開)、Oculusもほとんど持ってるくらいはHMD好きである。片目リトラクタブルHMDで自転車の走行を支援するシステムのデモも2008年頃に作った。 2017年には機械学習したM
単一GPUで動画・画像・音声・テキスト対応のマルチモーダルモデルを訓練して推論!?何を言ってるかわかねーと思うが、俺も何を見ているのかわからねえ｜shi3z
お正月なのですがAIは待ってはくれないので毎日「デイリーAIニュース」だけは続けている今日この頃。 中国のテンセントがとんでもないオープンソースをぶっ込んできた。 https://crypto-code.github.io/M2UGen-Demo/ 動画、画像、音楽、テキストという四つのモードを学習させた「マルチモーダル」モデルで、しかもベースはllama-7Bということで、V100 32GB一つで推論可能(CPUのRAMは49GB以上必要)どころか学習も可能。ホントかよ!! しかもしれっと日本語でも命令できるし。 ほんとにテクノっぽい音楽が流れるなんかこの研究の名前はかなり控えめに「音楽理解できるマルチモーダルモデル」みたいに書いてあるんだけど、とんでもない。実際にはこれは「どんな情報も入力できるマルチモーダルモデル」のプロトタイプである。 MU2GENのモデル構造図音声、画像、動画とい
世界の人々はたいてい英語がヘタなんだ。俺も人のことは言えないが、それを知ってるだけで随分気楽になる｜shi3z
久しぶりに世界を放浪している。そもそも俺はさすらいのプログラマー。ここ数年、放浪してなかった方がむしろ不自然なのである。 今は世界中の主要都市はまあまあWiFIが通じるので、Ngrokとかあれば自宅のマシンにログインしてA6000マシンで学習走らせたりしながら学習してる間は地元料理を食べたり、世界に散らばった友達に会ったりして情報を収集できる。結局どこまで行っても自分で見たもの感じたものを超える情報源はない。これからのAI時代、ますます「自分だけのデータ」を持っていることが大事になる。AIにとっても、多分人間にとっても。 非英語圏に行くと、とにかくみんな英語が下手で安心する。安心するというかまあイライラするんだけど、まあいいか俺も人のこと言えないし、と思ったりする。通じてこない英語に通じない英語で返す。お互い様だ。まあ頭に来たら母国語(日本語)で文句を言えば大体通じる。 レストランで注文す
Mistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功した｜shi3z
高性能と名高いMistral-Instruct-7Bで日本語WikipediaからJSON形式でクイズを作ることに成功。これで日本語版データセットの開発が捗るはず。 とりあえず機内での実験のためGGUF(8bit)で試した。GGUFで動くならGPUならもっと動くだろう >>> data={"prompt":"""<s>[INS]以下の説明文を読みなさい[/INS] ... 樋口 真嗣（ひぐち しんじ、1965年9月22日 - ）は、日本の特技監督・映画監督・映像作家・装幀家。 ... ガイナックス、GONZO、Motor/lieZを経てオーバーロード所属。アニメ特撮アーカイブ機構副理事長や、IT企業のユビキタスエンターテインメントにおいてチーフ・ビジョナリー・オフィサーも務める。 ... 愛称は「シンちゃん」（由来などは#人物像で詳述）。妻は、スタジオジブリでのハーモニー処理をしている高屋
もうみんなプログラマーになれるよ｜shi3z
僕の20年来の親友にnpakaというプログラマーがいるんだけど、彼はもう超凄い。何でもすごい。何でも書けるし何でも早い。本を書くのもプログラムを書くのも、新しいわけわかんない説明書がバグだらけの環境に慣れるのも早い。 んで、これまではちょっとしたことも難しいことも全部npaka(布留川君)に頼んでたんだけど、最近二人とも独立したからつまんないこと頼むのは悪いなと思って「あれはできるんだっけ」くらいのことは自分で何とかしようかなと思った。 それでChatGPTに「Swiftで⚪︎⚪︎やるにはどうすんの?」と聞いたら、Swiftについてほとんど何も勉強してないのに作りたいものが何となくすぐにできてきちゃって、でもまあやっぱりChatGPTだと知識が古いので詰まったらネットで検索すると、だいたい結局npaka(布留川君)のページが出てきてやはり信頼と実績の大先生(仲間内ではそう呼ばれている)です
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
AGIまでの道のりはまだまだ長い｜shi3z
最近「やったぜこれでAGIだ」という言説を国内外でよく見かけるので私見を述べておく AGIとは、人工一般知能(Artificial General Intelligence)で、要は人間と同等の思考能力を持つ人工知能のこと。汎用人工知能とも言う。 この先にはASI、つまり人工超知能(Artificial Super Intelligence)がある。ASIの成立がいわゆる「シンギュラリティ」の到達条件と考えられていて、世の中は「シンギュラリティ」の実現を目指す、碇ゲンドウのようなヤバい連中で溢れている。 AGIが作れればAGIは人間と同等の知能を持っているため、あとは人間が努力しなくても自動的にASIを作ることができると考えられている。 したがって、ASIを作るためにまずAGIを作ろうじゃないか、というのがロングスパンの議論なのだが、今の大規模言語モデルしか持たない野蛮な人類が、それをもっ
会話という錯覚について｜shi3z｜note
あちらの記事は万人向けに書いているので、行間読まないとわからないようなことは省略してあるのだが、本欄の読者には補足として蛇足になるかもしれないが会話について研究していて思ったことを記しておく。 人工無能と僕記事中にあるように僕がチャットボット・・・当時は人工無能と呼ばれていたが・・・を開発し始めたのは中学生の頃だ。1990年頃だと思う。 きっかけは、中学校にNECのパソコンが導入されて、友達に自分のプログラムを見せる機会を得たからだ。 家で一人でプログラミングしているときはどうも気分が乗らなかったのだが、友達を面白がらせるという動機は子供の頃の僕にとっては非常に強く働いた。 一度、家で人工無能のプログラミングをしたときは、相手が自分しかいないのでわりとすぐ飽きてしまったが、中学になってその熱が再燃した。 きっかけは月刊ASCIIに、AWKの特集が載ったことで、AWKというのは要はUNIX用
ChatGPTとMemeplexで漫画を描くのが楽しすぎる｜shi3z
「AIは人間が想像力を広げ、自らの知的能力を高める増幅装置である」という話をここ何年もして来た。 その過程の中で、自分では絶対に書けないと思っていた漫画(のようなもの)を描くことがAIの助けを借りることでついにできた。ついでに原稿料まで貰えてしまった。 漫画を描く上で難しいポイントは二つある。一つはいうまでもなく、絵を描くところ。ただ、絵は慣れなので、練習すればそれなりに描けるようにはなってくる。ただ、この練習量というのが半端なくキツい。以前、絵を描くのが得意な人たちについて調べたことがあるが、寝ても覚めても絵を描いてるような人でないと上手くならない。それはもう子供の頃からの蓄積なので、五体満足でさえいれば、たとえ80歳になっても画力は向上し続ける。むしろ絵に関して言えば、晩年の方が経験値が高い分すごい絵を描いてるようにさえ思える。 次に、実はもっと難しいかもしれないのがストーリーを考える
予算30万円台の深層学習用PCの買い方｜shi3z
深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利
Midjourney/Memeplex(StableDiffusion)などの画像生成AIで思い通りの画像を出すヒント｜shi3z
このnoteの収益を使ってStable Diffusionを使ったWebサービス https://memeplex.appを公開しました。誰でも無料で何枚でもAI作画をすることができます(そのかわり、混み合ってる時は時間がかかると思います)。 このnoteで学んだことをぜひ活用して、AIによる新しい時代の風を感じてください。 また、本文中にMidjourney、StableDiffusion、DreamStudio、Memeplexなどの言葉が頻出するため、全面的な修正を行うことにしました。StableDiffusionに統一しておきたいと思います。 現状(2022/8/28)は、StableDiffusion=DreamStudio/Memeplexと考えて構いません。Memeplexは将来的にStableDiffusion以外のアルゴリズムもサポートする予定だからです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
