最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
Eagle で画像収集・管理が驚くほど簡単に！デザインワークを加速する私の使い方 - Techtouch Developers Blog
はじめに デザイナーの toshi です。少しずつ暖かくなり畑仕事も捗ります。（この前、ジャガイモの植え付けとネギを 200 粒蒔きました。おいしく育つといいな 🌱 ） さて、この記事では私のデザインワークを格段に上げる「 Eagle 」とその使い方を紹介できたらと思います。 私は 2018 年頃から Eagle を使い始めてデザインワークの初速が上がったり、画像・素材管理のストレスが確実に減りました。 みなさんは、競合調査やベンチマークにするデザインなど参考にするデータはどのように管理していますか？ ブックマークで管理？キャプチャ画像をフォルダで管理？画像管理アプリで管理？ はじめに なぜベンチマーク管理と参照が大切だと考えているか 時間の有効活用 自分の基準「だけ」で判断しない 質より量でアイデア出しの初速を高める Eagleを使う前 Eagle とは Eagle の使い方 Eagl
Macで使用中のアプリのショートカットキーを一覧表示してくれるユーティリティ「KeyCluCask」が、macOSのキーボードショートカットの表示に対応。
Macで使用中のアプリのショートカットキーを一覧表示してくれるユーティリティ「KeyCluCask」が、macOSのキーボードショートカットの表示に対応しています。詳細は以下から。 KeyCluCask(KeyClu)はKeyCueやCheatSheetが有料/開発終了したことから、Travian Games GmbHでソフトウェアエンジニアを務めるSergi Tatarenkov(Anze)さんがオープンソースで開発を開始したショートカットキーのチートシートアプリで、Macで使用中のアプリのショートカットキーの一覧を表示してくれる機能がありますが、このKeyCluCaskがmacOSのキーボードショートカットの表示に対応しています。 added possibility to list macOS Keyboard Shortcuts (Integrations section) リリース
21世紀のターミナル「warp」のススメ - Qiita
今回は21世紀のターミナルと謳われるターミナル「warp」を紹介します。 warpとは Rust言語製のターミナルです。 現在はmacOSのみ対応していますが、今後WindowsやLinuxにも対応するとのことです。 warpが開発された背景 なぜ今どきターミナル？と思われる方もいるかもしれませんが、warpの開発者いわく、 コードエディターは（vscodeの登場などで）どんどん進化していっているが、一方でターミナルは1978年から大きな進化がないのが現状 だからRustを使ってwarpでモダンなターミナルとして再開発をした warpの特徴 高速 コードエディターのような使用感（コード補完ならぬコマンド補完など） コマンドがブロック単位になっており、コピペが楽 豊富なコマンドパレット warpのインストール 使わないことには特徴のスゴさが理解できないので、早速インストールしていきましょう。
今年導入したソフトウェア、魅力的だったソフトウェア（2023）｜usagimaru
11月のブラックフライデー／サイバーマンデーセールもあり、今年もMac appを中心にいろいろなソフトウェアを導入してみました。中にはきっと使わなくなってしまうものもありそうですが、これは使う使わないだけでなく、実装されているUIの研究をする目的だったり、あるいは単にクリエイターへの「応援」としてでもあったりします。いくつかピックアップしてみます。 Procreate Dreams (iPad)Procreate DreamsはiPadOS向けの2Dアニメーション制作ソフトウェアです。iPadで一番有名なお絵かきソフトウェアの一つ、Procreateを作っている会社が新たにリリースしたアプリケーションです。 私はアニメーション制作をやるようなクリエイターではないのですが、Procreate DreamsはとにかくUIがよくできていて、まずワクワクしてしまったというのもあるのですが、やっぱり
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
AppleシリコンのMacでのDocker開発環境のパフォーマンス改善
プロダクト開発部バックエンド開発グループでエンジニアをしています、おかだです。 ココナラには開発環境改善委員会があり、開発スピードの維持・改善に取り組んでいます。 本日は、取り組みの一環としてAppleシリコンのMacでのDocker開発環境のパフォーマンスを5-10倍程度改善したお話をしたいと思います。 はじめに AppleシリコンのMacが発表されてから数年が経ちました。ココナラでも昨年から導入が進んでおります。新しく入社したメンバへはM1 MacBook Pro(最近だとM2)が標準で支給されるようになっており、現在はIntel MacとM1 Macが混在して利用されている状況です。 バックエンドの開発では、ローカルでの動作確認や単体テストはコンテナ内で実行できるようになっています。 Dockerパフォーマンス問題 M1 Macを導入したメンバから 単体テストが遅い 静的解析が遅い
無料でEdgeがなくてもチャットAI「Bing Chat」をWindows・macOS・Linuxで単体起動でき会話履歴の画像・PDF・マークダウン形式保存やショートカットキーも駆使でき便利なアプリ「BingGPT」を使ってみた
Microsoftは2023年2月に検索エンジンのBingにチャットAIの「Bing Chat」を統合し、2023年5月に一般公開しました。Bing ChatにアクセスするにはMicrosoft Edgeを起動するか、あるいはウェブブラウザでBingにアクセスする必要がありますが、ブラウザを起動しなくても単体でBing Chatにアクセスできるツール「BingGPT」が公開されたので、実際に使ってみました。 GitHub - dice2o/BingGPT: Desktop application of new Bing's AI-powered chat (Windows, macOS and Linux) https://github.com/dice2o/BingGPT 上記のGitHubページにアクセスし、右にある「Relaese」にある最新版をクリック。記事作成時点で最新版はバージ
すべてを記録してくれて検索できるMacアプリ「Rewind」が凄すぎて震える｜男子ハック
あなたがMacで見たこと、聞いたこと、言ったこと、すべてを覚えていて、検索することができるアプリ「Rewind」を約1週間試してみました。結論から言って、便利すぎて震えるレベルの神アプリでした。 Rewindは、2秒ごとにMacのスクリーンショットを撮影し、その画像を分析してテキストを抽出。さらにマイク入力、スピーカー出力も記録し、音声データと文字起こしされたテキストデータを保存します。 時間を巻き戻して確認ができるスクリーンショット上のテキストや音声データの書き起こしテキストを検索するオンライン会議は文字起こしされる（日本語では期待通りの動作はできず）これらのデータは時間を遡って確認できますし、保存されたデータを検索して探し出すことができます。 Rewind Demoこの機能を聞いただけの印象では、保存されるデータ量が膨大になるのではと疑問が湧きますが、圧縮アルゴリズムが強力で3,750
個人的PCまわりセットアップまとめ - Qiita
これは何 備忘録も兼ねて、PCのセットアップで自分のやることをまとめてみました。 随時更新していく予定です。 VS Code VS Codeの環境設定 setting.jsonに下記を追加します。 内容はコメントで書いているので、詳細は省きます。 { "editor.fontSize": 12, // フォントサイズを変更 "editor.guides.bracketPairs": true, // 対応している括弧にガイドを表示する "editor.minimap.renderCharacters": false, // ミニマップに実際の文字を表示しない "editor.renderControlCharacters": true, // 制御文字を表示する "editor.renderLineHighlight": "all", // 現在の選択行をハイライトする "editor.r
Mac上に素早くDockerやLinuxマシンを作成＆管理できる「OrbStack」のPublic Beta版が公開。
Mac上に素早くDockerやLinuxマシンを作成＆管理できる「OrbStack」がPublic Betaになったそうです。詳細は以下から。 Appleは2020年にリリースしたmacOS 11 Big Surから、開発者向けにより簡単にIntel/ARMベースのLinuxマシンをMac上に構築できるよう、Virtualizationフレームワークの提供を開始し、現在ではParallels DesktopやDocker Desktopなどが、このフレームワークを利用していますが、新たに、Mac上に素早くDockerコンテナやLinuxマシンを作成できる「OrbStack」という仮想化ユーティリティがPublic Betaで公開されています。 Say goodbye to slow, clunky containers and VMs Run Docker and Linux on you
ChatGPTのMac用クライアント「MacGPT」がGPT-4 APIに対応。
ChatGPTのMac用クライアント「MacGPT」がGPT-4 APIに対応しています。詳細は以下から。 OpenAIは現地時間2023年03月14日、マルチモーダルとなった次世代大規模言語モデル「GPT-4」の提供を開始しましたが、ChatGPTをMacのメニューバーやデスクトップから利用できる「MacGPT」がGPT-4 APIキーに対応しています。 Just released in version 1.19: If you have access to the GPT4 api you can use it in native mode Added the close button back to the menu bar Added the toggle back on the main app to switch between native and web 🧠 MacGPT
2023年macOS使いのおまえらが絶対使うべきアプリ7選 - Qiita
ほんとうはLinuxを使いたいけど、色々な理由でmacOSを使わなければならない僕が少しでもmacOSが好きになるように使っているツールたちの紹介です。タイトルがちょっと過激なのはゆるしてください こんにちは、株式会社クラフトマンソフトウェアでAppThrustという「開発の面白さを100%にする」プロダクトを開発しているreoringです。 Arc Browser 言わずと知れたmacOS専用のブラウザ。UI/UXが気持ちよすぎる。最高。 Raycast macOS標準のSpotlightを置き換えるツール。Extensionが多数あって自分好みの設定ができる。最高。 ObsidianのDaily noteを一発で作ったりできる。 Raycast AIでさくっとGPTと話せたりする。
テキストから画像を生成できるオープンソースのStable Diffusionアプリ「Diffusers for Mac」がGPU/Neural Engine選択に対応し、Apple Silicon Macでは生成速度が最大2倍に。
テキストから画像を生成できるオープンソースのMac用Stable Diffusionクライアント「Diffusers」がGPU/Neural Engine選択に対応し、Apple Silicon Macでは生成速度が最大2倍になっています。詳細は以下から。 DiffusersはiPhone用カメラアプリ「Camera+」などを開発するPedro Cuencaさんがオープンソースで開発していたStable Diffusionアプリで、現在はCuencaさんが学習済みの機械学習モデルやデータセットなどを公開/共有するHugging Face HubのMLエンジニアになられたことで、Hugging Faceの公式Macクライアントとなっていますが、このDiffusersのバージョン1.1アップデートがリリースされています。 Generate images up to twice as fast!
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
約3万円の「VMware Workstation Pro」が無償化 ～個人利用で、Mac向け「Fusion」も／「VMware Workstation/Fusion Player」は販売終了
DB Pilot - DuckDB GUI Client
Appleシリコン搭載Macで「Windows 11」を無料で動かす方法 | ライフハッカー・ジャパン
【Mac Info】 Macを売却/下取り/譲渡するときの正しい初期化手順
