はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ

Mac用ChatGPTクライアント「MacGPT」がGPT-4oに対応しています。詳細は以下から。 OpenAIは現地時間2024年05月13日、反応速度を向上させ、より人間らしい対話が可能にな最新のAIモデル「GPT-4o」を発表しましたが、Mac用ChatGPTクライアント「MacGPT」が最新のバージョン3.21でGPT-4oに対応しています。 Added support for the new GPT-4o model which is twice as fast and two times cheaper! リリースノートより MacGPTはNaviでApple Design Awards 2022 ファイナリストに選出されたオランダのJordi Bruinさんが開発しているChatGPTクライアントで、ChatGPTのWebベースに加え、OpenAIのAPIを利用することでネイ

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

米アップルは低迷するコンピューター販売のてこ入れを目指し、「Mac」シリーズの刷新を準備している。人工知能（ＡＩ）に焦点を当てて設計された新たな独自プロセッサーを搭載する予定だという。 同社は５カ月前に「Ｍ３」チップを搭載した初のMacをリリースしたばかりだが、事情に詳しい複数の関係者によると、すでに次世代「Ｍ４」プロセッサーの生産に近づいている。アップルはMacシリーズの全モデルを「Ｍ４」でアップデートしようとしているという。未発表情報であることを理由に関係者は匿名で明らかにした。 新型Macは同社にとって重要な位置づけとなる。Macの売上高は2022年にピークを迎え、2023年９月通期では27％減少。ホリデー商戦を含む23年10－12月（第１四半期）は横ばいだった。 アップルはまた、マイクロソフトやアルファベット傘下グーグルなどに比べて出遅れているＡＩ分野でも巻き返しを図っている。新型

AppleはM3チップを搭載した新しいMacBook Airを発表しました。 M2モデルとの違いや、新モデルに買い替えるべきなどMacRumorsがまとめています。 M2チップとM3チップ その他の違い 結論 M3 MacBook Airラインナップを整理しておくと、新しいMacBook Airは、前モデルと同様に13.6インチと15.3インチのディスプレイサイズがあり、13インチモデルは164,800円から、15インチモデルは198,800円からとなっています。2022年のM2搭載13インチモデルも販売が継続され、価格は16,000円値下げされ148,800円になりました。したがって、M2 13インチモデル、M3 13インチモデル、M3 15インチモデルの3つが選択可能です。 MacBook Airラインナップ M2チップとM3チップ M3 MacBook Air2024年モデルが提供す

世界で最も人気のあるノートブックは、さらに優れたパフォーマンス、より高速なWi-Fi、最大2台の外部ディスプレイへの対応、これらすべてを驚くほど薄型で軽いデザインに収め、最大18時間のバッテリー駆動時間を実現して、これまで以上に優れたものになります カリフォルニア州クパティーノ Appleは本日、電力効率の高いパフォーマンスと持ち運びやすさの驚異的な組み合わせを新しいレベルに引き上げる、パワフルなM3チップを搭載した新しいMacBook Airを発表しました。M3を搭載したMacBook Airは、M1チップを搭載したモデルよりも最大60パーセント高速で、最も高速なIntelベースのMacBook Airよりも最大13倍高速です1。また、M3のより高速で、より効率的なNeural Engineにより、MacBook AirはAIのための世界最高の消費者向けノートブックであり続けます。13イ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

Pythonの高速なスーパーセットとされているMojoがApple Silicon Macについに対応したので、早速インストールしてMojo入門してみました。 ※ 記事作成日の前日（2023年10月19日）に公開されました。 インストール手順 0. ModularにSign up 基本、上記から遷移した先の以下の場所に記載しているインストール方法に沿って入れていきます。（ちょっと詰まった部分あるので本記事ではそれも記載してます） なお、curlコマンド部分に記載されているMODULAR_AUTHの値は本記事で {YOUR_TOKEN_HERE} となっている場所で使うため、メモっておきます。 1. （Homebrewインストールしてない方は入れておく） 2. Modular CLIをインストールする

Modular社はPythonの高速なスーパーセットだと同社が位置づけている開発中の新言語「Mojo」が、今月（2023年10月）中にAppleシリコンを搭載したMacに対応予定であることを明らかにしました。 Mojo is coming to Apple Silicon before the end of October! Here’s a sneak-peak using Infermo - https://t.co/7KEV3G5xj7 - created by @fe_tilli to train a model for digit recognition pic.twitter.com/q350IS2oDl — Modular (@Modular_AI) October 11, 2023 MojoはPython互換として既存のTensorFlowやPyTorchなどをそのまま実行

Building new functionality, writing unit tests, and learning new technologies has never been easier or more fun. Today we are announcing the retirement of the Visual Studio for Mac IDE. Visual Studio for Mac 17.6 will continue to be supported for another 12 months, until August 31st, 2024, with servicing updates for security issues and updated platforms from Apple. While the decision has been made

これはなに？ LINE が公開した日本語言語モデルをローカルで動かしたいけど、GPUがなくて動かなくて悲しかったのです。でも、huggingface に良い変換モデルを公開されてる方がいらして、それを試したら、いい感じで動きました。というご報告です。やったね！ 結論: 動かす手順 homebrew で cmake をインストール mmngaさんが公開されている ggml 変換版の readme に従ってターミナルで以下を実行 git clone https://github.com/ggerganov/ggml.git cd ggml mkdir build && cd build cmake .. make -j mmngaさんが公開されているggml 変換版のモデルをダウンロード 保存先は 2. で mkdir した build ディレクトリに。 以下のコマンドで推論を実行 ./bin

こんにちは、GunosyTechLab MediaML 所属 の suchida です。 急激に冬が近づいて参りましたね。 寒がりなので、ヒーター付き手袋を買いました。 キーボードも打てます。 おすすめです。 こちらの記事は Gunosy Advent Calendar 2022 の 3 日目の記事です。 前回の記事は nagayama さんの「Android の Kotlin Coroutines 導入の第一歩」でした。 tech.gunosy.io はじめに 問題 M1 Mac に TensorFlow がインストールできない Docker 環境でも厳しい CPU アーキテクチャの違いに躓かない開発環境づくり 開発環境 番外編: arm64 環境で amd64 のための pyproject.toml を作る方法 おわりに はじめに 弊社では、社員が使っている PC が古くなってきたタイ

文章(プロンプト)を入力するだけで画像を生成してくれるAI「Stable Diffusion」は、2022年8月に一般公開されて以降、有志によって簡単に動かせるUIや各種拡張機能が続々と生み出されています。そんなStable Diffusionについて、Appleが機械学習フレームワーク「Core ML」への最適化を発表しました。同時にMacBookやiPhoneなどのAppleシリコン搭載デバイス向けのコードもオープンソースで公開されています。 Stable Diffusion with Core ML on Apple Silicon - Apple Machine Learning Research https://machinelearning.apple.com/research/stable-diffusion-coreml-apple-silicon GitHub - app

macOS 13 Venturaでは「Python」ランタイムの同梱が終了しています。詳細は以下から。 Appleは日本時間2022年10月25日、ステージマネージャやSpotlightの強化、システム環境設定をSwiftUIで刷新した「macOS 13 Ventura」を正式にリリースしましたが、このmacOS VenturaではPythonランタイムの同梱が完全に終了しています。 Appleは2019年に公開したmacOS 10.15 Catalinaに、レガシィなソフトウェアとの互換性を維持するためとして、あえてEOL(End of Life)が2020年01月01日に迫っていたPython v2.7.xを同梱する一方、今後はpythonなどのランタイムの同梱を行わないと発表し、 アプリがスクリプト言語に依存する場合はアプリ側にランタイムを同梱するように求め、2021年10月にリリー

環境構築 Minicondaインストール wget（Webからファイルをダウンロード）をインストールしていない場合は以下のコマンドでインストールします。 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install wget xcode-selectをインストールします。 xcode-select --install Minicondaのサイトから、ファイル名にarm64の付いたM1 Mac用のインストーラをダウンロードします。 bash ~/Downloads/Miniconda3-latest-MacOSX-arm64.sh インストール先の確認はそのままEnterとすると~/miniconda3にインストールされます。 それ以外で

非常に高精度な画像を生成できるとして大きな話題を呼ぶ画像生成AI「Stable Diffusion」は、オープンソースであるためユーザーがローカル環境で実行することもできますが、記事作成時点ではNVIDIA製GPUの使用が推奨されています。そのため、「Stable Diffusionが気になっているけどMacユーザーだからローカルで実行できない」という人もいるはず。そんなMacユーザーに向けて、「Stable DiffusionをM1・M2チップ搭載Macのローカル上で実行する方法」についてオープンソースの機械学習モデルをクラウドのAPIで実行するウェブサービス・ Replicateが解説しています。 Run Stable Diffusion on your M1 Mac’s GPU - Replicate – Replicate https://replicate.com/blog/ru

最近，PyTorchがM1 MacBookのGPUに対応したとのことで，そのインストール方法を説明します．また，簡単に計算時間を検証してみたので，その結果を共有します． この記事は，ある程度PyTorchを使い慣れている人向けの記事です． さっくりとM1 MacBookのGPUを使って深層学習（ディープラーニング）を動かしてみたい人にちょうど良いかと思います． M1 MacBookのGPUを使うためのPyTorchのインストール方法 (2023/03/30 更新) ※ 本記事初公開時はStable版がなかったのですが，2023/03/30時点でStable版(ver2.0.0)があったのでインストール方法を修正しています． 筆者はインストールのために以下のページを参考にしました． pipもしくはcondaでStable版のインストールが可能です． 以下のいずれかのコマンドを実行することで，

May 18, 2022 by Sebastian Raschka Today, PyTorch officially introduced GPU support for Apple’s ARM M1 chips. This is an exciting day for Mac users out there, so I spent a few minutes tonight trying it out in practice. In this short blog post, I will summarize my experience and thoughts with the M1 chip for deep learning tasks. My M1 Experience So Far Back at the beginning of 2021, I happily sold m

by PyTorch In collaboration with the Metal engineering team at Apple, we are excited to announce support for GPU-accelerated PyTorch training on Mac. Until now, PyTorch training on Mac only leveraged the CPU, but with the upcoming PyTorch v1.12 release, developers and researchers can take advantage of Apple silicon GPUs for significantly faster model training. This unlocks the ability to perform m

4月の末にやっとMacStudio(M1Ultra)が届いたので、ゴールデンウィーク中に開発環境を整えることができたのですが、期待のM1Ultraが機械学習でどれほどの能力があるのか気になったので、他のデバイスと比較してみることにしました。 と言っても、自分では他に端末を持っていないので以下で紹介されているDaniel Bourke氏のテスト一式がGitHubに公開されていたのでこれを使用することにしました。 https://ainow.ai/2022/02/25/262748/ https://github.com/mrdbourke/m1-machine-learning-test ちなみにMacStudioのスペックは以下となります。 M1Ultra 20コアCPU 64コアGPU ユニファイドメモリ128GB それでは早速テスト結果を見て行きたいと思います。 1.テスト概要 今回試