Mac で LLM を動かす。

1あなたの Mac に収まるモデル

モデルの重みは、コンテキストと macOS のための余裕を残したうえでメモリに収まる必要があります。1 重みあたり 4 ビットなら、10 億パラメータあたり約 0.55〜0.6GB を見込んでください。

速さは別の問題です。新しいトークンを 1 つ生成するたびに、アクティブな重みをメモリから 1 回読み出す必要があるため、毎秒トークン数はメモリ帯域幅に比例します。すべてのチップについては、ローカル LLM に最適な Macのガイドで解説しています。

2いちばん簡単な方法：LM Studio

LM Studio は、チャット画面とモデルブラウザを備えた無料の Mac アプリです。Apple Silicon では、llama.cpp で使われる GGUF 形式に加えて、Apple の MLX 形式のモデルも実行できます。

1. LM Studio をダウンロードして開きます。
2. モデルを検索します。Apple Silicon では MLX 版を選び、メモリに収まるサイズを選んでください。
3. モデルを読み込んで、チャットを始めます。ほかのアプリ向けにローカルサーバーを有効にすることもできます。

3コマンド 1 つで：Ollama

Ollama はターミナルからモデルを実行し、Mac 上のほかのアプリにモデルを提供します。インストールしたら、コマンド 1 つでモデルをダウンロードして起動できます。

ollama run llama3.2

バージョン 0.19 以降、Apple Silicon 版の Ollama には、対応モデル向けに Apple の MLX フレームワークを使うプレビューがあり、大幅に高速化されています。このプレビューには、32GB を超えるメモリを搭載した Mac が必要です（Ollama）。

4いちばん速い方法：Apple の MLX と mlx-lm

MLX は Apple Silicon 向けの Apple のオープンソース機械学習フレームワークで、mlx-lm は言語モデル用のパッケージです。Hugging Face の mlx-community には、すぐに使えるモデルが何千も公開されています。

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

ターミナルで会話するには mlx_lm.chat、ほかのアプリから呼び出せるローカル API には mlx_lm.server を使います。M5 チップでは、MLX は GPU に搭載された新しいニューラルアクセラレータを使います。Apple の測定では、最初のトークンが出るまでの時間が M4 より 3.3〜4.1 倍短くなりました（Apple Machine Learning Research）。

5計測して、働かせる

MLX Bench は、すべての Apple Silicon チップでの MLX の速さを集めたオープンなリーダーボードです。生成とプロンプト処理の毎秒トークン数、ピークメモリがわかります。ファイル 1 つのスクリプトを Mac で実行して、どの位置に来るか見てみましょう。

Mac を使っていない間は、ほかの人のために AI を動かすこともできます。MLX Node は、同じ MLX フレームワークで MLX Network の AI のジョブを実行し、検証された仕事に対して MLX トークンを獲得する無料のアプリです。働くのは、あなたが設定した上限の範囲内だけです。

6よくある質問

MacBook Air で LLM は動きますか？

動きます。16GB の MacBook Air なら 7B〜14B のモデルを 4 ビットで快適に動かせ、32GB なら約 30B までのモデルを動かせます。メモリ帯域幅の大きい Pro や Max チップ搭載の Mac よりは遅くなります。

Mac では MLX のほうが Ollama より速いですか？

多くの場合そうです。MLX は Apple Silicon のために書かれているからです。Ollama 自身も、MLX を使ったプレビューで Apple Silicon 上の大幅な高速化を報告しています。詳しくは MLX と Ollama の比較ガイドをご覧ください。

ローカルモデルはオフラインで動きますか？

動きます。一度ダウンロードすれば、モデルは完全に Mac 上で動き、プロンプトが Mac の外に出ることはありません。

70B のモデルにはどれくらいのメモリが必要ですか？

4 ビットで重みだけで約 40GB なので、64GB 以上の Mac が必要です。同程度の品質の Mixture-of-Experts モデルは、より多くのメモリを必要とすることがありますが、より速く動きます。