あなたの Mac で何が動く?
お使いの Mac、またはほかのマシンを選ぶと、どのオープン AI モデルがメモリに収まり、どれくらいの速さで動くかがわかります。各モデルのモデルカードと、各チップの公表されたメモリ・帯域幅から計算しています。
Apple M5(16 GB): 標準でモデルに使えるのは約 12 GB、 メモリ帯域幅 153 GB/s。 人気モデル 43 個のうち 20 個が動きます。 詳しいページ 実測:llama.cpp で Llama 2 7B(4 ビット)を 32 トークン/秒 (M5 (10-core GPU))。
知能スコア:Artificial Analysis Intelligence Index v4.3.2(測定済みのモデルのみ)。モデル名は公式モデルカードにリンクしています。
計算方法
メモリ。 各モデルは、収まる中でいちばん高い精度で表示しています。重みあたり 8、6、4、3、2 ビットに MLX のグループスケール(重みあたり 0.5 ビット)を加えたもの、またはネイティブ形式で配布されているモデルはその形式です。Mac では標準で GPU がユニファイドメモリの約 75% を使えます。その上に、コンテキスト用の余裕を残しています。
速度。 文章を書くときは、トークンごとにアクティブな重みをすべて 1 回読み込みます。そのため、メモリ帯域幅をそのバイト数で割った値が 1 つの会話の上限です。llama.cpp の Apple Silicon 公開ベンチマークでは、実際の速度はその約 45%〜80% で、表示しているのはこの範囲です。長いプロンプトの読み込みは計算性能で決まるため、ここには含めていません。
出典。 パラメータ数、コンテキスト長、ライセンスは Hugging Face 上の各公式モデルカード(モデル名からリンク)、メモリと帯域幅は Apple と各メーカーの仕様から。2026-10-19 確認。ご自分の Mac は MLX Bench で測れます。すべての Mac、すべてのモデル、適合表の全体は JSON と CSV で無料ダウンロードできます:オープンデータ。
一覧から探す。 8 GB の M1 から 512 GB の M5 Ultra まで、すべての Mac と動かせるモデル、そしてすべてのモデルと必要な最小の Mac。
動かしてみる。 手順はこちら:Mac で LLM をダウンロードして動かす、MLX・Ollama・llama.cpp の比較、ローカル LLM に最適な Mac。Mac を使っていないあいだは、MLX Token を獲得することもできます。
- LLM が自分の Mac で動くかどうかは、どうすればわかりますか?
- 使いたい精度でのモデルのサイズと、Mac のユニファイドメモリを比べてください。macOS は標準で、その約 75% を GPU に使わせます。さらにモデルにはコンテキスト用の余裕も必要です。4 ビットのモデルなら、パラメータ 10 億あたり 0.5 GB 強が目安です。
- 1 秒あたり何トークン出ますか?
- 文章を書く速さはメモリ帯域幅で決まります。トークンごとに、モデルのアクティブな重みを 1 回読み込むからです。帯域幅をトークンあたりの読み込みバイト数で割った値が 1 つの会話の上限で、実際にはその約 45%〜80% になるのが普通です。
- なぜ Mixture of Experts(MoE)モデルは速いのですか?
- 多数のエキスパートをメモリに持ちながら、トークンごとに使うのはごく一部だけなので、1 トークンで読み込むバイト数がずっと少なくて済みます。メモリはモデル全体の分が必要ですが、速度ははるかに小さなモデル並みになります。
- 4 ビットで十分ですか?
- ほとんどのモデルでは、4 ビットでも元に近い品質を保てます。4 ビットを下回ると品質は急に落ちやすくなるため、4 ビット未満の版には印を付けています。