Llama 3.2 1B Instruct は Mac で動く?

はい、8 GB 以上のユニファイドメモリがあれば動きます。Llama 3.2 1B Instruct のパラメータ数は 1.23B。精度ごとに必要なメモリと、各 Apple チップでの速度をまとめました。

4ビット のメモリ2.2 GB重み 0.7 GB + コンテキスト
最小構成の Mac8 GB8ビット · 58 通りの Mac 構成
最速の Mac415–738トークン/秒 · M5 Ultra 96 GB(推定)

精度ごとのメモリ

バージョン重みコンテキスト込み最小構成の Mac
8ビット1.3 GB2.8 GB8 GB
6ビット1 GB2.5 GB8 GB
4ビット0.7 GB2.2 GB8 GB
3ビット 品質低め0.5 GB2 GB8 GB
2ビット 品質低め0.4 GB1.9 GB8 GB

すべての Apple チップで

各チップで Llama 3.2 1B Instruct が動く最小のメモリ容量、そこに収まる最適なバージョン、期待できる生成速度です。

チップ必要量バージョントークン/秒
M616 GB8ビット 快適53–94
M5 Ultra96 GB8ビット 快適415–738
M5 Max36 GB8ビット 快適159–283
M5 Pro24 GB8ビット 快適106–189
M516 GB8ビット 快適53–94
M4 Max36 GB8ビット 快適142–252
M4 Pro24 GB8ビット 快適95–168
M416 GB8ビット 快適42–74
M3 Ultra96 GB8ビット 快適284–504
M3 Max36 GB8ビット 快適104–185
M3 Pro18 GB8ビット 快適52–92
M38 GB8ビット 快適35–62
M2 Ultra64 GB8ビット 快適277–492
M2 Max32 GB8ビット 快適138–246
M2 Pro16 GB8ビット 快適69–123
M28 GB8ビット 快適35–62
M1 Ultra64 GB8ビット 快適277–492
M1 Max32 GB8ビット 快適138–246
M1 Pro16 GB8ビット 快適69–123
M18 GB8ビット 快適24–42

動かし方

  1. いちばん簡単な方法:無料でオープンソースの MLX Harness をダウンロードします。Llama 3.2 1B Instruct を検索し、お使いの Mac に合うバージョンをダウンロードすれば、すぐにチャットできます。OpenAI 互換 API で、ほかのアプリにモデルを提供することもできます。MLX Harness をダウンロード無料 · Apple Silicon · macOS 14.5 以降
  2. ターミナルで Apple の MLX を使う:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitビルド:Hugging Face の mlx-community/Llama-3.2-1B-Instruct-4bit。ほかの精度も同じ場所にあります。

手順:Mac で LLM をダウンロードして動かす · MLX Harness の使い方 · MLX、Ollama、llama.cpp の比較

Llama 3.2 1B Instruct について

開発元Meta
パラメータ1.23B(Dense)
コンテキスト128K トークン
ライセンスLlama 3.2 Community License
公開日2024-09
入力テキスト
重みmeta-llama/Llama-3.2-1B-Instruct

よくある質問

Llama 3.2 1B Instruct にはどれくらいのメモリが必要?
4ビット で重みが約 0.7 GB、これにコンテキスト用の余裕を足して合計 2.2 GB です。macOS は標準でユニファイドメモリの約 75% を GPU に使わせるため、Mac では 8 GB 以上のユニファイドメモリが必要です。
Llama 3.2 1B Instruct は Mac でどれくらい速い?
生成速度はメモリ帯域幅で決まります。ここで最速なのは 96 GB の M5 Ultra で、毎秒約 415–738 トークン(8ビット)。動かせる最小構成は 8 GB の M3 で、毎秒約 35–62 トークンです。
量子化で Llama 3.2 1B Instruct の品質は落ちる?
4 ビットなら、ほとんどのモデルは元の品質に近いままです。4 ビットを下回ると品質は急に落ちます。お使いの Mac に余裕をもって収まる、いちばん高い精度を選んでください。

似たモデル

すべてのモデル · すべての Mac · お使いの Mac を比較

モデルカードや README に

Runs on a Mac: Llama 3.2 1B Instruct Llama 3.2 1B Instruct が快適に動く最小構成の Mac を表示し、このページにリンクします。

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-1b.svg)](https://mlx.app/run/llama-3.2-1b)

計算方法

メモリ:モデルのパラメータを重みあたり 8、6、4、3、2 ビットで計算し、MLX のグループスケール(重みあたり 0.5 ビット)を加えたもの、またはネイティブ形式のサイズに、コンテキスト用の余裕を足しています。macOS は標準で、ユニファイドメモリの約 75% を GPU に使わせます。速度:メモリ帯域幅をトークンあたりの読み込みバイト数で割った値が、1 つの会話の上限です。llama.cpp の Apple Silicon 公開ベンチマークでは、実際の速度はその約 45%〜80% に達しており、その範囲を表示しています。これは実測ではなく推定です。ご自分の Mac は MLX Bench で測れます。モデルの数値は各公式モデルカード、チップの数値は Apple の技術仕様から。2026-10-19 確認。mlx.app/compare と同じデータです。

Llama 3.2 1B Instruct は Mac で動く?全 Apple チップのメモリと速度