Wie viel Speicher braucht Llama 3.2 1B Instruct?

Etwa 0,7 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 2,2 GB. Auf einem Mac heißt das 8 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen.

Wie schnell ist Llama 3.2 1B Instruct auf einem Mac?

Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 96 GB, mit etwa 415–738 Tokens pro Sekunde (8 Bit). Der kleinste Mac, der es ausführt, schafft mit 8 GB etwa 35–62 auf dem M3.

Schadet Quantisierung Llama 3.2 1B Instruct?

Mit 4 Bit bleiben die meisten Modelle nah an der Originalqualität; unter 4 Bit sinkt die Qualität schneller. Nimm die höchste Genauigkeit, die mit Reserve auf deinen Mac passt.

Läuft Llama 3.2 1B Instruct auf dem Mac? Speicher und Tempo

Speicher bei jeder Genauigkeit

Version	Gewichte	Mit Kontext	Kleinster Mac
8 Bit	1,3 GB	2,8 GB	8 GB
6 Bit	1 GB	2,5 GB	8 GB
4 Bit	0,7 GB	2,2 GB	8 GB
3 Bit geringere Qualität	0,5 GB	2 GB	8 GB
2 Bit geringere Qualität	0,4 GB	1,9 GB	8 GB

Auf jedem Apple-Chip

Die kleinste Speichergröße jedes Chips, mit der Llama 3.2 1B Instruct läuft, die beste Version, die hineinpasst, und das Schreibtempo, das du erwarten kannst.

Chip	Braucht	Version	Tokens/s
M6	16 GB	8 Bit Läuft gut	53–94
M5 Ultra	96 GB	8 Bit Läuft gut	415–738
M5 Max	36 GB	8 Bit Läuft gut	159–283
M5 Pro	24 GB	8 Bit Läuft gut	106–189
M5	16 GB	8 Bit Läuft gut	53–94
M4 Max	36 GB	8 Bit Läuft gut	142–252
M4 Pro	24 GB	8 Bit Läuft gut	95–168
M4	16 GB	8 Bit Läuft gut	42–74
M3 Ultra	96 GB	8 Bit Läuft gut	284–504
M3 Max	36 GB	8 Bit Läuft gut	104–185
M3 Pro	18 GB	8 Bit Läuft gut	52–92
M3	8 GB	8 Bit Läuft gut	35–62
M2 Ultra	64 GB	8 Bit Läuft gut	277–492
M2 Max	32 GB	8 Bit Läuft gut	138–246
M2 Pro	16 GB	8 Bit Läuft gut	69–123
M2	8 GB	8 Bit Läuft gut	35–62
M1 Ultra	64 GB	8 Bit Läuft gut	277–492
M1 Max	32 GB	8 Bit Läuft gut	138–246
M1 Pro	16 GB	8 Bit Läuft gut	69–123
M1	8 GB	8 Bit Läuft gut	24–42

So führst du es aus

Der einfache Weg: Lade MLX Harness herunter, kostenlos und Open Source. Suche nach Llama 3.2 1B Instruct, lade die Version, die zu deinem Mac passt, und chatte los. MLX Harness stellt das Modell auch deinen anderen Apps über eine OpenAI-kompatible API bereit.MLX Harness herunterladenKostenlos · Apple Silicon · macOS 14.5 oder neuer
Im Terminal mit Apples MLX:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitBuild: mlx-community/Llama-3.2-1B-Instruct-4bit auf Hugging Face. Andere Genauigkeiten liegen gleich daneben.

Schritt für Schritt: LLMs auf den Mac laden und ausführen · So nutzt du MLX Harness · MLX vs. Ollama vs. llama.cpp

Über Llama 3.2 1B Instruct

Von	Meta
Parameter	1,23B (Dense-Modell)
Kontext	128K Tokens
Lizenz	Llama 3.2 Community License
Veröffentlicht	2024-09
Eingabe	Text
Gewichte	meta-llama/Llama-3.2-1B-Instruct

Fragen

Wie viel Speicher braucht Llama 3.2 1B Instruct?: Etwa 0,7 GB für die Gewichte mit 4 Bit, plus Platz für den Kontext: insgesamt 2,2 GB. Auf einem Mac heißt das 8 GB gemeinsamer Arbeitsspeicher oder mehr, denn macOS lässt die GPU standardmäßig etwa 75 % davon nutzen.
Wie schnell ist Llama 3.2 1B Instruct auf einem Mac?: Das Schreibtempo hängt von der Speicherbandbreite ab. Der schnellste Mac dafür ist hier einer mit M5 Ultra und 96 GB, mit etwa 415–738 Tokens pro Sekunde (8 Bit). Der kleinste Mac, der es ausführt, schafft mit 8 GB etwa 35–62 auf dem M3.
Schadet Quantisierung Llama 3.2 1B Instruct?: Mit 4 Bit bleiben die meisten Modelle nah an der Originalqualität; unter 4 Bit sinkt die Qualität schneller. Nimm die höchste Genauigkeit, die mit Reserve auf deinen Mac passt.

Für deine Model Card oder README

Zeigt den kleinsten Mac, der Llama 3.2 1B Instruct gut ausführt, und verlinkt hierher.

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-1b.svg)](https://mlx.app/run/llama-3.2-1b)

So wird gerechnet

Speicher: die Parameter des Modells mit 8, 6, 4, 3 oder 2 Bit pro Gewicht plus die Gruppenskalen von MLX (ein halbes Bit pro Gewicht) oder in seinem nativen Format, dazu Platz für den Kontext. Standardmäßig lässt macOS die GPU etwa 75 % des gemeinsamen Arbeitsspeichers nutzen. Tempo: Speicherbandbreite geteilt durch die pro Token gelesenen Bytes ergibt die Obergrenze für eine Unterhaltung; in den öffentlichen Apple Silicon Benchmarks von llama.cpp erreichen echte Läufe etwa 45 % bis 80 % davon, und diese Spanne zeigen wir. Das sind Schätzungen, keine Messungen: Miss deinen eigenen Mac mit MLX Bench. Modellwerte aus der jeweiligen offiziellen Model Card, Chipwerte aus Apples technischen Daten. Geprüft am 2026-10-19. Dieselben Daten wie auf mlx.app/compare.

Läuft Llama 3.2 1B Instruct auf einem Mac?