Apakah LLM terbaik untuk Mac dengan 8 GB?

Antara model yang mempunyai skor Intelligence Index yang diterbitkan, MiniCPM5 2B mendapat skor tertinggi dalam kalangan yang berjalan baik dalam 8 GB (8-bit). Yang terbesar yang berjalan baik ialah Granite 4.2 8B.

Adakah 8 GB cukup untuk AI tempatan pada Mac?

16 daripada 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara lalai macOS membenarkan GPU menggunakan kira-kira 6 GB daripadanya; model dan konteksnya mesti muat di situ.

Bolehkah Mac 8 GB menjalankan gpt-oss-20b?

Tidak: ia memerlukan lebih daripada 6 GB yang boleh digunakan GPU secara lalai.

LLM tempatan terbaik untuk Mac 8 GB (M1 hingga M3)

Mac dengan 8 GB

3 cip daripada M1 hingga M3 tersedia dengan 8 GB. Buka satu untuk senarai dan kelajuannya sendiri.

Berjalan baik 21

Muat dengan ruang untuk konteks, 10 token sesaat atau lebih pada M2.

Model	Versi	Memori	M1	M2
MiniCPM5 2B2.52B · Kecerdasan 12.5	8-bit	2.7 GB	11–20	17–30
Granite 4.2 8B8B · Kecerdasan 11.1	4-bit	4.5 GB	7–12	10–18
Granite 4.2 3B3B · Kecerdasan 9.1	8-bit	3.2 GB	10–17	14–25
Gemma 4 E4B8B · Kecerdasan 8.9	4-bit	4.5 GB	12–22	18–32
Nemotron 3 Nano 4B3.97B · Kecerdasan 4.8	8-bit	4.2 GB	10–17	11–19
Llama 3.1 8B Instruct8B	4-bit	4.5 GB	7–12	10–18
Gemma 4 E2B5.1B	6-bit	4.1 GB	16–29	24–42
Qwen3.5 4B4B	8-bit	4.3 GB	13–24	10–19
Phi-4 mini instruct3.8B	8-bit	4 GB	10–18	11–20
Llama 3.2 3B Instruct3.21B	8-bit	3.4 GB	12–21	13–24
SmolLM3 3B3B	8-bit	3.2 GB	10–17	14–25
LFM2.5 2.6B2.69B	8-bit	2.9 GB	11–19	16–28
Qwen3.5 2B2B	8-bit	2.1 GB	15–26	21–38
Llama 3.2 1B Instruct1.23B	8-bit	1.3 GB	24–42	35–62
Qwen3.5 0.8B0.8B	8-bit	0.9 GB	34–60	50–89
Qwen3 0.6B0.6B	8-bit	0.6 GB	51–91	75–133
Qwen3.5 9B9B · Kecerdasan 11.2	3-bit kualiti lebih rendah	3.9 GB	8–14	12–21
Ministral 3 8B8.9B · Kecerdasan 5.5	3-bit kualiti lebih rendah	3.9 GB	8–14	12–21
Phi-4 (14B)14B	2-bit kualiti lebih rendah	4.4 GB	7–12	10–18
Gemma 4 12B Unified12B	2-bit kualiti lebih rendah	3.7 GB	8–15	12–22
Qwen3 8B8.2B	3-bit kualiti lebih rendah	3.6 GB	9–15	13–22

Cukup-cukup muat 1

Memerlukan hampir semua memori: naikkan had memori GPU dan pastikan konteks pendek.

Model	Versi	Memori	M1	M2
Phi-4 Reasoning Vision 15B15B	2-bit kualiti lebih rendah	4.7 GB	7–12	10–17

Terlalu besar 51

Memerlukan lebih daripada 8 GB memori, walaupun pada 2 bit.

Soalan

Apakah LLM terbaik untuk Mac dengan 8 GB?: Antara model yang mempunyai skor Intelligence Index yang diterbitkan, MiniCPM5 2B mendapat skor tertinggi dalam kalangan yang berjalan baik dalam 8 GB (8-bit). Yang terbesar yang berjalan baik ialah Granite 4.2 8B.
Adakah 8 GB cukup untuk AI tempatan pada Mac?: 16 daripada 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara lalai macOS membenarkan GPU menggunakan kira-kira 6 GB daripadanya; model dan konteksnya mesti muat di situ.
Bolehkah Mac 8 GB menjalankan gpt-oss-20b?: Tidak: ia memerlukan lebih daripada 6 GB yang boleh digunakan GPU secara lalai.

Saiz lain: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Jalankan dengan MLX Harness (percuma, sumber terbuka) atau mlx-lm daripada Apple dalam Terminal: langkah demi langkah.

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.