Log masukCipta dompet

LLM terbaik untuk Mac 512 GB.

61 daripada 73 model terbuka berjalan baik dalam 512 GB. Secara lalai GPU boleh menggunakan kira-kira 384 GB daripadanya. Kelajuan bergantung pada cip: daripada 819 GB/s pada M3 Ultra hingga 1,200 GB/s pada M5 Ultra.

Paling pintar yang berjalan baikDeepSeek V4.1 Flash 10174-bit · 311 GB · 41–107 tok/sTerbesar yang berjalan baikDeepSeek V4.1 Flash 10174-bit · 311 GB · 41–107 tok/sUntuk kodQwen3 Coder Next8-bit · 85 GB · 115–300 tok/s

Mac dengan 512 GB

2 cip daripada M3 hingga M5 tersedia dengan 512 GB. Buka satu untuk senarai dan kelajuannya sendiri.

Berjalan baik 68

Muat dengan ruang untuk konteks, 10 token sesaat atau lebih pada M5 Ultra.

ModelVersiMemoriM3 UltraM5 Ultra
DeepSeek V4.1 Flash 1017552B · 16B aktif · Kecerdasan 45.14-bit311 GB41–7360–107
GLM-5.3 Flash320B · 18B aktif · Kecerdasan 41.88-bit340 GB19–3428–50
Qwen3.8 Flash Next180B · 6B aktif · Kecerdasan 39.88-bit191 GB58–10284–150
MiMo V2.6 Flash309B · 15B aktif · Kecerdasan 37.94.48-bit asli173 GB44–7864–114
Qwen3.8 27B27B · Kecerdasan 33.78-bit28.7 GB13–2319–33
Beam 1.0501B · 23B aktif · Kecerdasan 30.34-bit282 GB29–5142–74
MiniMax M3428B · 23B aktif · Kecerdasan 29.26-bit348 GB20–3529–51
Inkling Small276B · 12B aktif · Kecerdasan 25.78-bit293 GB29–5142–75
Hy3295B · 21B aktif · Kecerdasan 25.38-bit313 GB17–2924–43
Nemotron 3 Ultra 550B A55B550B · 55B aktif · Kecerdasan 22.94-bit309 GB12–2117–31
Nemotron 3.5 Bolt 74B A9B74B · 9B aktif · Kecerdasan 21.48-bit78.6 GB38–6856–100
Qwen3.5 397B A17B397B · 17B aktif · Kecerdasan 18.46-bit323 GB27–4739–70
Qwen3.6 35B A3B35B · 3B aktif · Kecerdasan 18.28-bit37.2 GB115–205169–300
Muse Glimmer 30B29.6B · Kecerdasan 17.58-bit31.5 GB12–2117–30
Qwen3.5 122B A10B122B · 10B aktif · Kecerdasan 15.68-bit130 GB35–6251–91
Gemma 4 31B30.7B · Kecerdasan 14.78-bit32.6 GB11–2017–29
Nemotron 3.5 Lightning 30B A3B30B · 3B aktif · Kecerdasan 12.98-bit31.9 GB115–205169–300
Granite 4.2 30B30B · Kecerdasan 12.78-bit31.9 GB12–2117–30
MiniCPM5 2B2.52B · Kecerdasan 12.58-bit2.7 GB137–243200–356
gpt-oss-120b117B · 5.1B aktif · Kecerdasan 11.64.25-bit asli65.3 GB137–243200–356
Mistral Small 4 (119B)119B · 6.5B aktif · Kecerdasan 11.38-bit126 GB53–9578–139
Qwen3.5 9B9B · Kecerdasan 11.28-bit9.6 GB38–6856–100
Granite 4.2 8B8B · Kecerdasan 11.18-bit8.5 GB43–7764–113
Llama 4 Maverick 17B-128E Instruct400B · 17B aktif · Kecerdasan 9.36-bit325 GB27–4739–70
Qwen3 Coder Next80B · 3B aktif · Kecerdasan 9.28-bit85 GB115–205169–300
Granite 4.2 3B3B · Kecerdasan 9.18-bit3.2 GB115–205169–300
gpt-oss-20b21B · 3.6B aktif · Kecerdasan 94.25-bit asli13.8 GB194–345284–505
Nemotron 3 Nano 30B A3B30B · 3.5B aktif · Kecerdasan 8.98-bit31.9 GB100–177146–259
Gemma 4 E4B8B · Kecerdasan 8.98-bit8.5 GB77–137113–200
Llama 4 Scout 17B-16E Instruct109B · 17B aktif · Kecerdasan 6.58-bit116 GB20–3630–53
Ministral 3 8B8.9B · Kecerdasan 5.58-bit9.5 GB39–6957–101
Nemotron 3 Nano 4B3.97B · Kecerdasan 4.88-bit4.2 GB88–156129–229
DeepSeek V4 Flash 0731284B · 13B aktif8-bit302 GB27–4739–70
MiniMax M2.7230B · 10B aktif8-bit244 GB35–6251–91
Ornith 1.5 122B122B · 10B aktif8-bit130 GB35–6251–91
Nemotron 3 Super 120B A12B120B · 12B aktif8-bit128 GB29–5142–75
GLM-4.5 Air106B · 12B aktif8-bit113 GB29–5142–75
Llama 3.3 70B Instruct70B4-bit39.4 GB5–914–24
Qwen3 Coder 30B A3B Instruct30.5B · 3.3B aktif8-bit32.4 GB105–187154–274
GLM-4.7 Flash30B · 3B aktif8-bit31.9 GB115–205169–300
Qwen3.6 27B27B8-bit28.7 GB13–2319–33
Gemma 4 26B A4B25.2B · 3.8B aktif8-bit26.8 GB92–164135–240
Devstral Small 2 (24B)24B8-bit25.5 GB14–2621–38
Magistral Small 1.2 (2509)24B8-bit25.5 GB14–2621–38
Mistral Small 3.2 (24B)24B8-bit25.5 GB14–2621–38
LFM2.5 24B A2B24B · 2B aktif8-bit25.5 GB176–312257–457
Phi-4 Reasoning Vision 15B15B8-bit15.9 GB23–4134–60
Phi-4 (14B)14B8-bit14.9 GB25–4436–64
Gemma 4 12B Unified12B8-bit12.7 GB29–5243–76
Qwen3 8B8.2B8-bit8.7 GB42–7562–110
Llama 3.1 8B Instruct8B8-bit8.5 GB43–7764–113
Gemma 4 E2B5.1B8-bit5.4 GB154–273225–400
Qwen3.5 4B4B8-bit4.3 GB86–152126–223
Phi-4 mini instruct3.8B8-bit4 GB92–164135–240
Llama 3.2 3B Instruct3.21B8-bit3.4 GB108–193159–282
SmolLM3 3B3B8-bit3.2 GB115–205169–300
LFM2.5 2.6B2.69B8-bit2.9 GB127–226186–331
Qwen3.5 2B2B8-bit2.1 GB176–312257–457
Llama 3.2 1B Instruct1.23B8-bit1.3 GB284–504415–738
Qwen3.5 0.8B0.8B8-bit0.9 GB410–728600–1067
Qwen3 0.6B0.6B8-bit0.6 GB614–1092900–1600
MiMo V2.6 Pro1,020B · 42B aktif · Kecerdasan 46.32-bit kualiti lebih rendah319 GB28–5041–73
GLM-5.3744B · 40B aktif · Kecerdasan 44.83-bit kualiti lebih rendah326 GB21–3731–55
Muse Spark Open816B · 42B aktif · Kecerdasan 38.92-bit kualiti lebih rendah255 GB28–5041–73
Kimi K2.7 Code1,000B · 32B aktif · Kecerdasan 25.82-bit kualiti lebih rendah313 GB37–6654–96
Inkling975B · 41B aktif · Kecerdasan 252-bit kualiti lebih rendah305 GB29–5142–75
Kimi K2.61,000B · 32B aktif2-bit kualiti lebih rendah313 GB37–6654–96
Mistral Large 3 (675B)675B · 41B aktif3-bit kualiti lebih rendah295 GB21–3730–54

Berjalan, tetapi perlahan 2

Muat, tetapi di bawah 10 token sesaat: sesuai untuk kerja kelompok, perlahan untuk sembang.

ModelVersiMemoriM3 UltraM5 Ultra
Mistral Medium 3.5 (128B)128B · Kecerdasan 14.28-bit136 GB3–54–7
Devstral 2 (123B)123B8-bit131 GB3–54–7

Terlalu besar 3

Memerlukan lebih daripada 512 GB memori, walaupun pada 2 bit.

Soalan

Apakah LLM terbaik untuk Mac dengan 512 GB?
Antara model yang mempunyai skor Intelligence Index yang diterbitkan, DeepSeek V4.1 Flash 1017 mendapat skor tertinggi dalam kalangan yang berjalan baik dalam 512 GB (4-bit). Untuk kod: Qwen3 Coder Next.
Adakah 512 GB cukup untuk AI tempatan pada Mac?
61 daripada 73 model terbuka di sini berjalan baik di dalamnya pada 4 bit atau lebih baik. Secara lalai macOS membenarkan GPU menggunakan kira-kira 384 GB daripadanya; model dan konteksnya mesti muat di situ.
Bolehkah Mac 512 GB menjalankan gpt-oss-20b?
Ya, 4.25-bit asli, kira-kira 194–345 token sesaat pada M3 Ultra dan 284–505 pada M5 Ultra.

Saiz lain: 8 GB · 16 GB · 18 GB · 24 GB · 32 GB · 36 GB · 48 GB · 64 GB · 96 GB · 128 GB · 192 GB · 256 GB · 512 GB

Jalankan dengan MLX Harness (percuma, sumber terbuka) atau mlx-lm daripada Apple dalam Terminal: langkah demi langkah.

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

LLM tempatan terbaik untuk Mac 512 GB (M3 hingga M5)