Bagaimana saya tahu apakah sebuah LLM bisa jalan di Mac saya?

Bandingkan ukuran model pada presisi yang kamu inginkan dengan memori terpadu Mac kamu. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% darinya, dan model juga butuh ruang untuk konteksnya. Model 4-bit butuh sedikit lebih dari setengah gigabyte per satu miliar parameter.

Berapa token per detik yang akan saya dapat?

Kecepatan menulis dibatasi oleh bandwidth memori: setiap token membaca bobot aktif model sekali. Bandwidth dibagi byte yang dibaca per token adalah batas atas untuk satu percakapan; pada praktiknya biasanya tercapai sekitar 45% hingga 80% darinya.

Kenapa model mixture-of-experts (MoE) berjalan lebih cepat?

Model ini menyimpan banyak expert di memori, tetapi hanya memakai beberapa untuk tiap token, sehingga tiap token membaca jauh lebih sedikit byte. Memori yang dibutuhkan tetap untuk seluruh model, tetapi kecepatannya setara model yang jauh lebih kecil.

Apakah 4-bit sudah cukup?

Untuk sebagian besar model, 4-bit menjaga kualitas tetap dekat dengan aslinya. Di bawah 4 bit kualitas turun lebih cepat, karena itu versi di bawah 4 bit diberi tanda.

Apa yang bisa dijalankan Mac kamu?

Pilih Mac kamu, atau mesin lain apa pun, dan lihat model AI terbuka mana yang muat di memorinya dan seberapa cepat mesin itu menjalankannya. Dihitung dari kartu tiap model serta memori dan bandwidth yang dipublikasikan untuk tiap chip.

Mesin kamu

Apple M5 dengan 16 GB: secara bawaan sekitar 12 GB untuk model, bandwidth memori 153 GB/s. 20 dari 43 model populer bisa jalan di sini. Halamannya Terukur: 32 token/detik dengan Llama 2 7B 4-bit di llama.cpp (M5 (10-core GPU)).

Berjalan baik Muat dengan ruang untuk konteks, 10 token per detik atau lebih.

Gemma 4 E4BGoogle DeepMind · 2026-03 · konteks 128K · gambarKecerdasan 8,9Kartu model Versi MLX8B8-bit8,5 GB Muat14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · konteks 256K · gambarKartu model Versi MLX4B8-bit4,3 GB Muat16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · konteks 128KKartu model Versi MLX3,21B8-bit3,4 GB Muat20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · konteks 64KKartu model Versi MLX3B8-bit3,2 GB Muat22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · konteks 256K · gambarKartu model Versi MLX0,8B8-bit0,9 GB Muat77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · konteks 256KKecerdasan 12,9Kartu model Versi MLX30B · 3B aktif2-bit kualitas lebih rendah9,4 GB Muat77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · konteks 128KKecerdasan 9Kartu model Versi MLX21B · 3,6B aktif3-bit kualitas lebih rendah9,2 GB Muat43–77 tok/s

Dirilis dalam format low-bit bawaan: bobot sekitar 14 GB.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · konteks 256KKartu model Versi MLX30,5B · 3,3B aktif2-bit kualitas lebih rendah9,5 GB Muat69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · konteks 198KKartu model Versi MLX30B · 3B aktif2-bit kualitas lebih rendah9,4 GB Muat77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · konteks 256K · gambarKartu model Versi MLX25,2B · 3,8B aktif2-bit kualitas lebih rendah7,9 GB Muat57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · konteks 128KKartu model Versi MLX24B · 2B aktif3-bit kualitas lebih rendah10,5 GB Muat77–136 tok/s

Berjalan, tapi lambat Muat, tapi di bawah 10 token per detik: cocok untuk pekerjaan batch, lambat untuk chat.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · konteks 256K · gambarKecerdasan 11,2Kartu model Versi MLX9B8-bit9,6 GB Muat7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · konteks 128KKecerdasan 11,1Kartu model8B8-bit8,5 GB Muat8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · konteks 16KKartu model Versi MLX14B4-bit7,9 GB Muat9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · konteks 256K · gambarKartu model Versi MLX12B6-bit9,7 GB Muat7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · konteks 128KKartu model Versi MLX8B8-bit8,5 GB Muat8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · konteks 256K · gambarKecerdasan 33,7Kartu model Versi MLX27B2-bit kualitas lebih rendah8,4 GB Muat8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · konteks 128K · gambarKecerdasan 17,5Kartu model Versi MLX29,6B2-bit kualitas lebih rendah9,3 GB Muat7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · konteks 256K · gambarKecerdasan 14,7Kartu model Versi MLX30,7B2-bit kualitas lebih rendah9,6 GB Muat7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · konteks 256K · gambarKartu model Versi MLX24B3-bit kualitas lebih rendah10,5 GB Muat7–12 tok/s

Pas-pasan muat Butuh hampir seluruh memori: naikkan batas memori GPU dan buat konteks tetap pendek.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · konteks 256K · gambarKecerdasan 18,2Kartu model Versi MLX35B · 3B aktif2-bit kualitas lebih rendah10,9 GB Pas-pasan77–136 tok/s

Kecerdasan: Artificial Analysis Intelligence Index v4.3.2, jika sudah diukur. Nama model menaut ke kartu resminya.

Cara menghitungnya

Memori. Tiap model ditampilkan pada presisi tertinggi yang muat: 8, 6, 4, 3, atau 2 bit per bobot, ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya jika dirilis dalam format itu. Di Mac, GPU secara bawaan bisa memakai sekitar 75% memori terpadu; di atasnya kami sisakan ruang untuk konteks.

Kecepatan. Saat menulis, setiap token membaca semua bobot aktif sekali, jadi bandwidth memori dibagi jumlah byte itu adalah batas atas untuk satu percakapan. Dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Membaca prompt panjang dibatasi oleh daya komputasi, jadi tidak ditampilkan.

Sumber. Parameter, konteks, dan lisensi diambil dari kartu resmi tiap model di Hugging Face (ditautkan dari namanya); memori dan bandwidth dari spesifikasi Apple dan para pembuatnya. Diperiksa 2026-10-19. Ukur Mac kamu sendiri di MLX Bench. Semua Mac, semua model, dan tabel kecocokan lengkap bisa diunduh gratis dalam JSON dan CSV: data terbuka.

Jelajahi. Semua Mac, dari M1 8 GB hingga M5 Ultra 512 GB, beserta setiap model yang bisa dijalankannya, dan semua model beserta Mac terkecil yang dibutuhkan.

Jalankan. Langkah demi langkah: mengunduh dan menjalankan LLM di Mac, MLX vs Ollama vs llama.cpp, dan Mac terbaik untuk LLM lokal. Saat Mac kamu menganggur, ia bisa menghasilkan MLX Token.

Bagaimana saya tahu apakah sebuah LLM bisa jalan di Mac saya?: Bandingkan ukuran model pada presisi yang kamu inginkan dengan memori terpadu Mac kamu. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% darinya, dan model juga butuh ruang untuk konteksnya. Model 4-bit butuh sedikit lebih dari setengah gigabyte per satu miliar parameter.
Berapa token per detik yang akan saya dapat?: Kecepatan menulis dibatasi oleh bandwidth memori: setiap token membaca bobot aktif model sekali. Bandwidth dibagi byte yang dibaca per token adalah batas atas untuk satu percakapan; pada praktiknya biasanya tercapai sekitar 45% hingga 80% darinya.
Kenapa model mixture-of-experts (MoE) berjalan lebih cepat?: Model ini menyimpan banyak expert di memori, tetapi hanya memakai beberapa untuk tiap token, sehingga tiap token membaca jauh lebih sedikit byte. Memori yang dibutuhkan tetap untuk seluruh model, tetapi kecepatannya setara model yang jauh lebih kecil.
Apakah 4-bit sudah cukup?: Untuk sebagian besar model, 4-bit menjaga kualitas tetap dekat dengan aslinya. Di bawah 4 bit kualitas turun lebih cepat, karena itu versi di bawah 4 bit diberi tanda.