Bagaimana saya tahu sama ada LLM boleh berjalan pada Mac saya?

Bandingkan saiz model pada ketepatan yang anda mahu dengan memori bersatu Mac anda. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya, dan model juga memerlukan ruang untuk konteksnya. Model 4-bit memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter.

Berapa token sesaat yang akan saya dapat?

Penulisan dihadkan oleh lebar jalur memori: setiap token membaca pemberat aktif model sekali. Lebar jalur dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; larian sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya.

Mengapa model mixture-of-experts (MoE) berjalan lebih pantas?

Model ini menyimpan banyak pakar dalam memori tetapi hanya menggunakan beberapa untuk setiap token, jadi setiap token membaca jauh lebih sedikit bait. Ia memerlukan memori untuk seluruh model, tetapi berjalan sepantas model yang jauh lebih kecil.

Adakah 4-bit sudah memadai?

Bagi kebanyakan model, 4-bit mengekalkan kualiti hampir dengan yang asal. Di bawah 4 bit kualiti jatuh lebih cepat, sebab itu versi di bawah 4 bit ditanda.

Apa yang boleh dijalankan oleh Mac anda?

Pilih Mac anda, atau mana-mana mesin lain, dan lihat model AI terbuka mana yang muat dalam memorinya dan sepantas mana ia menjalankannya. Dikira daripada kad setiap model serta memori dan lebar jalur yang diterbitkan bagi setiap cip.

Mesin anda

Apple M5 dengan 16 GB: kira-kira 12 GB untuk model secara lalai, lebar jalur memori 153 GB/s. 20 daripada 43 model popular berjalan padanya. Halamannya Diukur: 32 token/s dengan Llama 2 7B pada 4 bit dalam llama.cpp (M5 (10-core GPU)).

Berjalan baik Muat dengan ruang untuk konteks, 10 token sesaat atau lebih.

Gemma 4 E4BGoogle DeepMind · 2026-03 · konteks 128K · imejKecerdasan 8.9Kad model Versi MLX8B8-bit8.5 GB Muat14–26 tok/s

Qwen3.5 4BQwen (Alibaba) · 2026-02 · konteks 256K · imejKad model Versi MLX4B8-bit4.3 GB Muat16–28 tok/s

Llama 3.2 3B InstructMeta · 2024-09 · konteks 128KKad model Versi MLX3.21B8-bit3.4 GB Muat20–36 tok/s

SmolLM3 3BHugging Face · 2025-07 · konteks 64KKad model Versi MLX3B8-bit3.2 GB Muat22–38 tok/s

Qwen3.5 0.8BQwen (Alibaba) · 2026-02 · konteks 256K · imejKad model Versi MLX0.8B8-bit0.9 GB Muat77–136 tok/s

Nemotron 3.5 Lightning 30B A3BNVIDIA · 2026-08 · konteks 256KKecerdasan 12.9Kad model Versi MLX30B · 3B aktif2-bit kualiti lebih rendah9.4 GB Muat77–136 tok/s

gpt-oss-20bOpenAI · 2025-08 · konteks 128KKecerdasan 9Kad model Versi MLX21B · 3.6B aktif3-bit kualiti lebih rendah9.2 GB Muat43–77 tok/s

Dikeluarkan dalam format bit rendah asli: kira-kira 14 GB pemberat.

Qwen3 Coder 30B A3B InstructQwen (Alibaba) · 2025-07 · konteks 256KKad model Versi MLX30.5B · 3.3B aktif2-bit kualiti lebih rendah9.5 GB Muat69–122 tok/s

GLM-4.7 FlashZ.ai (Zhipu) · 2026-01 · konteks 198KKad model Versi MLX30B · 3B aktif2-bit kualiti lebih rendah9.4 GB Muat77–136 tok/s

Gemma 4 26B A4BGoogle DeepMind · 2026-03 · konteks 256K · imejKad model Versi MLX25.2B · 3.8B aktif2-bit kualiti lebih rendah7.9 GB Muat57–102 tok/s

LFM2.5 24B A2BLiquid AI · 2026-10 · konteks 128KKad model Versi MLX24B · 2B aktif3-bit kualiti lebih rendah10.5 GB Muat77–136 tok/s

Berjalan, tetapi perlahan Muat, tetapi di bawah 10 token sesaat: sesuai untuk kerja kelompok, perlahan untuk sembang.

Qwen3.5 9BQwen (Alibaba) · 2026-02 · konteks 256K · imejKecerdasan 11.2Kad model Versi MLX9B8-bit9.6 GB Muat7–13 tok/s

Granite 4.2 8BIBM · 2026-08 · konteks 128KKecerdasan 11.1Kad model8B8-bit8.5 GB Muat8–14 tok/s

Phi-4 (14B)Microsoft · 2024-12 · konteks 16KKad model Versi MLX14B4-bit7.9 GB Muat9–15 tok/s

Gemma 4 12B UnifiedGoogle DeepMind · 2026-05 · konteks 256K · imejKad model Versi MLX12B6-bit9.7 GB Muat7–13 tok/s

Llama 3.1 8B InstructMeta · 2024-07 · konteks 128KKad model Versi MLX8B8-bit8.5 GB Muat8–14 tok/s

Qwen3.8 27BQwen (Alibaba) · 2026-08 · konteks 256K · imejKecerdasan 33.7Kad model Versi MLX27B2-bit kualiti lebih rendah8.4 GB Muat8–15 tok/s

Muse Glimmer 30BMeta (Meta Superintelligence Lab) · 2026-08 · konteks 128K · imejKecerdasan 17.5Kad model Versi MLX29.6B2-bit kualiti lebih rendah9.3 GB Muat7–13 tok/s

Gemma 4 31BGoogle DeepMind · 2026-03 · konteks 256K · imejKecerdasan 14.7Kad model Versi MLX30.7B2-bit kualiti lebih rendah9.6 GB Muat7–13 tok/s

Devstral Small 2 (24B)Mistral AI · 2025-11 · konteks 256K · imejKad model Versi MLX24B3-bit kualiti lebih rendah10.5 GB Muat7–12 tok/s

Cukup-cukup muat Memerlukan hampir semua memori: naikkan had memori GPU dan pastikan konteks pendek.

Qwen3.6 35B A3BQwen (Alibaba) · 2026-04 · konteks 256K · imejKecerdasan 18.2Kad model Versi MLX35B · 3B aktif2-bit kualiti lebih rendah10.9 GB Cukup-cukup muat77–136 tok/s

Kecerdasan: Artificial Analysis Intelligence Index v4.3.2, jika diukur. Nama model dipautkan ke kad rasminya.

Cara ia dikira

Memori. Setiap model ditunjukkan pada ketepatan tertinggi yang muat: 8, 6, 4, 3 atau 2 bit setiap pemberat, serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya jika ia dikeluarkan begitu. Pada Mac, GPU boleh menggunakan kira-kira 75% memori bersatu secara lalai; di atasnya kami tinggalkan ruang untuk konteks.

Kelajuan. Semasa menulis, setiap token membaca semua pemberat aktif sekali, jadi lebar jalur memori dibahagikan dengan bait itu ialah had atas untuk satu perbualan. Dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Membaca prompt panjang pula dihadkan oleh kuasa pengkomputeran dan tidak ditunjukkan.

Sumber. Parameter, konteks dan lesen diambil daripada kad rasmi setiap model di Hugging Face (dipautkan daripada namanya); memori dan lebar jalur daripada spesifikasi Apple dan pengeluar. Disemak 2026-10-19. Ukur Mac anda sendiri di MLX Bench. Setiap Mac, setiap model dan jadual padanan penuh boleh dimuat turun secara percuma dalam JSON dan CSV: data terbuka.

Layari. Setiap Mac, daripada M1 8 GB hingga M5 Ultra 512 GB, dengan setiap model yang boleh dijalankannya, dan setiap model dengan Mac terkecil yang diperlukannya.

Jalankan. Langkah demi langkah: muat turun dan jalankan LLM pada Mac, MLX lwn Ollama lwn llama.cpp dan Mac terbaik untuk LLM setempat. Semasa Mac anda terbiar, ia boleh memperoleh MLX Token.

Bagaimana saya tahu sama ada LLM boleh berjalan pada Mac saya?: Bandingkan saiz model pada ketepatan yang anda mahu dengan memori bersatu Mac anda. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya, dan model juga memerlukan ruang untuk konteksnya. Model 4-bit memerlukan sedikit lebih daripada setengah gigabait bagi setiap bilion parameter.
Berapa token sesaat yang akan saya dapat?: Penulisan dihadkan oleh lebar jalur memori: setiap token membaca pemberat aktif model sekali. Lebar jalur dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; larian sebenar biasanya mencapai kira-kira 45% hingga 80% daripadanya.
Mengapa model mixture-of-experts (MoE) berjalan lebih pantas?: Model ini menyimpan banyak pakar dalam memori tetapi hanya menggunakan beberapa untuk setiap token, jadi setiap token membaca jauh lebih sedikit bait. Ia memerlukan memori untuk seluruh model, tetapi berjalan sepantas model yang jauh lebih kecil.
Adakah 4-bit sudah memadai?: Bagi kebanyakan model, 4-bit mengekalkan kualiti hampir dengan yang asal. Di bawah 4 bit kualiti jatuh lebih cepat, sebab itu versi di bawah 4 bit ditanda.