Berapakah memori yang diperlukan oleh Gemma 4 26B A4B?

Kira-kira 14.2 GB pemberat pada 4-bit, serta ruang untuk konteks: 15.7 GB kesemuanya. Pada Mac, ini bermakna 24 GB memori bersatu atau lebih, kerana secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya.

Sepantas mana Gemma 4 26B A4B pada Mac?

Kelajuan menulis bergantung pada lebar jalur memori. Mac terpantas untuknya di sini ialah M5 Ultra dengan 96 GB, kira-kira 135–240 token sesaat (8-bit). Mac terkecil yang menjalankannya, dengan 24 GB, mencapai kira-kira 66–117 pada M5 Pro.

Mengapakah Gemma 4 26B A4B berjalan lebih pantas daripada saiznya?

Ia model mixture-of-experts: ia menyimpan 25.2B parameter dalam memori tetapi hanya membaca 3.8B bagi setiap token, jadi ia menulis sepantas model yang jauh lebih kecil.

Bolehkah Mac jalankan Gemma 4 26B A4B? RAM, kelajuan

Memori pada setiap kepersisan

Versi	Pemberat	Dengan konteks	Mac terkecil
8-bit	26.8 GB	28.9 GB	48 GB
6-bit	20.5 GB	22.1 GB	32 GB
4-bit	14.2 GB	15.7 GB	24 GB
3-bit kualiti lebih rendah	11 GB	12.5 GB	18 GB
2-bit kualiti lebih rendah	7.9 GB	9.4 GB	16 GB

Pada setiap cip Apple

Saiz memori terkecil setiap cip yang menjalankan Gemma 4 26B A4B, versi terbaik yang muat, dan kelajuan menulis yang boleh anda jangkakan.

Cip	Perlu	Versi	Token/s
M6	24 GB	4-bit Berjalan baik	36–65
M5 Ultra	96 GB	8-bit Berjalan baik	135–240
M5 Max	36 GB	6-bit Berjalan baik	67–119
M5 Pro	24 GB	4-bit Berjalan baik	66–117
M5	24 GB	4-bit Berjalan baik	33–58
M4 Max	36 GB	6-bit Berjalan baik	60–106
M4 Pro	24 GB	4-bit Berjalan baik	59–104
M4	24 GB	4-bit Berjalan baik	26–46
M3 Ultra	96 GB	8-bit Berjalan baik	92–164
M3 Max	36 GB	6-bit Berjalan baik	44–77
M3 Pro	36 GB	6-bit Berjalan baik	22–39
M3	24 GB	4-bit Berjalan baik	21–38
M2 Ultra	64 GB	8-bit Berjalan baik	90–160
M2 Max	32 GB	6-bit Berjalan baik	58–103
M2 Pro	32 GB	6-bit Berjalan baik	29–52
M2	24 GB	4-bit Berjalan baik	21–38
M1 Ultra	64 GB	8-bit Berjalan baik	90–160
M1 Max	32 GB	6-bit Berjalan baik	58–103
M1 Pro	32 GB	6-bit Berjalan baik	29–52
M1	16 GB	2-bit Berjalan baik	26–45

Cara menjalankannya

Cara mudah: muat turun MLX Harness, percuma dan sumber terbuka. Cari Gemma 4 26B A4B, muat turun versi yang sesuai dengan Mac anda, dan mula bersembang. Ia juga menyediakan model kepada aplikasi anda yang lain melalui API yang serasi dengan OpenAI.Muat turun MLX HarnessPercuma · Apple Silicon · macOS 14.5 atau lebih baharu
Dalam Terminal dengan MLX daripada Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/gemma-4-26b-a4b-it-4bitBinaan: mlx-community/gemma-4-26b-a4b-it-4bit di Hugging Face. Kepersisan lain ada di sebelahnya.

Langkah demi langkah: muat turun dan jalankan LLM pada Mac · cara menggunakan MLX Harness · MLX vs Ollama vs llama.cpp

Tentang Gemma 4 26B A4B

Dibuat oleh	Google DeepMind
Parameter	25.2B jumlah · 3.8B aktif (mixture of experts)
Konteks	256K token
Lesen	Apache-2.0
Dikeluarkan	2026-03
Input	Teks dan imej
Pemberat	google/gemma-4-26B-A4B-it

Soalan

Berapakah memori yang diperlukan oleh Gemma 4 26B A4B?: Kira-kira 14.2 GB pemberat pada 4-bit, serta ruang untuk konteks: 15.7 GB kesemuanya. Pada Mac, ini bermakna 24 GB memori bersatu atau lebih, kerana secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya.
Sepantas mana Gemma 4 26B A4B pada Mac?: Kelajuan menulis bergantung pada lebar jalur memori. Mac terpantas untuknya di sini ialah M5 Ultra dengan 96 GB, kira-kira 135–240 token sesaat (8-bit). Mac terkecil yang menjalankannya, dengan 24 GB, mencapai kira-kira 66–117 pada M5 Pro.
Mengapakah Gemma 4 26B A4B berjalan lebih pantas daripada saiznya?: Ia model mixture-of-experts: ia menyimpan 25.2B parameter dalam memori tetapi hanya membaca 3.8B bagi setiap token, jadi ia menulis sepantas model yang jauh lebih kecil.

Model serupa

Semua model · Semua Mac · Bandingkan Mac anda

Untuk kad model atau README anda

Menunjukkan Mac terkecil yang menjalankan Gemma 4 26B A4B dengan baik dan memaut ke sini.

[![Runs on a Mac](https://mlx.app/badge/run/gemma-4-26b-a4b.svg)](https://mlx.app/run/gemma-4-26b-a4b)

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.