Memori di setiap presisi
| Versi | Bobot | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 8,5 GB | 10 GB | 16 GB |
| 6-bit | 6,5 GB | 8 GB | 16 GB |
| 4-bit | 4,5 GB | 6 GB | 8 GB |
| 3-bit kualitas lebih rendah | 3,5 GB | 5 GB | 8 GB |
| 2-bit kualitas lebih rendah | 2,5 GB | 4 GB | 8 GB |
Di setiap chip Apple
Ukuran memori terkecil setiap chip yang bisa menjalankan Granite 4.2 8B, versi terbaik yang muat, dan kecepatan menulis yang bisa Anda harapkan.
| Chip | Butuh | Versi | Token/s |
|---|---|---|---|
| M6 | 16 GB | 6-bit Berjalan baik | 11–19 |
| M5 Ultra | 96 GB | 8-bit Berjalan baik | 64–113 |
| M5 Max | 36 GB | 8-bit Berjalan baik | 24–43 |
| M5 Pro | 24 GB | 8-bit Berjalan baik | 16–29 |
| M5 | 16 GB | 6-bit Berjalan baik | 11–19 |
| M4 Max | 36 GB | 8-bit Berjalan baik | 22–39 |
| M4 Pro | 24 GB | 8-bit Berjalan baik | 14–26 |
| M4 | 16 GB | 4-bit Berjalan baik | 12–21 |
| M3 Ultra | 96 GB | 8-bit Berjalan baik | 43–77 |
| M3 Max | 36 GB | 8-bit Berjalan baik | 16–28 |
| M3 Pro | 18 GB | 6-bit Berjalan baik | 10–18 |
| M3 | 8 GB | 4-bit Berjalan baik | 10–18 |
| M2 Ultra | 64 GB | 8-bit Berjalan baik | 42–75 |
| M2 Max | 32 GB | 8-bit Berjalan baik | 21–38 |
| M2 Pro | 16 GB | 8-bit Berjalan baik | 11–19 |
| M2 | 8 GB | 4-bit Berjalan baik | 10–18 |
| M1 Ultra | 64 GB | 8-bit Berjalan baik | 42–75 |
| M1 Max | 32 GB | 8-bit Berjalan baik | 21–38 |
| M1 Pro | 16 GB | 8-bit Berjalan baik | 11–19 |
| M1 | 8 GB | 4-bit Lambat | 7–12 |
Cara menjalankannya
- Cara mudah: unduh MLX Harness, gratis dan open source. Cari Granite 4.2 8B, unduh versi yang cocok untuk Mac Anda, lalu mulai chat. Aplikasi ini juga menyajikan model ke aplikasi Anda yang lain melalui API yang kompatibel dengan OpenAI.Unduh MLX HarnessGratis · Apple Silicon · macOS 14.5 atau lebih baru
- Di Terminal dengan MLX dari Apple: Belum ada build MLX dari komunitas, jadi buat sendiri dari bobot resmi:
pip install mlx-lmmlx_lm.convert --hf-path ibm-granite/granite-4.2-8b -q
Langkah demi langkah: unduh dan jalankan LLM di Mac · cara memakai MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Granite 4.2 8B
| Dibuat oleh | IBM |
|---|---|
| Parameter | 8B (dense) |
| Konteks | 128K token |
| Lisensi | Apache-2.0 |
| Dirilis | 2026-08 |
| Input | Teks |
| Kecerdasan | 11,1 di Artificial Analysis Intelligence Index |
| Bobot | ibm-granite/granite-4.2-8b |
Pertanyaan
- Berapa memori yang dibutuhkan Granite 4.2 8B?
- Sekitar 4,5 GB untuk bobot pada 4-bit, ditambah ruang untuk konteks: total 6 GB. Di Mac artinya memori terpadu 8 GB atau lebih, karena secara bawaan macOS mengizinkan GPU memakai sekitar 75% darinya.
- Seberapa cepat Granite 4.2 8B di Mac?
- Kecepatan menulis bergantung pada bandwidth memori. Mac tercepat untuknya di sini adalah M5 Ultra dengan 96 GB, sekitar 64–113 token per detik (8-bit). Mac terkecil yang bisa menjalankannya, dengan 8 GB, mencapai sekitar 10–18 pada M3.
- Apakah kuantisasi menurunkan kualitas Granite 4.2 8B?
- Pada 4 bit, sebagian besar model tetap mendekati kualitas aslinya; di bawah 4 bit kualitas turun lebih cepat. Pilih presisi tertinggi yang muat di Mac Anda dengan ruang tersisa.
Model serupa
Untuk kartu model atau README Anda
Menampilkan Mac terkecil yang menjalankan Granite 4.2 8B dengan baik dan menautkan ke sini.
[](https://mlx.app/run/granite-4.2-8b)Cara menghitungnya
Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.