Memori pada setiap kepersisan
| Versi | Pemberat | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 9.5 GB | 11 GB | 16 GB |
| 6-bit | 7.2 GB | 8.7 GB | 16 GB |
| 4-bit | 5 GB | 6.5 GB | 16 GB |
| 3-bit kualiti lebih rendah | 3.9 GB | 5.4 GB | 8 GB |
| 2-bit kualiti lebih rendah | 2.8 GB | 4.3 GB | 8 GB |
Pada setiap cip Apple
Saiz memori terkecil setiap cip yang menjalankan Ministral 3 8B, versi terbaik yang muat, dan kelajuan menulis yang boleh anda jangkakan.
| Cip | Perlu | Versi | Token/s |
|---|---|---|---|
| M6 | 16 GB | 6-bit Berjalan baik | 10–17 |
| M5 Ultra | 96 GB | 8-bit Berjalan baik | 57–101 |
| M5 Max | 36 GB | 8-bit Berjalan baik | 22–39 |
| M5 Pro | 24 GB | 8-bit Berjalan baik | 15–26 |
| M5 | 16 GB | 6-bit Berjalan baik | 10–17 |
| M4 Max | 36 GB | 8-bit Berjalan baik | 19–35 |
| M4 Pro | 24 GB | 8-bit Berjalan baik | 13–23 |
| M4 | 16 GB | 4-bit Berjalan baik | 11–19 |
| M3 Ultra | 96 GB | 8-bit Berjalan baik | 39–69 |
| M3 Max | 36 GB | 8-bit Berjalan baik | 14–25 |
| M3 Pro | 18 GB | 4-bit Berjalan baik | 14–24 |
| M3 | 16 GB | 8-bit Perlahan | 5–8 |
| M2 Ultra | 64 GB | 8-bit Berjalan baik | 38–67 |
| M2 Max | 32 GB | 8-bit Berjalan baik | 19–34 |
| M2 Pro | 16 GB | 6-bit Berjalan baik | 13–22 |
| M2 | 16 GB | 8-bit Perlahan | 5–8 |
| M1 Ultra | 64 GB | 8-bit Berjalan baik | 38–67 |
| M1 Max | 32 GB | 8-bit Berjalan baik | 19–34 |
| M1 Pro | 16 GB | 6-bit Berjalan baik | 13–22 |
| M1 | 16 GB | 8-bit Perlahan | 3–6 |
Cara menjalankannya
- Cara mudah: muat turun MLX Harness, percuma dan sumber terbuka. Cari Ministral 3 8B, muat turun versi yang sesuai dengan Mac anda, dan mula bersembang. Ia juga menyediakan model kepada aplikasi anda yang lain melalui API yang serasi dengan OpenAI.Muat turun MLX HarnessPercuma · Apple Silicon · macOS 14.5 atau lebih baharu
- Dalam Terminal dengan MLX daripada Apple:
pip install mlx-lmmlx_lm.chat --model mlx-community/Ministral-3-8B-Instruct-2512-4bitBinaan: mlx-community/Ministral-3-8B-Instruct-2512-4bit di Hugging Face. Kepersisan lain ada di sebelahnya.
Langkah demi langkah: muat turun dan jalankan LLM pada Mac · cara menggunakan MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Ministral 3 8B
| Dibuat oleh | Mistral AI |
|---|---|
| Parameter | 8.9B (padat) |
| Konteks | 256K token |
| Lesen | Apache-2.0 |
| Dikeluarkan | 2025-10 |
| Input | Teks dan imej |
| Kecerdasan | 5.5 dalam Artificial Analysis Intelligence Index |
| Pemberat | mistralai/Ministral-3-8B-Instruct-2512 |
Soalan
- Berapakah memori yang diperlukan oleh Ministral 3 8B?
- Kira-kira 5 GB pemberat pada 4-bit, serta ruang untuk konteks: 6.5 GB kesemuanya. Pada Mac, ini bermakna 16 GB memori bersatu atau lebih, kerana secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya.
- Sepantas mana Ministral 3 8B pada Mac?
- Kelajuan menulis bergantung pada lebar jalur memori. Mac terpantas untuknya di sini ialah M5 Ultra dengan 96 GB, kira-kira 57–101 token sesaat (8-bit). Mac terkecil yang menjalankannya, dengan 16 GB, mencapai kira-kira 13–22 pada M2 Pro.
- Adakah pengkuantuman menjejaskan Ministral 3 8B?
- Pada 4 bit, kebanyakan model kekal hampir dengan kualiti asal; di bawah 4 bit kualiti menurun lebih cepat. Pilih kepersisan tertinggi yang muat dalam Mac anda dengan ruang lebihan.
Model serupa
Untuk kad model atau README anda
Menunjukkan Mac terkecil yang menjalankan Ministral 3 8B dengan baik dan memaut ke sini.
[](https://mlx.app/run/ministral-3-8b)Cara ia dikira
Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.