Memori di setiap presisi
| Versi | Bobot | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 2,6 TB | 2,8 TB | melebihi Mac mana pun |
| 6-bit | 2 TB | 2,1 TB | melebihi Mac mana pun |
| 4-bit | 1,4 TB | 1,5 TB | melebihi Mac mana pun |
| 3-bit kualitas lebih rendah | 1,1 TB | 1,1 TB | melebihi Mac mana pun |
| 2-bit kualitas lebih rendah | 750 GB | 810 GB | melebihi Mac mana pun |
Di setiap chip Apple
Ukuran memori terkecil setiap chip yang bisa menjalankan Qwen3.8 2.4T A95B, versi terbaik yang muat, dan kecepatan menulis yang bisa Anda harapkan.
| Chip | Butuh | Versi | Token/s |
|---|---|---|---|
| M6 | tidak ada ukuran yang muat | Terlalu besar | – |
| M5 Ultra | tidak ada ukuran yang muat | Terlalu besar | – |
| M5 Max | tidak ada ukuran yang muat | Terlalu besar | – |
| M5 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M5 | tidak ada ukuran yang muat | Terlalu besar | – |
| M4 Max | tidak ada ukuran yang muat | Terlalu besar | – |
| M4 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M4 | tidak ada ukuran yang muat | Terlalu besar | – |
| M3 Ultra | tidak ada ukuran yang muat | Terlalu besar | – |
| M3 Max | tidak ada ukuran yang muat | Terlalu besar | – |
| M3 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M3 | tidak ada ukuran yang muat | Terlalu besar | – |
| M2 Ultra | tidak ada ukuran yang muat | Terlalu besar | – |
| M2 Max | tidak ada ukuran yang muat | Terlalu besar | – |
| M2 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M2 | tidak ada ukuran yang muat | Terlalu besar | – |
| M1 Ultra | tidak ada ukuran yang muat | Terlalu besar | – |
| M1 Max | tidak ada ukuran yang muat | Terlalu besar | – |
| M1 Pro | tidak ada ukuran yang muat | Terlalu besar | – |
| M1 | tidak ada ukuran yang muat | Terlalu besar | – |
Cara menjalankannya
Tidak ada satu Mac pun yang muat. Model lebih kecil di bawah berjalan baik, dan panduan cluster Mac membahas cara membagi model ke beberapa Mac.
Langkah demi langkah: unduh dan jalankan LLM di Mac · cara memakai MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Qwen3.8 2.4T A95B
| Dibuat oleh | Qwen (Alibaba) |
|---|---|
| Parameter | 2.400B total · 95B aktif (mixture of experts) |
| Konteks | 256K token |
| Lisensi | Qwen3.8-Max license (qwen3.8-max) |
| Dirilis | 2026-08 |
| Input | Teks |
| Kecerdasan | 39,9 di Artificial Analysis Intelligence Index |
| Bobot | Qwen/Qwen3.8-2.4T-A95B |
Pertanyaan
- Berapa memori yang dibutuhkan Qwen3.8 2.4T A95B?
- Sekitar 1,4 TB untuk bobot pada 4-bit, ditambah ruang untuk konteks: total 1,5 TB. Itu melebihi memori Mac mana pun saat ini.
- Bisakah Mac mana pun menjalankan Qwen3.8 2.4T A95B?
- Tidak sendirian: bahkan pada 2 bit, model ini butuh memori lebih besar dari Mac terbesar. Gunakan model yang lebih kecil, atau bagi ke beberapa Mac dengan runtime cluster.
- Mengapa Qwen3.8 2.4T A95B berjalan lebih cepat daripada ukurannya?
- Ini model mixture-of-experts: ia menyimpan 2.400B parameter di memori tetapi hanya membaca 95B untuk setiap token, sehingga menulis secepat model yang jauh lebih kecil.
Model serupa
Untuk kartu model atau README Anda
Menampilkan Mac terkecil yang menjalankan Qwen3.8 2.4T A95B dengan baik dan menautkan ke sini.
[](https://mlx.app/run/qwen3.8-2.4t-a95b)Cara menghitungnya
Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.