Memori pada setiap kepersisan
| Versi | Pemberat | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 2.6 TB | 2.8 TB | melebihi mana-mana Mac |
| 6-bit | 2 TB | 2.1 TB | melebihi mana-mana Mac |
| 4-bit | 1.4 TB | 1.5 TB | melebihi mana-mana Mac |
| 3-bit kualiti lebih rendah | 1.1 TB | 1.1 TB | melebihi mana-mana Mac |
| 2-bit kualiti lebih rendah | 750 GB | 810 GB | melebihi mana-mana Mac |
Pada setiap cip Apple
Saiz memori terkecil setiap cip yang menjalankan Qwen3.8 2.4T A95B, versi terbaik yang muat, dan kelajuan menulis yang boleh anda jangkakan.
| Cip | Perlu | Versi | Token/s |
|---|---|---|---|
| M6 | tiada saiz yang muat | Terlalu besar | – |
| M5 Ultra | tiada saiz yang muat | Terlalu besar | – |
| M5 Max | tiada saiz yang muat | Terlalu besar | – |
| M5 Pro | tiada saiz yang muat | Terlalu besar | – |
| M5 | tiada saiz yang muat | Terlalu besar | – |
| M4 Max | tiada saiz yang muat | Terlalu besar | – |
| M4 Pro | tiada saiz yang muat | Terlalu besar | – |
| M4 | tiada saiz yang muat | Terlalu besar | – |
| M3 Ultra | tiada saiz yang muat | Terlalu besar | – |
| M3 Max | tiada saiz yang muat | Terlalu besar | – |
| M3 Pro | tiada saiz yang muat | Terlalu besar | – |
| M3 | tiada saiz yang muat | Terlalu besar | – |
| M2 Ultra | tiada saiz yang muat | Terlalu besar | – |
| M2 Max | tiada saiz yang muat | Terlalu besar | – |
| M2 Pro | tiada saiz yang muat | Terlalu besar | – |
| M2 | tiada saiz yang muat | Terlalu besar | – |
| M1 Ultra | tiada saiz yang muat | Terlalu besar | – |
| M1 Max | tiada saiz yang muat | Terlalu besar | – |
| M1 Pro | tiada saiz yang muat | Terlalu besar | – |
| M1 | tiada saiz yang muat | Terlalu besar | – |
Cara menjalankannya
Tiada satu Mac pun yang muat. Model lebih kecil di bawah berjalan baik, dan panduan kluster Mac menerangkan cara membahagikan model kepada beberapa Mac.
Langkah demi langkah: muat turun dan jalankan LLM pada Mac · cara menggunakan MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Qwen3.8 2.4T A95B
| Dibuat oleh | Qwen (Alibaba) |
|---|---|
| Parameter | 2,400B jumlah · 95B aktif (mixture of experts) |
| Konteks | 256K token |
| Lesen | Qwen3.8-Max license (qwen3.8-max) |
| Dikeluarkan | 2026-08 |
| Input | Teks |
| Kecerdasan | 39.9 dalam Artificial Analysis Intelligence Index |
| Pemberat | Qwen/Qwen3.8-2.4T-A95B |
Soalan
- Berapakah memori yang diperlukan oleh Qwen3.8 2.4T A95B?
- Kira-kira 1.4 TB pemberat pada 4-bit, serta ruang untuk konteks: 1.5 TB kesemuanya. Itu melebihi memori mana-mana Mac hari ini.
- Bolehkah mana-mana Mac menjalankan Qwen3.8 2.4T A95B?
- Tidak secara bersendirian: walaupun pada 2 bit ia memerlukan lebih banyak memori daripada Mac terbesar. Gunakan model yang lebih kecil, atau bahagikan kepada beberapa Mac dengan masa jalan kluster.
- Mengapakah Qwen3.8 2.4T A95B berjalan lebih pantas daripada saiznya?
- Ia model mixture-of-experts: ia menyimpan 2,400B parameter dalam memori tetapi hanya membaca 95B bagi setiap token, jadi ia menulis sepantas model yang jauh lebih kecil.
Model serupa
Untuk kad model atau README anda
Menunjukkan Mac terkecil yang menjalankan Qwen3.8 2.4T A95B dengan baik dan memaut ke sini.
[](https://mlx.app/run/qwen3.8-2.4t-a95b)Cara ia dikira
Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.