Memory sa bawat precision
| Bersyon | Weights | Kasama ang context | Pinakamaliit na Mac |
|---|---|---|---|
| 8-bit | 2.6 TB | 2.8 TB | higit sa anumang Mac |
| 6-bit | 2 TB | 2.1 TB | higit sa anumang Mac |
| 4-bit | 1.4 TB | 1.5 TB | higit sa anumang Mac |
| 3-bit mas mababang kalidad | 1.1 TB | 1.1 TB | higit sa anumang Mac |
| 2-bit mas mababang kalidad | 750 GB | 810 GB | higit sa anumang Mac |
Sa bawat Apple chip
Ang pinakamaliit na memory size ng bawat chip na kaya ang Qwen3.8 2.4T A95B, ang pinakamagandang bersyong kasya rito, at ang bilis ng pagsusulat na maaasahan mo.
| Chip | Kailangan | Bersyon | Token/s |
|---|---|---|---|
| M6 | walang kasyang size | Masyadong malaki | – |
| M5 Ultra | walang kasyang size | Masyadong malaki | – |
| M5 Max | walang kasyang size | Masyadong malaki | – |
| M5 Pro | walang kasyang size | Masyadong malaki | – |
| M5 | walang kasyang size | Masyadong malaki | – |
| M4 Max | walang kasyang size | Masyadong malaki | – |
| M4 Pro | walang kasyang size | Masyadong malaki | – |
| M4 | walang kasyang size | Masyadong malaki | – |
| M3 Ultra | walang kasyang size | Masyadong malaki | – |
| M3 Max | walang kasyang size | Masyadong malaki | – |
| M3 Pro | walang kasyang size | Masyadong malaki | – |
| M3 | walang kasyang size | Masyadong malaki | – |
| M2 Ultra | walang kasyang size | Masyadong malaki | – |
| M2 Max | walang kasyang size | Masyadong malaki | – |
| M2 Pro | walang kasyang size | Masyadong malaki | – |
| M2 | walang kasyang size | Masyadong malaki | – |
| M1 Ultra | walang kasyang size | Masyadong malaki | – |
| M1 Max | walang kasyang size | Masyadong malaki | – |
| M1 Pro | walang kasyang size | Masyadong malaki | – |
| M1 | walang kasyang size | Masyadong malaki | – |
Paano ito patakbuhin
Walang iisang Mac na kasya ito. Tumatakbo nang maayos ang mas maliliit na model sa ibaba, at ipinapaliwanag ng gabay sa Mac cluster kung paano hatiin ang isang model sa ilang Mac.
Hakbang-hakbang: mag-download at magpatakbo ng LLM sa Mac · paano gamitin ang MLX Harness · MLX vs Ollama vs llama.cpp
Tungkol sa Qwen3.8 2.4T A95B
| Gawa ng | Qwen (Alibaba) |
|---|---|
| Mga parameter | 2,400B kabuuan · 95B aktibo (mixture of experts) |
| Context | 256K token |
| Lisensya | Qwen3.8-Max license (qwen3.8-max) |
| Inilabas | 2026-08 |
| Input | Text |
| Intelligence | 39.9 sa Artificial Analysis Intelligence Index |
| Weights | Qwen/Qwen3.8-2.4T-A95B |
Mga tanong
- Gaano karaming memory ang kailangan ng Qwen3.8 2.4T A95B?
- Mga 1.4 TB ng weights sa 4-bit, dagdag ang espasyo para sa context: 1.5 TB lahat-lahat. Mas malaki iyon kaysa sa memory ng anumang Mac ngayon.
- May Mac bang kaya ang Qwen3.8 2.4T A95B?
- Hindi nang mag-isa: kahit sa 2 bit, kailangan nito ng mas maraming memory kaysa sa pinakamalaking Mac. Gumamit ng mas maliit na model, o hatiin ito sa ilang Mac gamit ang cluster runtime.
- Bakit mas mabilis ang Qwen3.8 2.4T A95B kaysa sa inaasahan sa laki nito?
- Isa itong mixture-of-experts na model: may 2,400B na parameter ito sa memory pero 95B lang ang binabasa nito sa bawat token, kaya nagsusulat ito sa bilis ng mas maliit na model.
Mga katulad na model
Para sa model card o README mo
Ipinapakita ang pinakamaliit na Mac na maayos na nagpapatakbo ng Qwen3.8 2.4T A95B at nagli-link dito.
[](https://mlx.app/run/qwen3.8-2.4t-a95b)Paano ito kinuwenta
Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.