Memory sa bawat precision
| Bersyon | Weights | Kasama ang context | Pinakamaliit na Mac |
|---|---|---|---|
| 8-bit | 136 GB | 147 GB | 256 GB |
| 6-bit | 104 GB | 112 GB | 192 GB |
| 4-bit | 72 GB | 77.8 GB | 128 GB |
| 3-bit mas mababang kalidad | 56 GB | 60.5 GB | 96 GB |
| 2-bit mas mababang kalidad | 40 GB | 43.2 GB | 64 GB |
Sa bawat Apple chip
Ang pinakamaliit na memory size ng bawat chip na kaya ang Mistral Medium 3.5 (128B), ang pinakamagandang bersyong kasya rito, at ang bilis ng pagsusulat na maaasahan mo.
| Chip | Kailangan | Bersyon | Token/s |
|---|---|---|---|
| M6 | walang kasyang size | Masyadong malaki | – |
| M5 Ultra | 256 GB | 8-bit Mabagal | 4–7 |
| M5 Max | 128 GB | 4-bit Mabagal | 4–7 |
| M5 Pro | 64 GB | 2-bit Mabagal | 3–6 |
| M5 | walang kasyang size | Masyadong malaki | – |
| M4 Max | 128 GB | 4-bit Mabagal | 3–6 |
| M4 Pro | 64 GB | 2-bit Mabagal | 3–5 |
| M4 | walang kasyang size | Masyadong malaki | – |
| M3 Ultra | 256 GB | 8-bit Mabagal | 3–5 |
| M3 Max | 128 GB | 4-bit Mabagal | 3–4 |
| M3 Pro | walang kasyang size | Masyadong malaki | – |
| M3 | walang kasyang size | Masyadong malaki | – |
| M2 Ultra | 128 GB | 4-bit Mabagal | 5–9 |
| M2 Max | 64 GB | 2-bit Mabagal | 5–8 |
| M2 Pro | walang kasyang size | Masyadong malaki | – |
| M2 | walang kasyang size | Masyadong malaki | – |
| M1 Ultra | 128 GB | 4-bit Mabagal | 5–9 |
| M1 Max | 64 GB | 2-bit Mabagal | 5–8 |
| M1 Pro | walang kasyang size | Masyadong malaki | – |
| M1 | walang kasyang size | Masyadong malaki | – |
Paano ito patakbuhin
- Ang madaling paraan: i-download ang MLX Harness, libre at open source. Hanapin ang Mistral Medium 3.5 (128B), i-download ang bersyong kasya sa Mac mo, at mag-chat. Ibinibigay rin nito ang model sa iba mo pang app sa pamamagitan ng API na compatible sa OpenAI.I-download ang MLX HarnessLibre · Apple Silicon · macOS 14.5 o mas bago
- Sa Terminal gamit ang MLX ng Apple:
pip install mlx-lmmlx_lm.chat --model mlx-community/Mistral-Medium-3.5-128B-4bitBuild: mlx-community/Mistral-Medium-3.5-128B-4bit sa Hugging Face. Katabi nito ang ibang precision.
Hakbang-hakbang: mag-download at magpatakbo ng LLM sa Mac · paano gamitin ang MLX Harness · MLX vs Ollama vs llama.cpp
Tungkol sa Mistral Medium 3.5 (128B)
| Gawa ng | Mistral AI |
|---|---|
| Mga parameter | 128B (dense) |
| Context | 256K token |
| Lisensya | Modified MIT (exceptions for companies with large revenue) |
| Inilabas | 2026-03 |
| Input | Text at larawan |
| Intelligence | 14.2 sa Artificial Analysis Intelligence Index |
| Weights | mistralai/Mistral-Medium-3.5-128B |
Mga tanong
- Gaano karaming memory ang kailangan ng Mistral Medium 3.5 (128B)?
- Mga 72 GB ng weights sa 4-bit, dagdag ang espasyo para sa context: 77.8 GB lahat-lahat. Sa Mac, ibig sabihin nito ay 128 GB na unified memory o higit pa, dahil bilang default, mga 75% nito ang ipinapagamit ng macOS sa GPU.
- Gaano kabilis ang Mistral Medium 3.5 (128B) sa Mac?
- Nakadepende sa memory bandwidth ang bilis ng pagsusulat. Ang pinakamabilis na Mac para dito ay M2 Ultra na may 128 GB, sa mga 5–9 token bawat segundo (4-bit). Ang pinakamaliit na Mac na kaya ito, na may 128 GB, ay umaabot sa mga 5–9 sa M2 Ultra.
- Nakakasama ba ang quantization sa Mistral Medium 3.5 (128B)?
- Sa 4 bit, nananatiling malapit sa orihinal na kalidad ang karamihan ng model; sa ilalim ng 4 bit, mas mabilis bumaba ang kalidad. Piliin ang pinakamataas na precision na kasya sa Mac mo nang may sobrang espasyo.
Mga katulad na model
Para sa model card o README mo
Ipinapakita ang pinakamaliit na Mac na maayos na nagpapatakbo ng Mistral Medium 3.5 (128B) at nagli-link dito.
[](https://mlx.app/run/mistral-medium-3.5)Paano ito kinuwenta
Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.