Magkatabi
Bilis sa mga sikat na model
Token bawat segundo para sa isang usapan, bawat chip sa pinakamalaking memory size nito (128 GB at 192 GB), gamit ang pinakamagandang bersyon ng model na kasya.
| Model | M1 Ultra | M2 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 42–75 8-bit | 42–75 8-bit |
| gpt-oss-20b21B · 3.6B aktibo | 189–337 native na 4.25-bit | 189–337 native na 4.25-bit |
| Qwen3.6 35B A3B35B · 3B aktibo | 113–200 8-bit | 113–200 8-bit |
| Qwen3.8 27B27B | 13–22 8-bit | 13–22 8-bit |
| Llama 3.3 70B Instruct70B | 5–9 8-bit | 5–9 8-bit |
| gpt-oss-120b117B · 5.1B aktibo | 133–237 native na 4.25-bit | 133–237 native na 4.25-bit |
| Qwen3.5 122B A10B122B · 10B aktibo | 64–114 4-bit | 34–60 8-bit |
| DeepSeek V4 Flash 0731284B · 13B aktibo | 88–156 2-bit mas mababang kalidad | 63–112 3-bit mas mababang kalidad |
Mga tanong
- Mas mabilis ba ang M2 Ultra kaysa sa M1 Ultra para sa LLM?
- Halos pareho: ilang porsiyento lang ang pagitan ng memory bandwidth nila. Hanggang 192 GB na memory ang M2 Ultra, hanggang 128 GB ang M1 Ultra.
- Alin ang kaya ang mas malalaking model, ang M1 Ultra o ang M2 Ultra?
- Ang M2 Ultra: Hanggang 192 GB na memory ang M2 Ultra, hanggang 128 GB ang M1 Ultra. Sa pinakamalaking memory nito, maayos nitong napapatakbo ang 49 sa 73 na open model, kumpara sa 47.
Iba pang paghahambing
Ang M1 Ultra para sa local AI · Ang M2 Ultra para sa local AI · Ihambing ang bawat model · Ang pinakamagandang Mac para sa local LLM
Paano ito kinuwenta
Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.