Mas mabilis ba ang M5 Ultra kaysa sa M3 Ultra para sa LLM?

Mga 47% na mas mabilis magbasa ng memory ang M5 Ultra kaysa sa M3 Ultra (1,200 vs 819 GB/s), kaya mga 47% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa. Ang pagbasa naman ng mahabang prompt ay nakadepende sa GPU compute, na hindi saklaw ng paghahambing na ito.

Alin ang kaya ang mas malalaking model, ang M3 Ultra o ang M5 Ultra?

Wala: pareho silang hanggang 512 GB. Sa laking iyon, maayos na napapatakbo ng M3 Ultra ang 60 at ng M5 Ultra ang 61 sa 73 na open model; mas marami ang naaabot ng mas mabilis sa 10 token bawat segundo.

M3 Ultra vs M5 Ultra para sa LLM: memory, bilis, alin ang bilhin

Magkatabi

	M3 Ultra	M5 Ultra
Mga memory size	96, 256, 512 GB	96, 256, 512 GB
Memory bandwidth	819 GB/s	1,200 GB/s
Para sa model, hanggang	mga 384 GB	mga 384 GB
Mga model na maayos tumakbo	60 sa 73	61 sa 73
Klase ng MLX seat	Ultra	Ultra Latest
Makikita sa	Mac Studio (2025)	Mac Studio (M5 Max or M5 Ultra)

Bilis sa mga sikat na model

Token bawat segundo para sa isang usapan, bawat chip sa pinakamalaking memory size nito (512 GB at 512 GB), gamit ang pinakamagandang bersyon ng model na kasya.

Model	M3 Ultra	M5 Ultra
Llama 3.1 8B Instruct8B	43–77 8-bit	64–113 8-bit
gpt-oss-20b21B · 3.6B aktibo	194–345 native na 4.25-bit	284–505 native na 4.25-bit
Qwen3.6 35B A3B35B · 3B aktibo	115–205 8-bit	169–300 8-bit
Qwen3.8 27B27B	13–23 8-bit	19–33 8-bit
Llama 3.3 70B Instruct70B	5–9 8-bit	14–24 4-bit
gpt-oss-120b117B · 5.1B aktibo	137–243 native na 4.25-bit	200–356 native na 4.25-bit
Qwen3.5 122B A10B122B · 10B aktibo	35–62 8-bit	51–91 8-bit
DeepSeek V4 Flash 0731284B · 13B aktibo	27–47 8-bit	39–70 8-bit

Mga tanong

Mas mabilis ba ang M5 Ultra kaysa sa M3 Ultra para sa LLM?: Mga 47% na mas mabilis magbasa ng memory ang M5 Ultra kaysa sa M3 Ultra (1,200 vs 819 GB/s), kaya mga 47% na mas mabilis itong magsulat sa anumang model na kasya sa dalawa. Ang pagbasa naman ng mahabang prompt ay nakadepende sa GPU compute, na hindi saklaw ng paghahambing na ito.
Alin ang kaya ang mas malalaking model, ang M3 Ultra o ang M5 Ultra?: Wala: pareho silang hanggang 512 GB. Sa laking iyon, maayos na napapatakbo ng M3 Ultra ang 60 at ng M5 Ultra ang 61 sa 73 na open model; mas marami ang naaabot ng mas mabilis sa 10 token bawat segundo.

Iba pang paghahambing

Ang M3 Ultra para sa local AI · Ang M5 Ultra para sa local AI · Ihambing ang bawat model · Ang pinakamagandang Mac para sa local LLM

Paano ito kinuwenta

Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.