LLMలకు M5 Ultra, M3 Ultra కంటే వేగవంతమైనదా?

M5 Ultra మెమరీని M3 Ultra కంటే సుమారు 47% వేగంగా చదువుతుంది (1,200 vs 819 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్తోనైనా సుమారు 47% వేగంగా రాస్తుంది. పొడవైన ప్రాంప్ట్ను చదవడం మాత్రం GPU కంప్యూట్పై ఆధారపడుతుంది, అది ఈ పోలికలో లేదు.

M3 Ultra, M5 Ultraలలో పెద్ద మోడల్లను ఏది నడపగలదు?

రెండూ సమానమే: రెండింటిలోనూ 512 GB వరకు మెమరీ వస్తుంది. ఆ సైజు వద్ద 73 ఓపెన్ మోడల్లలో M3 Ultraపై 60, M5 Ultraపై 61 బాగా నడుస్తాయి; వేగవంతమైన చిప్ వాటిలో ఎక్కువ మోడల్లను సెకనుకు 10 టోకెన్లు దాటిస్తుంది.

లోకల్ LLMల కోసం M3 Ultra vs M5 Ultra: మెమరీ, వేగం, ఏది కొనాలి

పక్కపక్కనే

	M3 Ultra	M5 Ultra
మెమరీ సైజులు	96, 256, 512 GB	96, 256, 512 GB
మెమరీ బ్యాండ్‌విడ్త్	819 GB/s	1,200 GB/s
మోడల్‌లకు, గరిష్ఠంగా	సుమారు 384 GB	సుమారు 384 GB
బాగా నడిచే మోడల్‌లు	73లో 60	73లో 61
MLX సీటు తరగతి	Ultra	Ultra Latest
వీటిలో ఉంటుంది	Mac Studio (2025)	Mac Studio (M5 Max or M5 Ultra)

ప్రముఖ మోడల్‌లతో వేగం

ఒక సంభాషణకు సెకనుకు టోకెన్‌లు; ప్రతి చిప్ దాని అతిపెద్ద మెమరీ సైజు వద్ద (512 GB, 512 GB), మోడల్ యొక్క సరిపోయే ఉత్తమ వెర్షన్‌తో.

మోడల్	M3 Ultra	M5 Ultra
Llama 3.1 8B Instruct8B	43–77 8-బిట్	64–113 8-బిట్
gpt-oss-20b21B · 3.6B యాక్టివ్	194–345 నేటివ్ 4.25-బిట్	284–505 నేటివ్ 4.25-బిట్
Qwen3.6 35B A3B35B · 3B యాక్టివ్	115–205 8-బిట్	169–300 8-బిట్
Qwen3.8 27B27B	13–23 8-బిట్	19–33 8-బిట్
Llama 3.3 70B Instruct70B	5–9 8-బిట్	14–24 4-బిట్
gpt-oss-120b117B · 5.1B యాక్టివ్	137–243 నేటివ్ 4.25-బిట్	200–356 నేటివ్ 4.25-బిట్
Qwen3.5 122B A10B122B · 10B యాక్టివ్	35–62 8-బిట్	51–91 8-బిట్
DeepSeek V4 Flash 0731284B · 13B యాక్టివ్	27–47 8-బిట్	39–70 8-బిట్

ప్రశ్నలు

LLMలకు M5 Ultra, M3 Ultra కంటే వేగవంతమైనదా?: M5 Ultra మెమరీని M3 Ultra కంటే సుమారు 47% వేగంగా చదువుతుంది (1,200 vs 819 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్‌తోనైనా సుమారు 47% వేగంగా రాస్తుంది. పొడవైన ప్రాంప్ట్‌ను చదవడం మాత్రం GPU కంప్యూట్‌పై ఆధారపడుతుంది, అది ఈ పోలికలో లేదు.
M3 Ultra, M5 Ultraలలో పెద్ద మోడల్‌లను ఏది నడపగలదు?: రెండూ సమానమే: రెండింటిలోనూ 512 GB వరకు మెమరీ వస్తుంది. ఆ సైజు వద్ద 73 ఓపెన్ మోడల్‌లలో M3 Ultraపై 60, M5 Ultraపై 61 బాగా నడుస్తాయి; వేగవంతమైన చిప్ వాటిలో ఎక్కువ మోడల్‌లను సెకనుకు 10 టోకెన్‌లు దాటిస్తుంది.

మరిన్ని పోలికలు

లోకల్ AI కోసం M3 Ultra · లోకల్ AI కోసం M5 Ultra · అన్ని మోడల్‌లను పోల్చండి · లోకల్ LLMలకు ఉత్తమ Mac

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.