LLMలకు M5 Max, M3 Ultra కంటే వేగవంతమైనదా?

M3 Ultra మెమరీని M5 Max కంటే సుమారు 33% వేగంగా చదువుతుంది (819 vs 614 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్తోనైనా సుమారు 33% వేగంగా రాస్తుంది. పొడవైన ప్రాంప్ట్ను చదవడం మాత్రం GPU కంప్యూట్పై ఆధారపడుతుంది, అది ఈ పోలికలో లేదు.

M3 Ultra, M5 Maxలలో పెద్ద మోడల్లను ఏది నడపగలదు?

M3 Ultra: M3 Ultraలో 512 GB వరకు మెమరీ వస్తుంది, M5 Maxలో 128 GB వరకు. దాని అతిపెద్ద సైజు వద్ద అది 73 ఓపెన్ మోడల్లలో 60ను బాగా నడుపుతుంది, రెండోది 47.

లోకల్ LLMల కోసం M3 Ultra vs M5 Max: మెమరీ, వేగం, ఏది కొనాలి

పక్కపక్కనే

	M3 Ultra	M5 Max
మెమరీ సైజులు	96, 256, 512 GB	36, 48, 64, 128 GB
మెమరీ బ్యాండ్‌విడ్త్	819 GB/s	460–614 GB/s
మోడల్‌లకు, గరిష్ఠంగా	సుమారు 384 GB	సుమారు 96 GB
బాగా నడిచే మోడల్‌లు	73లో 60	73లో 47
MLX సీటు తరగతి	Ultra	Pro Latest
వీటిలో ఉంటుంది	Mac Studio (2025)	MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac Studio (M5 Max or M5 Ultra)

ప్రముఖ మోడల్‌లతో వేగం

ఒక సంభాషణకు సెకనుకు టోకెన్‌లు; ప్రతి చిప్ దాని అతిపెద్ద మెమరీ సైజు వద్ద (512 GB, 128 GB), మోడల్ యొక్క సరిపోయే ఉత్తమ వెర్షన్‌తో.

మోడల్	M3 Ultra	M5 Max
Llama 3.1 8B Instruct8B	43–77 8-బిట్	33–58 8-బిట్
gpt-oss-20b21B · 3.6B యాక్టివ్	194–345 నేటివ్ 4.25-బిట్	145–259 నేటివ్ 4.25-బిట్
Qwen3.6 35B A3B35B · 3B యాక్టివ్	115–205 8-బిట్	86–154 8-బిట్
Qwen3.8 27B27B	13–23 8-బిట్	10–17 8-బిట్
Llama 3.3 70B Instruct70B	5–9 8-బిట్	4–7 8-బిట్
gpt-oss-120b117B · 5.1B యాక్టివ్	137–243 నేటివ్ 4.25-బిట్	102–182 నేటివ్ 4.25-బిట్
Qwen3.5 122B A10B122B · 10B యాక్టివ్	35–62 8-బిట్	49–88 4-బిట్
DeepSeek V4 Flash 0731284B · 13B యాక్టివ్	27–47 8-బిట్	67–120 2-బిట్ తక్కువ నాణ్యత

ప్రశ్నలు

LLMలకు M5 Max, M3 Ultra కంటే వేగవంతమైనదా?: M3 Ultra మెమరీని M5 Max కంటే సుమారు 33% వేగంగా చదువుతుంది (819 vs 614 GB/s), కాబట్టి రెండింటిలో సరిపోయే ఏ మోడల్‌తోనైనా సుమారు 33% వేగంగా రాస్తుంది. పొడవైన ప్రాంప్ట్‌ను చదవడం మాత్రం GPU కంప్యూట్‌పై ఆధారపడుతుంది, అది ఈ పోలికలో లేదు.
M3 Ultra, M5 Maxలలో పెద్ద మోడల్‌లను ఏది నడపగలదు?: M3 Ultra: M3 Ultraలో 512 GB వరకు మెమరీ వస్తుంది, M5 Maxలో 128 GB వరకు. దాని అతిపెద్ద సైజు వద్ద అది 73 ఓపెన్ మోడల్‌లలో 60ను బాగా నడుపుతుంది, రెండోది 47.

మరిన్ని పోలికలు

లోకల్ AI కోసం M3 Ultra · లోకల్ AI కోసం M5 Max · అన్ని మోడల్‌లను పోల్చండి · లోకల్ LLMలకు ఉత్తమ Mac

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.