LLMలకు M3 Ultra, M2 Ultra కంటే వేగవంతమైనదా?

దాదాపు ఒకటే: వీటి మెమరీ బ్యాండ్విడ్త్లో కొన్ని శాతాల తేడానే ఉంది. M3 Ultraలో 512 GB వరకు మెమరీ వస్తుంది, M2 Ultraలో 192 GB వరకు.

M2 Ultra, M3 Ultraలలో పెద్ద మోడల్లను ఏది నడపగలదు?

M3 Ultra: M3 Ultraలో 512 GB వరకు మెమరీ వస్తుంది, M2 Ultraలో 192 GB వరకు. దాని అతిపెద్ద సైజు వద్ద అది 73 ఓపెన్ మోడల్లలో 60ను బాగా నడుపుతుంది, రెండోది 49.

లోకల్ LLMల కోసం M2 Ultra vs M3 Ultra: మెమరీ, వేగం, ఏది కొనాలి

పక్కపక్కనే

	M2 Ultra	M3 Ultra
మెమరీ సైజులు	64, 128, 192 GB	96, 256, 512 GB
మెమరీ బ్యాండ్‌విడ్త్	800 GB/s	819 GB/s
మోడల్‌లకు, గరిష్ఠంగా	సుమారు 144 GB	సుమారు 384 GB
బాగా నడిచే మోడల్‌లు	73లో 49	73లో 60
MLX సీటు తరగతి	Ultra	Ultra
వీటిలో ఉంటుంది	Mac Studio (2023), Mac Pro (2023), Mac Pro (Rack, 2023)	Mac Studio (2025)

ప్రముఖ మోడల్‌లతో వేగం

ఒక సంభాషణకు సెకనుకు టోకెన్‌లు; ప్రతి చిప్ దాని అతిపెద్ద మెమరీ సైజు వద్ద (192 GB, 512 GB), మోడల్ యొక్క సరిపోయే ఉత్తమ వెర్షన్‌తో.

మోడల్	M2 Ultra	M3 Ultra
Llama 3.1 8B Instruct8B	42–75 8-బిట్	43–77 8-బిట్
gpt-oss-20b21B · 3.6B యాక్టివ్	189–337 నేటివ్ 4.25-బిట్	194–345 నేటివ్ 4.25-బిట్
Qwen3.6 35B A3B35B · 3B యాక్టివ్	113–200 8-బిట్	115–205 8-బిట్
Qwen3.8 27B27B	13–22 8-బిట్	13–23 8-బిట్
Llama 3.3 70B Instruct70B	5–9 8-బిట్	5–9 8-బిట్
gpt-oss-120b117B · 5.1B యాక్టివ్	133–237 నేటివ్ 4.25-బిట్	137–243 నేటివ్ 4.25-బిట్
Qwen3.5 122B A10B122B · 10B యాక్టివ్	34–60 8-బిట్	35–62 8-బిట్
DeepSeek V4 Flash 0731284B · 13B యాక్టివ్	63–112 3-బిట్ తక్కువ నాణ్యత	27–47 8-బిట్

ప్రశ్నలు

LLMలకు M3 Ultra, M2 Ultra కంటే వేగవంతమైనదా?: దాదాపు ఒకటే: వీటి మెమరీ బ్యాండ్‌విడ్త్‌లో కొన్ని శాతాల తేడానే ఉంది. M3 Ultraలో 512 GB వరకు మెమరీ వస్తుంది, M2 Ultraలో 192 GB వరకు.
M2 Ultra, M3 Ultraలలో పెద్ద మోడల్‌లను ఏది నడపగలదు?: M3 Ultra: M3 Ultraలో 512 GB వరకు మెమరీ వస్తుంది, M2 Ultraలో 192 GB వరకు. దాని అతిపెద్ద సైజు వద్ద అది 73 ఓపెన్ మోడల్‌లలో 60ను బాగా నడుపుతుంది, రెండోది 49.

మరిన్ని పోలికలు

లోకల్ AI కోసం M2 Ultra · లోకల్ AI కోసం M3 Ultra · అన్ని మోడల్‌లను పోల్చండి · లోకల్ LLMలకు ఉత్తమ Mac

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.