లోకల్ LLMలకు M5 Max చిప్ ఉన్న Mac Studio మంచిదేనా?

128 GBతో ఇది 73 ఓపెన్ మోడల్లలో 47ను బాగా నడుపుతుంది, Qwen3.5 122B A10B వరకు, gpt-oss-20b మోడల్తో సెకనుకు సుమారు 145–259 టోకెన్లు రాస్తుంది. M5 Max చిప్ 614 GB/s వేగంతో మెమరీని చదువుతుంది, అదే ఇది ఎంత వేగంగా రాస్తుందో నిర్ణయిస్తుంది.

AI కోసం M5 Max చిప్ ఉన్న Mac Studio ఎంత మెమరీతో తీసుకోవాలి?

36 GBతో ఇది 38 ఓపెన్ మోడల్లను బాగా నడుపుతుంది; 128 GBతో 47, Qwen3.5 122B A10B వరకు. ఏ మోడల్లు సరిపోతాయో మెమరీ నిర్ణయిస్తుంది, దాన్ని తర్వాత అప్గ్రేడ్ చేయలేరు.

Mac Studio M5 Max: మెమరీ వారీగా ఏ LLMలు నడుస్తాయి

మెమరీ సైజు వారీగా

మెమరీ	బాగా నడిచేవి	బాగా నడిచేవాటిలో అతిపెద్దది	gpt-oss-20b
36 GB460 GB/s	38	Qwen3.6 35B A3B	109–194 tok/s
48 GB614 GB/s	38	Qwen3.6 35B A3B	145–259 tok/s
64 GB614 GB/s	39	Nemotron 3.5 Bolt 74B A9B	145–259 tok/s
128 GB614 GB/s	47	Qwen3.5 122B A10B	145–259 tok/s

Mac మోడల్‌లు: Mac Studio (M5 Max or M5 Ultra). ప్రతి Mac మోడల్‌లో ప్రతి మెమరీ సైజు అందుబాటులో ఉండదు; దేనితో ఏది వస్తుందో Apple Tech Specs జాబితా చేస్తాయి.

ప్రశ్నలు

లోకల్ LLMలకు M5 Max చిప్ ఉన్న Mac Studio మంచిదేనా?: 128 GBతో ఇది 73 ఓపెన్ మోడల్‌లలో 47ను బాగా నడుపుతుంది, Qwen3.5 122B A10B వరకు, gpt-oss-20b మోడల్‌తో సెకనుకు సుమారు 145–259 టోకెన్‌లు రాస్తుంది. M5 Max చిప్ 614 GB/s వేగంతో మెమరీని చదువుతుంది, అదే ఇది ఎంత వేగంగా రాస్తుందో నిర్ణయిస్తుంది.
AI కోసం M5 Max చిప్ ఉన్న Mac Studio ఎంత మెమరీతో తీసుకోవాలి?: 36 GBతో ఇది 38 ఓపెన్ మోడల్‌లను బాగా నడుపుతుంది; 128 GBతో 47, Qwen3.5 122B A10B వరకు. ఏ మోడల్‌లు సరిపోతాయో మెమరీ నిర్ణయిస్తుంది, దాన్ని తర్వాత అప్‌గ్రేడ్ చేయలేరు.

ఇతర Macలు

ఇతర చిప్‌లతో Mac Studio:

M5 Max చిప్ ఉన్న ఇతర Macలు:

MacBook Pro M5 Max

ముఖాముఖి:

PCలు మరియు గ్రాఫిక్స్ కార్డులతో పోలిక:

లోకల్ AI కోసం M5 Max · లోకల్ LLMలకు ఉత్తమ Mac · అన్ని Macలు

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.