మెమరీ సైజు వారీగా
| మెమరీ | బాగా నడిచేవి | బాగా నడిచేవాటిలో అతిపెద్దది | gpt-oss-20b |
|---|---|---|---|
| 96 GB1,200 GB/s | 44 | gpt-oss-120b | 284–505 tok/s |
| 256 GB1,200 GB/s | 54 | MiMo V2.6 Flash | 284–505 tok/s |
| 512 GB1,200 GB/s | 61 | DeepSeek V4.1 Flash 1017 | 284–505 tok/s |
Mac మోడల్లు: Mac Studio (M5 Max or M5 Ultra). ప్రతి Mac మోడల్‌లో ప్రతి మెమరీ సైజు అందుబాటులో ఉండదు; దేనితో ఏది వస్తుందో Apple Tech Specs జాబితా చేస్తాయి.
ప్రశ్నలు
- లోకల్ LLMలకు M5 Ultra చిప్ ఉన్న Mac Studio మంచిదేనా?
- 512 GBతో ఇది 73 ఓపెన్ మోడల్లలో 61ను బాగా నడుపుతుంది, DeepSeek V4.1 Flash 1017 వరకు, gpt-oss-20b మోడల్తో సెకనుకు సుమారు 284–505 టోకెన్లు రాస్తుంది. M5 Ultra చిప్ 1,200 GB/s వేగంతో మెమరీని చదువుతుంది, అదే ఇది ఎంత వేగంగా రాస్తుందో నిర్ణయిస్తుంది.
- AI కోసం M5 Ultra చిప్ ఉన్న Mac Studio ఎంత మెమరీతో తీసుకోవాలి?
- 96 GBతో ఇది 44 ఓపెన్ మోడల్లను బాగా నడుపుతుంది; 512 GBతో 61, DeepSeek V4.1 Flash 1017 వరకు. ఏ మోడల్లు సరిపోతాయో మెమరీ నిర్ణయిస్తుంది, దాన్ని తర్వాత అప్గ్రేడ్ చేయలేరు.
ఇతర Macలు
ఇతర చిప్‌లతో Mac Studio:
- Mac Studio M5 Max
- Mac Studio M4 Max
- Mac Studio M3 Ultra
- Mac Studio M2 Max
- Mac Studio M2 Ultra
- Mac Studio M1 Max
- Mac Studio M1 Ultra
ముఖాముఖి:
PCలు మరియు గ్రాఫిక్స్ కార్డులతో పోలిక:
లోకల్ AI కోసం M5 Ultra · లోకల్ LLMలకు ఉత్తమ Mac · అన్ని Macలు
ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.