పక్కపక్కనే
ప్రముఖ మోడల్‌లతో వేగం
ఒక సంభాషణకు సెకనుకు టోకెన్‌లు; ప్రతి చిప్ దాని అతిపెద్ద మెమరీ సైజు వద్ద (128 GB, 192 GB), మోడల్ యొక్క సరిపోయే ఉత్తమ వెర్షన్‌తో.
| మోడల్ | M1 Ultra | M2 Ultra |
|---|---|---|
| Llama 3.1 8B Instruct8B | 42–75 8-బిట్ | 42–75 8-బిట్ |
| gpt-oss-20b21B · 3.6B యాక్టివ్ | 189–337 నేటివ్ 4.25-బిట్ | 189–337 నేటివ్ 4.25-బిట్ |
| Qwen3.6 35B A3B35B · 3B యాక్టివ్ | 113–200 8-బిట్ | 113–200 8-బిట్ |
| Qwen3.8 27B27B | 13–22 8-బిట్ | 13–22 8-బిట్ |
| Llama 3.3 70B Instruct70B | 5–9 8-బిట్ | 5–9 8-బిట్ |
| gpt-oss-120b117B · 5.1B యాక్టివ్ | 133–237 నేటివ్ 4.25-బిట్ | 133–237 నేటివ్ 4.25-బిట్ |
| Qwen3.5 122B A10B122B · 10B యాక్టివ్ | 64–114 4-బిట్ | 34–60 8-బిట్ |
| DeepSeek V4 Flash 0731284B · 13B యాక్టివ్ | 88–156 2-బిట్ తక్కువ నాణ్యత | 63–112 3-బిట్ తక్కువ నాణ్యత |
ప్రశ్నలు
- LLMలకు M2 Ultra, M1 Ultra కంటే వేగవంతమైనదా?
- దాదాపు ఒకటే: వీటి మెమరీ బ్యాండ్విడ్త్లో కొన్ని శాతాల తేడానే ఉంది. M2 Ultraలో 192 GB వరకు మెమరీ వస్తుంది, M1 Ultraలో 128 GB వరకు.
- M1 Ultra, M2 Ultraలలో పెద్ద మోడల్లను ఏది నడపగలదు?
- M2 Ultra: M2 Ultraలో 192 GB వరకు మెమరీ వస్తుంది, M1 Ultraలో 128 GB వరకు. దాని అతిపెద్ద సైజు వద్ద అది 73 ఓపెన్ మోడల్లలో 49ను బాగా నడుపుతుంది, రెండోది 47.
మరిన్ని పోలికలు
లోకల్ AI కోసం M1 Ultra · లోకల్ AI కోసం M2 Ultra · అన్ని మోడల్లను పోల్చండి · లోకల్ LLMలకు ఉత్తమ Mac
ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.