ప్రతి ప్రెసిషన్ వద్ద మెమరీ
| వెర్షన్ | వెయిట్లు | కాంటెక్స్ట్‌తో | అతిచిన్న Mac |
|---|---|---|---|
| 8-బిట్ | 2.6 TB | 2.8 TB | ఏ Mac కంటే అయినా ఎక్కువ |
| 6-బిట్ | 2 TB | 2.1 TB | ఏ Mac కంటే అయినా ఎక్కువ |
| 4-బిట్ | 1.4 TB | 1.5 TB | ఏ Mac కంటే అయినా ఎక్కువ |
| 3-బిట్ తక్కువ నాణ్యత | 1.1 TB | 1.1 TB | ఏ Mac కంటే అయినా ఎక్కువ |
| 2-బిట్ తక్కువ నాణ్యత | 750 GB | 810 GB | ఏ Mac కంటే అయినా ఎక్కువ |
ప్రతి Apple చిప్‌పై
Qwen3.8 2.4T A95Bను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.
| చిప్ | కావాలి | వెర్షన్ | టోకెన్‌లు/సెకను |
|---|---|---|---|
| M6 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 Ultra | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 Ultra | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Ultra | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Ultra | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
దీన్ని ఎలా నడపాలి
ఏ ఒక్క Macలోనూ ఇది సరిపోదు. కింద ఉన్న చిన్న మోడల్‌లు బాగా నడుస్తాయి, ఒక మోడల్‌ను పలు Macలపై పంచి నడపడం గురించి Mac క్లస్టర్‌ల గైడ్ వివరిస్తుంది.
దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp
Qwen3.8 2.4T A95B గురించి
| తయారీదారు | Qwen (Alibaba) |
|---|---|
| పారామీటర్‌లు | మొత్తం 2,400B · యాక్టివ్ 95B (mixture of experts) |
| కాంటెక్స్ట్ | 256K టోకెన్‌లు |
| లైసెన్స్ | Qwen3.8-Max license (qwen3.8-max) |
| విడుదల | 2026-08 |
| ఇన్‌పుట్ | టెక్స్ట్ |
| ఇంటెలిజెన్స్ | Artificial Analysis Intelligence Indexలో 39.9 |
| వెయిట్లు | Qwen/Qwen3.8-2.4T-A95B |
ప్రశ్నలు
- Qwen3.8 2.4T A95Bకు ఎంత మెమరీ కావాలి?
- 4-బిట్ వద్ద సుమారు 1.4 TB వెయిట్లు, దానితో పాటు కాంటెక్స్ట్కు చోటు: మొత్తం 1.5 TB. ఈరోజు ఏ Macలోనూ ఇంత మెమరీ లేదు.
- ఏదైనా Mac Qwen3.8 2.4T A95Bను నడపగలదా?
- ఒంటరిగా కాదు: 2 బిట్ల వద్ద కూడా దీనికి అతిపెద్ద Mac కంటే ఎక్కువ మెమరీ కావాలి. చిన్న మోడల్ వాడండి, లేదా క్లస్టర్ రన్టైమ్తో దీన్ని పలు Macలపై పంచండి.
- Qwen3.8 2.4T A95B దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?
- ఇది mixture-of-experts మోడల్: మెమరీలో 2,400B పారామీటర్లను ఉంచుతుంది, కానీ ప్రతి టోకెన్కు 95B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.
ఇలాంటి మోడల్‌లు
మీ మోడల్ కార్డ్ లేదా README కోసం
Qwen3.8 2.4T A95Bను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.
[](https://mlx.app/run/qwen3.8-2.4t-a95b)ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.