ప్రతి ప్రెసిషన్ వద్ద మెమరీ
| వెర్షన్ | వెయిట్లు | కాంటెక్స్ట్‌తో | అతిచిన్న Mac |
|---|---|---|---|
| 8-బిట్ | 422 GB | 456 GB | ఏ Mac కంటే అయినా ఎక్కువ |
| 6-బిట్ | 323 GB | 348 GB | 512 GB |
| 4-బిట్ | 223 GB | 241 GB | 512 GB |
| 3-బిట్ తక్కువ నాణ్యత | 174 GB | 188 GB | 256 GB |
| 2-బిట్ తక్కువ నాణ్యత | 124 GB | 134 GB | 192 GB |
ప్రతి Apple చిప్‌పై
Qwen3.5 397B A17Bను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.
| చిప్ | కావాలి | వెర్షన్ | టోకెన్లు/సెకను |
|---|---|---|---|
| M6 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 Ultra | 512 GB | 6-బిట్ బాగా నడుస్తుంది | 39–70 |
| M5 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 Ultra | 512 GB | 6-బిట్ బాగా నడుస్తుంది | 27–47 |
| M3 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Ultra | 192 GB | 2-బిట్ బాగా నడుస్తుంది | 68–121 |
| M2 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Ultra | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
దీన్ని ఎలా నడపాలి
- సులభమైన మార్గం: ఉచితమైన, ఓపెన్ సోర్స్ MLX Harnessను డౌన్‌లోడ్ చేయండి. Qwen3.5 397B A17B కోసం వెతికి, మీ Macలో సరిపోయే వెర్షన్‌ను డౌన్‌లోడ్ చేసి, చాట్ చేయండి. ఇది OpenAI-compatible API ద్వారా ఆ మోడల్‌ను మీ ఇతర యాప్‌లకు కూడా అందిస్తుంది.MLX Harness డౌన్‌లోడ్ చేయండిఉచితం · Apple Silicon · macOS 14.5 లేదా తర్వాతి వెర్షన్
- Terminalలో Apple MLXతో:
pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-397B-A17B-4bitబిల్డ్: Hugging Faceలో mlx-community/Qwen3.5-397B-A17B-4bit. ఇతర ప్రెసిషన్‌లు దాని పక్కనే ఉన్నాయి.
దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp
Qwen3.5 397B A17B గురించి
| తయారీదారు | Qwen (Alibaba) |
|---|---|
| పారామీటర్‌లు | మొత్తం 397B · యాక్టివ్ 17B (mixture of experts) |
| కాంటెక్స్ట్ | 256K టోకెన్లు |
| లైసెన్స్ | Apache-2.0 |
| విడుదల | 2026-02 |
| ఇన్‌పుట్ | టెక్స్ట్, చిత్రాలు |
| ఇంటెలిజెన్స్ | Artificial Analysis Intelligence Indexలో 18.4 |
| వెయిట్లు | Qwen/Qwen3.5-397B-A17B |
ప్రశ్నలు
- Qwen3.5 397B A17Bకు ఎంత మెమరీ కావాలి?
- 4-బిట్ వద్ద సుమారు 223 GB వెయిట్లు, దానితో పాటు కాంటెక్స్ట్కు చోటు: మొత్తం 241 GB. Macలో అంటే 512 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది.
- Macలో Qwen3.5 397B A17B ఎంత వేగంగా నడుస్తుంది?
- రాసే వేగం మెమరీ బ్యాండ్విడ్త్పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 512 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 39–70 టోకెన్లు (6-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 512 GB ఉన్న M5 Ultra, సుమారు 39–70 వరకు చేరుతుంది.
- Qwen3.5 397B A17B దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?
- ఇది mixture-of-experts మోడల్: మెమరీలో 397B పారామీటర్లను ఉంచుతుంది, కానీ ప్రతి టోకెన్కు 17B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.
ఇలాంటి మోడల్‌లు
మీ మోడల్ కార్డ్ లేదా README కోసం
Qwen3.5 397B A17Bను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.
[](https://mlx.app/run/qwen3.5-397b-a17b)ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్కు చోటు. డిఫాల్ట్గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.