ప్రతి ప్రెసిషన్ వద్ద మెమరీ
| వెర్షన్ | వెయిట్లు | కాంటెక్స్ట్‌తో | అతిచిన్న Mac |
|---|---|---|---|
| 8-బిట్ | 78.6 GB | 84.9 GB | 128 GB |
| 6-బిట్ | 60.1 GB | 64.9 GB | 96 GB |
| 4-బిట్ | 41.6 GB | 44.9 GB | 64 GB |
| 3-బిట్ తక్కువ నాణ్యత | 32.4 GB | 35 GB | 48 GB |
| 2-బిట్ తక్కువ నాణ్యత | 23.1 GB | 24.9 GB | 36 GB |
ప్రతి Apple చిప్‌పై
Nemotron 3.5 Bolt 74B A9Bను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.
| చిప్ | కావాలి | వెర్షన్ | టోకెన్లు/సెకను |
|---|---|---|---|
| M6 | 32 GB | 2-బిట్ అతికష్టంగా | 27–49 |
| M5 Ultra | 96 GB | 6-బిట్ బాగా నడుస్తుంది | 74–132 |
| M5 Max | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 54–96 |
| M5 Pro | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 27–48 |
| M5 | 32 GB | 2-బిట్ అతికష్టంగా | 25–44 |
| M4 Max | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 48–86 |
| M4 Pro | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 24–43 |
| M4 | 32 GB | 2-బిట్ అతికష్టంగా | 19–34 |
| M3 Ultra | 96 GB | 6-బిట్ బాగా నడుస్తుంది | 50–90 |
| M3 Max | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 35–63 |
| M3 Pro | 36 GB | 2-బిట్ బాగా నడుస్తుంది | 24–43 |
| M3 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Ultra | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 71–125 |
| M2 Max | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 35–63 |
| M2 Pro | 32 GB | 2-బిట్ అతికష్టంగా | 32–57 |
| M2 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Ultra | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 71–125 |
| M1 Max | 64 GB | 4-బిట్ బాగా నడుస్తుంది | 35–63 |
| M1 Pro | 32 GB | 2-బిట్ అతికష్టంగా | 32–57 |
| M1 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
దీన్ని ఎలా నడపాలి
- సులభమైన మార్గం: ఉచితమైన, ఓపెన్ సోర్స్ MLX Harnessను డౌన్‌లోడ్ చేయండి. Nemotron 3.5 Bolt 74B A9B కోసం వెతికి, మీ Macలో సరిపోయే వెర్షన్‌ను డౌన్‌లోడ్ చేసి, చాట్ చేయండి. ఇది OpenAI-compatible API ద్వారా ఆ మోడల్‌ను మీ ఇతర యాప్‌లకు కూడా అందిస్తుంది.MLX Harness డౌన్‌లోడ్ చేయండిఉచితం · Apple Silicon · macOS 14.5 లేదా తర్వాతి వెర్షన్
- Terminalలో Apple MLXతో: ఇంకా కమ్యూనిటీ MLX బిల్డ్ లేదు, కాబట్టి అధికారిక వెయిట్‌ల నుండి మీరే తయారు చేయండి:
pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q
దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp
Nemotron 3.5 Bolt 74B A9B గురించి
| తయారీదారు | NVIDIA |
|---|---|
| పారామీటర్‌లు | మొత్తం 74B · యాక్టివ్ 9B (mixture of experts) |
| కాంటెక్స్ట్ | 256K టోకెన్లు |
| లైసెన్స్ | OpenMDW-1.1 |
| విడుదల | 2026-10 |
| ఇన్‌పుట్ | టెక్స్ట్, చిత్రాలు |
| ఇంటెలిజెన్స్ | Artificial Analysis Intelligence Indexలో 21.4 |
| వెయిట్లు | nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 |
ప్రశ్నలు
- Nemotron 3.5 Bolt 74B A9Bకు ఎంత మెమరీ కావాలి?
- 4-బిట్ వద్ద సుమారు 41.6 GB వెయిట్లు, దానితో పాటు కాంటెక్స్ట్కు చోటు: మొత్తం 44.9 GB. Macలో అంటే 64 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది.
- Macలో Nemotron 3.5 Bolt 74B A9B ఎంత వేగంగా నడుస్తుంది?
- రాసే వేగం మెమరీ బ్యాండ్విడ్త్పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 96 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 74–132 టోకెన్లు (6-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 64 GB ఉన్న M2 Ultra, సుమారు 71–125 వరకు చేరుతుంది.
- Nemotron 3.5 Bolt 74B A9B దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?
- ఇది mixture-of-experts మోడల్: మెమరీలో 74B పారామీటర్లను ఉంచుతుంది, కానీ ప్రతి టోకెన్కు 9B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.
ఇలాంటి మోడల్‌లు
మీ మోడల్ కార్డ్ లేదా README కోసం
Nemotron 3.5 Bolt 74B A9Bను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.
[](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్కు చోటు. డిఫాల్ట్గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.