లాగిన్వాలెట్ సృష్టించండి

Macలో Nemotron 3.5 Lightning 30B A3B నడుస్తుందా?

అవును, 32 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీతో. Nemotron 3.5 Lightning 30B A3Bలో 30B పారామీటర్‌లు ఉన్నాయి, వాటిలో ప్రతి టోకెన్‌కు 3B యాక్టివ్‌గా ఉంటాయి; ప్రతి ప్రెసిషన్ వద్ద దీనికి కావలసిన మెమరీ, ప్రతి Apple చిప్ దీన్ని ఎంత వేగంగా నడుపుతుందో ఇక్కడ చూడండి.

4-బిట్ వద్ద మెమరీ18.4 GBవెయిట్‌లు 16.9 GB + కాంటెక్స్ట్
అతిచిన్న Mac32 GB4-బిట్ · 55 Mac కాన్ఫిగరేషన్‌లు
అత్యంత వేగవంతమైన Mac169–300టోకెన్‌లు/సెకను · M5 Ultra 96 GB (అంచనా)

ప్రతి ప్రెసిషన్ వద్ద మెమరీ

వెర్షన్వెయిట్‌లుకాంటెక్స్ట్‌తోఅతిచిన్న Mac
8-బిట్31.9 GB34.5 GB48 GB
6-బిట్24.4 GB26.4 GB36 GB
4-బిట్16.9 GB18.4 GB32 GB
3-బిట్ తక్కువ నాణ్యత13.1 GB14.6 GB24 GB
2-బిట్ తక్కువ నాణ్యత9.4 GB10.9 GB16 GB

ప్రతి Apple చిప్‌పై

Nemotron 3.5 Lightning 30B A3Bను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.

చిప్కావాలివెర్షన్టోకెన్‌లు/సెకను
M632 GB4-బిట్ బాగా నడుస్తుంది45–80
M5 Ultra96 GB8-బిట్ బాగా నడుస్తుంది169–300
M5 Max36 GB6-బిట్ బాగా నడుస్తుంది86–153
M5 Pro48 GB8-బిట్ బాగా నడుస్తుంది43–77
M532 GB4-బిట్ బాగా నడుస్తుంది41–72
M4 Max36 GB6-బిట్ బాగా నడుస్తుంది77–137
M4 Pro48 GB8-బిట్ బాగా నడుస్తుంది38–68
M432 GB4-బిట్ బాగా నడుస్తుంది32–56
M3 Ultra96 GB8-బిట్ బాగా నడుస్తుంది115–205
M3 Max36 GB6-బిట్ బాగా నడుస్తుంది56–100
M3 Pro36 GB6-బిట్ బాగా నడుస్తుంది28–50
M316 GB2-బిట్ బాగా నడుస్తుంది50–89
M2 Ultra64 GB8-బిట్ బాగా నడుస్తుంది113–200
M2 Max32 GB4-బిట్ బాగా నడుస్తుంది106–188
M2 Pro32 GB4-బిట్ బాగా నడుస్తుంది53–94
M216 GB2-బిట్ బాగా నడుస్తుంది50–89
M1 Ultra64 GB8-బిట్ బాగా నడుస్తుంది113–200
M1 Max32 GB4-బిట్ బాగా నడుస్తుంది106–188
M1 Pro32 GB4-బిట్ బాగా నడుస్తుంది53–94
M116 GB2-బిట్ బాగా నడుస్తుంది34–60

దీన్ని ఎలా నడపాలి

  1. సులభమైన మార్గం: ఉచితమైన, ఓపెన్ సోర్స్ MLX Harnessను డౌన్‌లోడ్ చేయండి. Nemotron 3.5 Lightning 30B A3B కోసం వెతికి, మీ Macలో సరిపోయే వెర్షన్‌ను డౌన్‌లోడ్ చేసి, చాట్ చేయండి. ఇది OpenAI-compatible API ద్వారా ఆ మోడల్‌ను మీ ఇతర యాప్‌లకు కూడా అందిస్తుంది.MLX Harness డౌన్‌లోడ్ చేయండిఉచితం · Apple Silicon · macOS 14.5 లేదా తర్వాతి వెర్షన్
  2. Terminalలో Apple MLXతో:pip install mlx-lmmlx_lm.chat --model mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bitబిల్డ్: Hugging Faceలో mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit. ఇతర ప్రెసిషన్‌లు దాని పక్కనే ఉన్నాయి.

దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp

Nemotron 3.5 Lightning 30B A3B గురించి

తయారీదారుNVIDIA
పారామీటర్‌లుమొత్తం 30B · యాక్టివ్ 3B (mixture of experts)
కాంటెక్స్ట్256K టోకెన్‌లు
లైసెన్స్OpenMDW-1.1
విడుదల2026-08
ఇన్‌పుట్టెక్స్ట్
ఇంటెలిజెన్స్Artificial Analysis Intelligence Indexలో 12.9
వెయిట్‌లుnvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16

ప్రశ్నలు

Nemotron 3.5 Lightning 30B A3Bకు ఎంత మెమరీ కావాలి?
4-బిట్ వద్ద సుమారు 16.9 GB వెయిట్‌లు, దానితో పాటు కాంటెక్స్ట్‌కు చోటు: మొత్తం 18.4 GB. Macలో అంటే 32 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్‌గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది.
Macలో Nemotron 3.5 Lightning 30B A3B ఎంత వేగంగా నడుస్తుంది?
రాసే వేగం మెమరీ బ్యాండ్‌విడ్త్‌పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 96 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 169–300 టోకెన్‌లు (8-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 32 GB ఉన్న M2 Max, సుమారు 106–188 వరకు చేరుతుంది.
Nemotron 3.5 Lightning 30B A3B దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?
ఇది mixture-of-experts మోడల్: మెమరీలో 30B పారామీటర్‌లను ఉంచుతుంది, కానీ ప్రతి టోకెన్‌కు 3B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.

ఇలాంటి మోడల్‌లు

అన్ని మోడల్‌లు · అన్ని Macలు · మీ Macను పోల్చండి

మీ మోడల్ కార్డ్ లేదా README కోసం

Runs on a Mac: Nemotron 3.5 Lightning 30B A3B Nemotron 3.5 Lightning 30B A3Bను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-lightning-30b-a3b.svg)](https://mlx.app/run/nemotron-3.5-lightning-30b-a3b)

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.

Macలో Nemotron 3.5 Lightning 30B A3B నడుస్తుందా? మెమరీ, వేగం