Hy-Memory-30B-A3Bకు ఎంత మెమరీ కావాలి?

4-బిట్ వద్ద సుమారు 16.9 GB వెయిట్లు, దానితో పాటు కాంటెక్స్ట్కు చోటు: మొత్తం 18.4 GB. Macలో అంటే 32 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది.

Macలో Hy-Memory-30B-A3B ఎంత వేగంగా నడుస్తుంది?

రాసే వేగం మెమరీ బ్యాండ్విడ్త్పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 96 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 159–282 టోకెన్లు (8-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 32 GB ఉన్న M2 Max, సుమారు 100–178 వరకు చేరుతుంది.

Hy-Memory-30B-A3B దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?

ఇది mixture-of-experts మోడల్: మెమరీలో 30.1B పారామీటర్లను ఉంచుతుంది, కానీ ప్రతి టోకెన్కు 3.2B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.

Macలో Hy-Memory-30B-A3B నడుస్తుందా? మెమరీ, వేగం

ప్రతి ప్రెసిషన్ వద్ద మెమరీ

వెర్షన్	వెయిట్‌లు	కాంటెక్స్ట్‌తో	అతిచిన్న Mac
8-బిట్	31.9 GB	34.5 GB	48 GB
6-బిట్	24.4 GB	26.4 GB	36 GB
4-బిట్	16.9 GB	18.4 GB	32 GB
3-బిట్ తక్కువ నాణ్యత	13.2 GB	14.7 GB	24 GB
2-బిట్ తక్కువ నాణ్యత	9.4 GB	10.9 GB	16 GB

ప్రతి Apple చిప్‌పై

Hy-Memory-30B-A3Bను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.

చిప్	కావాలి	వెర్షన్	టోకెన్‌లు/సెకను
M6	32 GB	4-బిట్ బాగా నడుస్తుంది	43–76
M5 Ultra	96 GB	8-బిట్ బాగా నడుస్తుంది	159–282
M5 Max	36 GB	6-బిట్ బాగా నడుస్తుంది	80–142
M5 Pro	48 GB	8-బిట్ బాగా నడుస్తుంది	41–72
M5	32 GB	4-బిట్ బాగా నడుస్తుంది	38–68
M4 Max	36 GB	6-బిట్ బాగా నడుస్తుంది	71–126
M4 Pro	48 GB	8-బిట్ బాగా నడుస్తుంది	36–64
M4	32 GB	4-బిట్ బాగా నడుస్తుంది	30–53
M3 Ultra	96 GB	8-బిట్ బాగా నడుస్తుంది	108–193
M3 Max	36 GB	6-బిట్ బాగా నడుస్తుంది	52–92
M3 Pro	36 GB	6-బిట్ బాగా నడుస్తుంది	26–46
M3	16 GB	2-బిట్ బాగా నడుస్తుంది	45–80
M2 Ultra	64 GB	8-బిట్ బాగా నడుస్తుంది	106–188
M2 Max	32 GB	4-బిట్ బాగా నడుస్తుంది	100–178
M2 Pro	32 GB	4-బిట్ బాగా నడుస్తుంది	50–89
M2	16 GB	2-బిట్ బాగా నడుస్తుంది	45–80
M1 Ultra	64 GB	8-బిట్ బాగా నడుస్తుంది	106–188
M1 Max	32 GB	4-బిట్ బాగా నడుస్తుంది	100–178
M1 Pro	32 GB	4-బిట్ బాగా నడుస్తుంది	50–89
M1	16 GB	2-బిట్ బాగా నడుస్తుంది	31–54

దీన్ని ఎలా నడపాలి

సులభమైన మార్గం: ఉచితమైన, ఓపెన్ సోర్స్ MLX Harnessను డౌన్‌లోడ్ చేయండి. Hy-Memory-30B-A3B కోసం వెతికి, మీ Macలో సరిపోయే వెర్షన్‌ను డౌన్‌లోడ్ చేసి, చాట్ చేయండి. ఇది OpenAI-compatible API ద్వారా ఆ మోడల్‌ను మీ ఇతర యాప్‌లకు కూడా అందిస్తుంది.MLX Harness డౌన్‌లోడ్ చేయండిఉచితం · Apple Silicon · macOS 14.5 లేదా తర్వాతి వెర్షన్
Terminalలో Apple MLXతో:pip install mlx-lmmlx_lm.chat --model mlx-community/Hy-Memory-30B-A3B-4bit --trust-remote-code--trust-remote-code వల్ల ఈ బిల్డ్‌తో వచ్చే Python కోడ్‌ను mlx-lm నడపగలదు; అది లేకుండా మోడల్ లోడ్ కాదు.బిల్డ్: Hugging Faceలో mlx-community/Hy-Memory-30B-A3B-4bit. ఇతర ప్రెసిషన్‌లు దాని పక్కనే ఉన్నాయి.

దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp

Hy-Memory-30B-A3B గురించి

తయారీదారు	Tencent
పారామీటర్‌లు	మొత్తం 30.1B · యాక్టివ్ 3.2B (mixture of experts)
కాంటెక్స్ట్	256K టోకెన్‌లు
లైసెన్స్	Apache-2.0
విడుదల	2026-10
ఇన్‌పుట్	టెక్స్ట్
వెయిట్‌లు	tencent/Hy-Memory-30B-A3B

ప్రశ్నలు

Hy-Memory-30B-A3Bకు ఎంత మెమరీ కావాలి?: 4-బిట్ వద్ద సుమారు 16.9 GB వెయిట్‌లు, దానితో పాటు కాంటెక్స్ట్‌కు చోటు: మొత్తం 18.4 GB. Macలో అంటే 32 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్‌గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది.
Macలో Hy-Memory-30B-A3B ఎంత వేగంగా నడుస్తుంది?: రాసే వేగం మెమరీ బ్యాండ్‌విడ్త్‌పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 96 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 159–282 టోకెన్‌లు (8-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 32 GB ఉన్న M2 Max, సుమారు 100–178 వరకు చేరుతుంది.
Hy-Memory-30B-A3B దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?: ఇది mixture-of-experts మోడల్: మెమరీలో 30.1B పారామీటర్‌లను ఉంచుతుంది, కానీ ప్రతి టోకెన్‌కు 3.2B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.

ఇలాంటి మోడల్‌లు

అన్ని మోడల్‌లు · అన్ని Macలు · మీ Macను పోల్చండి

మీ మోడల్ కార్డ్ లేదా README కోసం

Hy-Memory-30B-A3Bను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.

[![Runs on a Mac](https://mlx.app/badge/run/hy-memory-30b-a3b.svg)](https://mlx.app/run/hy-memory-30b-a3b)

ఎలా లెక్కించాం

మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్‌కు చోటు. డిఫాల్ట్‌గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.

ఓపెన్ డేటా: mlx.app/data (JSON, CSV)