ప్రతి ప్రెసిషన్ వద్ద మెమరీ
| వెర్షన్ | వెయిట్లు | కాంటెక్స్ట్‌తో | అతిచిన్న Mac |
|---|---|---|---|
| నేటివ్ 4.25-బిట్ | 13.8 GB | 15.3 GB | 24 GB |
| 3-బిట్ తక్కువ నాణ్యత | 9.2 GB | 10.7 GB | 16 GB |
| 2-బిట్ తక్కువ నాణ్యత | 6.6 GB | 8.1 GB | 16 GB |
ప్రతి Apple చిప్‌పై
gpt-oss-20bను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.
| చిప్ | కావాలి | వెర్షన్ | టోకెన్లు/సెకను |
|---|---|---|---|
| M6 | 24 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 40–72 |
| M5 Ultra | 96 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 284–505 |
| M5 Max | 36 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 109–194 |
| M5 Pro | 24 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 73–129 |
| M5 | 24 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 36–64 |
| M4 Max | 36 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 97–173 |
| M4 Pro | 24 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 65–115 |
| M4 | 24 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 28–51 |
| M3 Ultra | 96 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 194–345 |
| M3 Max | 36 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 71–126 |
| M3 Pro | 36 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 36–63 |
| M3 | 24 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 24–42 |
| M2 Ultra | 64 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 189–337 |
| M2 Max | 32 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 95–168 |
| M2 Pro | 32 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 47–84 |
| M2 | 24 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 24–42 |
| M1 Ultra | 64 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 189–337 |
| M1 Max | 32 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 95–168 |
| M1 Pro | 32 GB | నేటివ్ 4.25-బిట్ బాగా నడుస్తుంది | 47–84 |
| M1 | 16 GB | 3-బిట్ బాగా నడుస్తుంది | 19–34 |
దీన్ని ఎలా నడపాలి
- సులభమైన మార్గం: ఉచితమైన, ఓపెన్ సోర్స్ MLX Harnessను డౌన్‌లోడ్ చేయండి. gpt-oss-20b కోసం వెతికి, మీ Macలో సరిపోయే వెర్షన్‌ను డౌన్‌లోడ్ చేసి, చాట్ చేయండి. ఇది OpenAI-compatible API ద్వారా ఆ మోడల్‌ను మీ ఇతర యాప్‌లకు కూడా అందిస్తుంది.MLX Harness డౌన్‌లోడ్ చేయండిఉచితం · Apple Silicon · macOS 14.5 లేదా తర్వాతి వెర్షన్
- Terminalలో Apple MLXతో:
pip install mlx-lmmlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8బిల్డ్: Hugging Faceలో mlx-community/gpt-oss-20b-MXFP4-Q8. ఇతర ప్రెసిషన్‌లు దాని పక్కనే ఉన్నాయి.
దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp
gpt-oss-20b గురించి
| తయారీదారు | OpenAI |
|---|---|
| పారామీటర్‌లు | మొత్తం 21B · యాక్టివ్ 3.6B (mixture of experts) |
| కాంటెక్స్ట్ | 128K టోకెన్లు |
| లైసెన్స్ | Apache-2.0 |
| విడుదల | 2025-08 |
| ఇన్‌పుట్ | టెక్స్ట్ |
| ఇంటెలిజెన్స్ | Artificial Analysis Intelligence Indexలో 9 |
| వెయిట్లు | openai/gpt-oss-20b |
ప్రశ్నలు
- gpt-oss-20bకు ఎంత మెమరీ కావాలి?
- నేటివ్ 4.25-బిట్ వద్ద సుమారు 13.8 GB వెయిట్లు, దానితో పాటు కాంటెక్స్ట్కు చోటు: మొత్తం 15.3 GB. Macలో అంటే 24 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది.
- Macలో gpt-oss-20b ఎంత వేగంగా నడుస్తుంది?
- రాసే వేగం మెమరీ బ్యాండ్విడ్త్పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 96 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 284–505 టోకెన్లు (నేటివ్ 4.25-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 24 GB ఉన్న M5 Pro, సుమారు 73–129 వరకు చేరుతుంది.
- gpt-oss-20b దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?
- ఇది mixture-of-experts మోడల్: మెమరీలో 21B పారామీటర్లను ఉంచుతుంది, కానీ ప్రతి టోకెన్కు 3.6B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.
ఇలాంటి మోడల్‌లు
మీ మోడల్ కార్డ్ లేదా README కోసం
gpt-oss-20bను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.
[](https://mlx.app/run/gpt-oss-20b)ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్కు చోటు. డిఫాల్ట్గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.