ప్రతి ప్రెసిషన్ వద్ద మెమరీ
| వెర్షన్ | వెయిట్లు | కాంటెక్స్ట్‌తో | అతిచిన్న Mac |
|---|---|---|---|
| 8-బిట్ | 293 GB | 317 GB | 512 GB |
| 6-బిట్ | 224 GB | 242 GB | 512 GB |
| 4-బిట్ | 155 GB | 168 GB | 256 GB |
| 3-బిట్ తక్కువ నాణ్యత | 121 GB | 131 GB | 192 GB |
| 2-బిట్ తక్కువ నాణ్యత | 86.3 GB | 93.2 GB | 128 GB |
ప్రతి Apple చిప్‌పై
Inkling Smallను నడిపే ప్రతి చిప్ యొక్క అతిచిన్న మెమరీ సైజు, దానిలో సరిపోయే ఉత్తమ వెర్షన్, ఆశించదగిన రాసే వేగం.
| చిప్ | కావాలి | వెర్షన్ | టోకెన్లు/సెకను |
|---|---|---|---|
| M6 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 Ultra | 256 GB | 4-బిట్ బాగా నడుస్తుంది | 79–141 |
| M5 Max | 128 GB | 2-బిట్ బాగా నడుస్తుంది | 73–129 |
| M5 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M5 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 Max | 128 GB | 2-బిట్ బాగా నడుస్తుంది | 65–115 |
| M4 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M4 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 Ultra | 256 GB | 4-బిట్ బాగా నడుస్తుంది | 54–96 |
| M3 Max | 128 GB | 2-బిట్ బాగా నడుస్తుంది | 47–84 |
| M3 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M3 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Ultra | 128 GB | 2-బిట్ బాగా నడుస్తుంది | 95–168 |
| M2 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M2 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Ultra | 128 GB | 2-బిట్ బాగా నడుస్తుంది | 95–168 |
| M1 Max | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 Pro | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
| M1 | ఏ సైజూ సరిపోదు | చాలా పెద్దది | – |
దీన్ని ఎలా నడపాలి
- సులభమైన మార్గం: ఉచితమైన, ఓపెన్ సోర్స్ MLX Harnessను డౌన్‌లోడ్ చేయండి. Inkling Small కోసం వెతికి, మీ Macలో సరిపోయే వెర్షన్‌ను డౌన్‌లోడ్ చేసి, చాట్ చేయండి. ఇది OpenAI-compatible API ద్వారా ఆ మోడల్‌ను మీ ఇతర యాప్‌లకు కూడా అందిస్తుంది.MLX Harness డౌన్‌లోడ్ చేయండిఉచితం · Apple Silicon · macOS 14.5 లేదా తర్వాతి వెర్షన్
- Terminalలో Apple MLXతో:
pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-Small-mlx-4bitబిల్డ్: Hugging Faceలో mlx-community/Inkling-Small-mlx-4bit. ఇతర ప్రెసిషన్‌లు దాని పక్కనే ఉన్నాయి.
దశలవారీగా: Macలో LLMలను డౌన్‌లోడ్ చేసి నడపండి · MLX Harnessను ఎలా వాడాలి · MLX vs Ollama vs llama.cpp
Inkling Small గురించి
| తయారీదారు | Thinking Machines Lab |
|---|---|
| పారామీటర్‌లు | మొత్తం 276B · యాక్టివ్ 12B (mixture of experts) |
| లైసెన్స్ | Apache-2.0 |
| విడుదల | 2026-07 |
| ఇన్‌పుట్ | టెక్స్ట్, చిత్రాలు |
| ఇంటెలిజెన్స్ | Artificial Analysis Intelligence Indexలో 25.7 |
| వెయిట్లు | thinkingmachines/Inkling-Small |
ప్రశ్నలు
- Inkling Smallకు ఎంత మెమరీ కావాలి?
- 4-బిట్ వద్ద సుమారు 155 GB వెయిట్లు, దానితో పాటు కాంటెక్స్ట్కు చోటు: మొత్తం 168 GB. Macలో అంటే 256 GB లేదా అంతకంటే ఎక్కువ యూనిఫైడ్ మెమరీ, ఎందుకంటే డిఫాల్ట్గా macOS దానిలో సుమారు 75%ను మాత్రమే GPU వాడుకోనిస్తుంది.
- Macలో Inkling Small ఎంత వేగంగా నడుస్తుంది?
- రాసే వేగం మెమరీ బ్యాండ్విడ్త్పై ఆధారపడుతుంది. ఇక్కడ దీనికి అత్యంత వేగవంతమైన Mac 256 GB ఉన్న M5 Ultra, సెకనుకు సుమారు 79–141 టోకెన్లు (4-బిట్). దీన్ని నడిపే అతిచిన్న Mac, 256 GB ఉన్న M5 Ultra, సుమారు 79–141 వరకు చేరుతుంది.
- Inkling Small దాని సైజుకు మించిన వేగంతో ఎందుకు నడుస్తుంది?
- ఇది mixture-of-experts మోడల్: మెమరీలో 276B పారామీటర్లను ఉంచుతుంది, కానీ ప్రతి టోకెన్కు 12B మాత్రమే చదువుతుంది, అందుకే చాలా చిన్న మోడల్ వేగంతో రాస్తుంది.
ఇలాంటి మోడల్‌లు
మీ మోడల్ కార్డ్ లేదా README కోసం
Inkling Smallను బాగా నడిపే అతిచిన్న Macను చూపి, ఇక్కడికి లింక్ ఇస్తుంది.
[](https://mlx.app/run/inkling-small)ఎలా లెక్కించాం
మెమరీ: మోడల్ పారామీటర్‌లు వెయిట్‌కు 8, 6, 4, 3 లేదా 2 బిట్‌ల వద్ద, దానితో పాటు MLX గ్రూప్ స్కేల్‌లు (వెయిట్‌కు అర బిట్), లేదా దాని నేటివ్ ఫార్మాట్, పైన కాంటెక్స్ట్కు చోటు. డిఫాల్ట్గా macOS యూనిఫైడ్ మెమరీలో సుమారు 75%ను GPU వాడుకోనిస్తుంది. వేగం: మెమరీ బ్యాండ్‌విడ్త్‌ను ప్రతి టోకెన్కు చదివే బైట్‌లతో భాగిస్తే ఒక సంభాషణకు గరిష్ఠ పరిమితి వస్తుంది; llama.cpp పబ్లిక్ Apple Silicon బెంచ్‌మార్క్‌లలో నిజమైన రన్‌లు దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి, ఆ పరిధినే చూపిస్తున్నాం. ఇవి అంచనాలు, కొలతలు కావు: మీ సొంత Macను MLX Benchలో కొలవండి. మోడల్ వివరాలు ప్రతి అధికారిక మోడల్ కార్డ్ నుండి, చిప్ వివరాలు Apple Tech Specs నుండి. 2026-10-19న తనిఖీ చేశాం. mlx.app/compareలో ఉన్న అదే డేటా.