M3 70B మోడల్ను నడపగలదా?

సులువుగా కాదు. 4-బిట్లో 70B మోడల్కు సుమారు 40 GB కావాలి, M3లో గరిష్ఠంగా 24 GB మాత్రమే ఉంది. సుమారు 32B పారామీటర్ల వరకు ఉన్న మోడల్లు బాగా సరిపోతాయి.

M3 సెకనుకు ఎన్ని టోకెన్లు ఇస్తుంది?

4-బిట్లో 8B మోడల్కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 22 టోకెన్లు, నిజమైన రన్లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.

AIకి M3 మంచిదేనా?

మోడల్లను లోకల్గా నడపడానికి మెమరీ, బ్యాండ్విడ్త్ అన్నిటికంటే ముఖ్యం. M3లో 100 GB/s వేగంతో 24 GB వరకు మెమరీ ఉంది, ఇది సుమారు 32 బిలియన్ పారామీటర్ల వరకు ఉన్న మోడల్లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

లోకల్ LLMల కోసం M3: మెమరీ, వేగం, ఏ మోడల్‌లు సరిపోతాయి

1AIకి ముఖ్యమైన స్పెక్స్

యూనిఫైడ్ మెమరీ	24 GB
మెమరీ బ్యాండ్‌విడ్త్	100 GB/s
ఇది ఉన్న Macలు	MacBook Air (2024), 14-inch MacBook Pro (2023), iMac (2023)
దీనికి ప్రత్యేక సీటు	Core సీటు: రోజుకు 20 MLX వరకు మైన్ చేస్తుంది

2ఏ మోడల్‌లు సరిపోతాయి

ఒక్కో వెయిట్‌కు 4 బిట్‌లైతే, ఒక మోడల్‌కు ప్రతి బిలియన్ పారామీటర్‌లకు అర గిగాబైట్ కంటే కొంచెం ఎక్కువ కావాలి, దానితో పాటు దాని కాంటెక్స్ట్‌కు, macOSకు చోటు. 24 GBతో M3 సుమారు 32 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లను సులువుగా పట్టుకుంటుంది.

4-బిట్‌లో మోడల్	కావాల్సిన మెమరీ	M3లో సరిపోతుందా
8B మోడల్	4.5 GB	అవును
14B మోడల్	7.9 GB	అవును
32B మోడల్	18 GB	అవును
70B మోడల్	39.4 GB	లేదు
gpt-oss-120b, mixture-of-experts	65 GB	లేదు
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	లేదు
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	లేదు

3ఎంత వేగంగా నడుస్తుంది

టెక్స్ట్ రాసే వేగాన్ని మెమరీ బ్యాండ్‌విడ్త్ పరిమితం చేస్తుంది: ప్రతి కొత్త టోకెన్ మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదువుతుంది. M3కి ఉన్న 100 GB/sను ఒక్కో టోకెన్‌కు చదివే బైట్‌లతో భాగిస్తే కింది గరిష్ఠ పరిమితి వస్తుంది. నిజమైన రన్‌లు సాధారణంగా దానిలో సుమారు 45% నుండి 80% వరకు చేరుతాయి (llama.cpp బెంచ్‌మార్క్‌లు).

4-బిట్‌లో మోడల్	ఒక్కో టోకెన్‌కు చదివేది	ఒక చాట్‌కు గరిష్ఠ పరిమితి
8B మోడల్	4.5 GB	సెకనుకు 22 టోకెన్‌లు
14B మోడల్	7.9 GB	సెకనుకు 13 టోకెన్‌లు
32B మోడల్	18 GB	సెకనుకు 6 టోకెన్‌లు

మీ M3 Macతో సంపాదించండి

MLX Node మీరు పెట్టిన పరిమితుల లోపల MLX Network కోసం AI పనులు నడిపి MLX టోకెన్‌లు సంపాదిస్తుంది. M3 ఉన్న Mac Core సీట్లను పూర్తి రేటుతో నడుపుతుంది, అక్కడ ఒక సీటు రోజుకు 20 MLX వరకు మైన్ చేస్తుంది; ఉచిత సీటుపై Mac రోజుకు 1 MLX వరకు మైన్ చేస్తుంది. మైన్ చేసిన MLX ఉచిత సీటులో 30 రోజులు, ప్రత్యేక సీటుతో 3 నుంచి 20 రోజులు లాక్ అవుతుంది. ప్రత్యేక సీట్లు, రిస్క్‌లు చూడండి.

MLX Node డౌన్‌లోడ్ చేయండి

5ఇతర చిప్‌లతో పోల్చండి

6ప్రశ్నలు

M3 70B మోడల్‌ను నడపగలదా?: సులువుగా కాదు. 4-బిట్‌లో 70B మోడల్‌కు సుమారు 40 GB కావాలి, M3లో గరిష్ఠంగా 24 GB మాత్రమే ఉంది. సుమారు 32B పారామీటర్‌ల వరకు ఉన్న మోడల్‌లు బాగా సరిపోతాయి.
M3 సెకనుకు ఎన్ని టోకెన్‌లు ఇస్తుంది?: 4-బిట్‌లో 8B మోడల్‌కు గరిష్ఠ పరిమితి సెకనుకు సుమారు 22 టోకెన్‌లు, నిజమైన రన్‌లు దానిలో దాదాపు సగం నుండి ఐదింట నాలుగు వంతుల వరకు చేరుతాయి. పెద్ద మోడల్‌లు అదే నిష్పత్తిలో నెమ్మదిగా ఉంటాయి.
AIకి M3 మంచిదేనా?: మోడల్‌లను లోకల్‌గా నడపడానికి మెమరీ, బ్యాండ్‌విడ్త్ అన్నిటికంటే ముఖ్యం. M3లో 100 GB/s వేగంతో 24 GB వరకు మెమరీ ఉంది, ఇది సుమారు 32 బిలియన్ పారామీటర్‌ల వరకు ఉన్న మోడల్‌లకు సరిపోతుంది. MLX Nodeతో MLX Network కోసం AI పనులు నడిపి ఇది సంపాదించగలదు కూడా.

ఆధారాలు

Apple: M3, M3 Pro and M3 Maxapple.com
llama.cpp: Apple Silicon benchmarksgithub.com