క్లుప్తంగా
- Mac mini 64 GB (M5 Pro) వరకు, Mac Studio M5 Maxతో 128 GB వరకు, M5 Ultraతో 512 GB వరకు వెళ్తుంది (Apple, Apple).
- రాసే వేగాన్ని బ్యాండ్విడ్త్ నిర్ణయిస్తుంది: M6 Mac miniపై 153–170 GB/s, M5 Proపై 307 GB/s, M5 Maxపై 614 GB/s వరకు, M5 Ultraపై 1,200 GB/s.
- 4-bitలో సుమారు 30B పారామీటర్ల వరకు మోడల్లు: M5 Pro ఉన్న Mac mini చాలు. 70B తరగతి మోడల్లు, gpt-oss-120b లేదా పొడవైన కాంటెక్స్ట్: 128 GB ఉన్న Mac Studio. అతిపెద్ద ఓపెన్ మోడల్లు: M5 Ultra ఉన్న Mac Studio.
- మెమరీని తర్వాత అప్‌గ్రేడ్ చేయలేరు, కాబట్టి ఈ రోజు మాత్రమే కాకుండా వచ్చే ఏడాది మీరు నడపాలనుకునే మోడల్‌ల కోసం ఎంచుకోండి.
1AIకి ముఖ్యమైన స్పెక్స్
| Mac | మెమరీ ఆప్షన్‌లు | మెమరీ బ్యాండ్విడ్త్ | 4-bitలో అతిపెద్ద మోడల్ | కరెంటు, ఐడిల్ నుంచి గరిష్ఠం |
|---|---|---|---|---|
| Mac mini, M6 | 16, 24 లేదా 32 GB | 153–170 GB/s | సుమారు 21B నుంచి 42B | 4–70 W |
| Mac mini, M5 Pro | 24, 48 లేదా 64 GB | 307 GB/s | సుమారు 32B నుంచి 85B | 6–145 W |
| Mac Studio, M5 Max | 36, 48, 64 లేదా 128 GB | 460–614 GB/s | సుమారు 48B నుంచి 170B | 7–200 W |
| Mac Studio, M5 Ultra | 96, 256 లేదా 512 GB | 1,200 GB/s | సుమారు 128B నుంచి 682B | 9–385 W |
ప్రతి కాన్ఫిగరేషన్ దానిపై బాగా నడిచే మోడల్లకు లింక్ చేస్తుంది. పాత మోడల్లు కూడా ఇదే విధంగా పనిచేస్తాయి: M4 లేదా M4 Pro ఉన్న Mac mini, M4 Max లేదా M3 Ultra ఉన్న Mac Studio (ర్యాంక్ చేసిన ప్రతి Mac).
2ఒక్కొక్కటి ఎంత వేగంగా రాస్తుంది
టెక్స్ట్ రాసేటప్పుడు ప్రతి టోకెన్‌కు మోడల్ యాక్టివ్ వెయిట్‌లను ఒకసారి చదవాలి, కాబట్టి మెమరీ బ్యాండ్విడ్త్ వేగానికి పరిమితి పెడుతుంది. 4-bitలో 32B dense మోడల్‌కు, సుమారు 18 GB:
| Mac | ఒక చాట్‌కు గరిష్ఠ పరిమితి | సరిపోతుందా? |
|---|---|---|
| Mac mini, M6 (32 GB) | సెకనుకు సుమారు 9 టోకెన్లు | అవును |
| Mac mini, M5 Pro (48 లేదా 64 GB) | సెకనుకు సుమారు 17 టోకెన్లు | అవును |
| Mac Studio, M5 Max (48 GB లేదా ఎక్కువ) | సెకనుకు సుమారు 34 టోకెన్లు | అవును |
| Mac Studio, M5 Ultra | సెకనుకు సుమారు 67 టోకెన్లు | అవును |
Mixture-of-experts మోడల్లు ప్రతి టోకెన్‌కు తమ వెయిట్‌లలో ఒక భాగాన్నే చదువుతాయి, కాబట్టి వాటి సైజు సూచించే దానికంటే చాలా వేగంగా రాస్తాయి: అవి సరిపోతాయో లేదో మెమరీ నిర్ణయిస్తుంది, వేగాన్ని ఇంకా బ్యాండ్విడ్త్ నిర్ణయిస్తుంది. పొడవైన ప్రాంప్ట్‌ను చదవడం బ్యాండ్విడ్త్ కంటే GPU కంప్యూట్‌పై ఆధారపడుతుంది; అక్కడ Max, Ultra చిప్‌ల పెద్ద GPUలు ఇంకా ముందుంటాయి.
3ఏ మోడల్లకు ఏది
- చిన్న, మధ్య సైజు మోడల్లు (4-bitలో సుమారు 30B వరకు), చాట్, కోడింగ్ సహాయకులు, ఇంటి AI సర్వర్: 48 లేదా 64 GB ఉన్న M5 Pro Mac mini. 32 GB ఉన్న M6 Mac mini అవే సైజులను సుమారు సగం వేగంతో నడుపుతుంది.
- 70B తరగతి మోడల్లు, gpt-oss-120b, పొడవైన కాంటెక్స్ట్ లేదా ఒకేసారి పలు మోడల్లు: 128 GB ఉన్న M5 Max Mac Studio. OpenAI సొంత gpt-oss-120b ఫైల్‌లు సుమారు 65 GB (OpenAI), ఏ Mac mini తన GPUకి ఇవ్వగల దానికంటే ఎక్కువ.
- అతిపెద్ద ఓపెన్ మోడల్లు (వందల బిలియన్ పారామీటర్‌లు): 256 లేదా 512 GB ఉన్న M5 Ultra Mac Studio, లేదా పలు Macలు కలిసి (Mac AI క్లస్టర్‌లు).
ఒక నిర్దిష్ట మోడల్ కోసం, దాని పేజీ దాన్ని నడిపే అతిచిన్న Macను, ప్రతి చిప్‌పై వేగాన్ని చూపిస్తుంది: ప్రతి ఓపెన్ మోడల్.
4రోజంతా నడపడం
రెండూ నిశ్శబ్దమైన, సమర్థవంతమైన, ఎప్పుడూ ఆన్‌లో ఉండే మెషీన్‌లు. పై Apple సంఖ్యల ప్రకారం Mac mini ఐడిల్‌లో 4–6 W, Mac Studio 7–9 W వాడుతుంది; పూర్తి లోడ్‌లో M5 Ultra ఉన్న Mac Studio 385 W వరకు వాడగలదు. దాన్ని మేల్కొని ఉంచడం, ఇతర డివైస్‌లకు మోడల్లను అందించడం AI సర్వర్‌గా Mac miniలో, ఒక రోజు ఖర్చు Mac ఎంత కరెంటు వాడుతుందిలో ఉన్నాయి.
అది ఖాళీగా ఉన్నప్పుడు, MLX Node MLX Network కోసం AI జాబ్‌లు నడిపి MLX Tokens సంపాదించగలదు. చిప్‌కు సరిపోయే ప్రత్యేక సీటు వేగంగా మైన్ చేస్తుంది: M6కు Core, M5 Pro, M5 Maxకు Pro, M5 Ultraకు Ultra. సంపాదనకు హామీ లేదు: రిస్క్‌లు చదవండి.
5ప్రశ్నలు
- AIకి Mac mini కంటే Mac Studio విలువైనదా?
- సుమారు 85B పారామీటర్ల కంటే పెద్ద మోడల్లు, gpt-oss-120b లేదా పొడవైన కాంటెక్స్ట్ కావాలంటే, అవును: 64 GB కంటే ఎక్కువ ఉన్నది Mac Studio మాత్రమే. 4-bitలో సుమారు 30B వరకు మోడల్లకు, M5 Pro ఉన్న Mac mini వాటిని నడుపుతుంది, M5 Max బ్యాండ్విడ్త్లో సుమారు సగంతో.
- Mac mini 70B మోడల్ నడపగలదా?
- 64 GB ఉన్న M5 Pro మాత్రమే, 4-bitలో, చిన్న కాంటెక్స్ట్తో: డిఫాల్ట్గా GPU వాడగల 48 GBలో వెయిట్లు సుమారు 39 GB, సెకనుకు కొన్ని టోకెన్లు. 128 GB ఉన్న Mac Studio దాన్ని కాంటెక్స్ట్కు చోటుతో, సుమారు రెండింతలు వేగంగా నడుపుతుంది.
- LLMలకు Mac Studio M5 Max లేదా M5 Ultra?
- M5 Ultraకు సుమారు రెండింతల బ్యాండ్విడ్త్ ఉంది (614 GB/sకు 1,200), కాబట్టి సుమారు రెండింతలు వేగంగా రాస్తుంది, 512 GB వరకు వెళ్తుంది. 128 GB ఉన్న M5 Max 4-bitలో సుమారు 170B వరకు మోడల్లను కవర్ చేస్తుంది. M5 Max vs M5 Ultra చూడండి.
- AIకి Mac mini M6 లేదా M5 Pro?
- M5 Pro: 24 లేదా 32 GB ఉన్న M6 కంటే అది మెమరీని సుమారు 80% వేగంగా చదువుతుంది, 32 GBకి బదులు 64 GB వరకు వెళ్తుంది.
ఆధారాలు
- Applesupport.apple.com
- Applesupport.apple.com
- Mac minisupport.apple.com
- Mac Studiosupport.apple.com
- llama.cpp బెంచ్‌మార్క్‌లుgithub.com
- OpenAIhuggingface.co