లోకల్ LLMలకు ఉత్తమ Mac.

1మెమరీ, బ్యాండ్‌విడ్త్ అన్నింటినీ ఎందుకు నిర్ణయిస్తాయి

లాంగ్వేజ్ మోడల్ ఒకసారికి ఒక టోకెన్ రాస్తుంది, ప్రతి దానికీ ప్రతి యాక్టివ్ వెయిట్‌ను మెమరీ నుండి చదువుతుంది. కాబట్టి ఒక్క సంభాషణకు వేగ పరిమితి దాదాపు మెమరీ బ్యాండ్‌విడ్త్‌ను యాక్టివ్ వెయిట్‌ల సైజుతో భాగించినంత. llama.cpp పబ్లిక్ బెంచ్‌మార్క్‌లలో, Apple చిప్‌లపై నిజమైన జనరేషన్ ఆ పరిమితిలో 43% నుండి 80% వరకు చేరుతుంది (llama.cpp).

మీ ప్రాంప్ట్‌ను చదవడం వేరు: ఆ భాగాన్ని పరిమితం చేసేది కంప్యూట్; అందుకే GPUలో న్యూరల్ యాక్సిలరేటర్‌లు ఉన్న M5 తరం చిప్‌లు ముందువాటి కంటే ప్రాంప్ట్‌లను చాలా రెట్లు వేగంగా ప్రాసెస్ చేస్తాయి (Apple).

2ప్రతి చిప్, పోలికలో

మెమరీ ఉంటే పాత చిప్‌లు కూడా బాగా పనిచేస్తాయి. 64 GB ఉన్న M1 Max లేదా M2 Max 400 GB/s వేగంతో చదువుతుంది, ఈరోజు ఏ బేస్ చిప్ కంటే అయినా ఎక్కువ; సెకండ్-హ్యాండ్‌లో తరచూ చాలా తక్కువ ధరకు దొరుకుతుంది.

3ఏ Mac కొనాలి

ప్రయత్నించి చూడటానికి: 16 నుండి 32 GB ఉన్న MacBook Air లేదా Mac mini

7B నుండి 14B మోడల్‌లను సౌకర్యంగా, 32 GBలో 30B తరగతి మోడల్‌లను నడుపుతుంది. చాట్, రాయడం, చిన్న కోడింగ్ సహాయానికి సరిపోతుంది.

ఉత్తమ విలువ: 64 GBతో Pro చిప్

M4 Pro లేదా M5 Pro ఉన్న Mac mini లేదా MacBook Pro 70B తరగతి మోడల్‌లను పట్టుకుంటుంది, మధ్యస్థ సైజు మోడల్‌లను మంచి వేగంతో నడుపుతుంది. చాలామంది డెవలపర్‌లకు ఇదే సరైన ఎంపిక.

సీరియస్ లోకల్ AI: 128 GBతో Max చిప్

gpt-oss-120bను (4-బిట్‌లో సుమారు 65 GB) ల్యాప్‌టాప్‌పై నడుపుతుంది; Apple బ్యాండ్‌విడ్త్ సంఖ్య ప్రకారం, M5 Maxపై ఒక స్ట్రీమ్‌కు సైద్ధాంతిక గరిష్ఠం సెకనుకు సుమారు 225 టోకెన్‌లు. పోర్టబుల్‌లో ఉత్తమ ఎంపిక.

అతిపెద్ద మోడల్‌లు: Ultraతో Mac Studio

M5 Ultraతో 1.2 TB/s వేగంతో 512 GB వరకు, వందల బిలియన్ల పారామీటర్‌ల మోడల్‌లను ఒకే డెస్క్‌పై పట్టుకుంటుంది. ఇంకా పెద్ద మోడల్‌ల కోసం, Thunderbolt 5 ద్వారా Macలను క్లస్టర్‌గా కలపవచ్చు: Mac AI క్లస్టర్‌లు చూడండి.

4Mac తన ఖర్చు తానే సంపాదించుకోనివ్వండి

AI కోసం కొన్న Mac ఎక్కువ సమయం ఎదురుచూస్తూనే గడుపుతుంది. MLX Node అనేది ఆ ఖాళీ సామర్థ్యాన్ని MLX Networkకు ఇచ్చే ఉచిత యాప్; అదే MLX ఫ్రేమ్‌వర్క్‌పై AI పనులు నడిపి, ధృవీకరించిన పనికి MLX టోకెన్‌లు సంపాదిస్తుంది. చిప్‌కు సరిపోయే ప్రత్యేక సీటు అది సంపాదించేదాన్ని పలు రెట్లు పెంచుతుంది: Pro సీటు Pro లేదా Max చిప్‌పై పూర్తి రేటుతో నడుస్తుంది, Ultra సీటు Ultra చిప్‌పై.

ముందుగా MLX Benchలో మీ Macను పోల్చండి: ప్రతి చిప్‌పై ఓపెన్ మోడల్‌లకు కొలిచిన సెకనుకు టోకెన్‌లను అది చూపిస్తుంది.

5ప్రశ్నలు

లోకల్ LLMకు 16 GB సరిపోతుందా?

4-బిట్‌లో సుమారు 14B పారామీటర్‌ల వరకు మోడల్‌లకు సరిపోతుంది. పెద్ద మోడల్‌లకు లేదా పొడవైన కాంటెక్స్ట్‌లకు 32 GB లేదా అంతకంటే ఎక్కువ ఉంటే చాలా సౌకర్యం.

LLMలకు Mac Studioనా, MacBook Proనా?

రెండింటిలోనూ Max చిప్‌లు, 128 GB వరకు ఉంటాయి. MacBook Pro పోర్టబుల్; Mac Studio దీర్ఘ లోడ్‌లలో చల్లగా ఉంటుంది, Ultra చిప్‌లు, 512 GB వరకు ఉన్న ఏకైక Mac అదే.

లోకల్ AIకి Nvidia GPU కంటే Mac మంచిదా?

ఇంట్లో అతిపెద్ద మోడల్‌లకు, తరచూ అవును: సాధారణ గ్రాఫిక్స్ కార్డ్ మెమరీ కంటే Mac యూనిఫైడ్ మెమరీ చాలా ఎక్కువ పట్టుకుంటుంది. దాని మెమరీలో సరిపోయే మోడల్‌లపై హై-ఎండ్ Nvidia కార్డ్ వేగవంతమైనది.

M5 LLMలను వేగవంతం చేస్తుందా?

అవును, ప్రధానంగా ప్రాంప్ట్‌లు చదవడంలో: MLXతో M4 కంటే M5పై మొదటి టోకెన్ 3.3 నుండి 4.1 రెట్లు త్వరగా వచ్చిందని Apple కొలిచింది. జనరేషన్ వేగం మెమరీ బ్యాండ్‌విడ్త్‌తో పెరుగుతుంది; అది M4 నుండి M5కి 28% పెరిగింది.