మీ Macలో LLM నడపండి.

1మీ Macలో ఏది సరిపోతుంది

మోడల్ వెయిట్‌లు మెమరీలో సరిపోవాలి, కాంటెక్స్ట్‌కు, macOSకు అదనపు చోటుతో. వెయిట్‌కు 4 బిట్‌ల వద్ద, ప్రతి బిలియన్ పారామీటర్‌లకు సుమారు 0.55 నుండి 0.6 GB లెక్కించండి.

వేగం వేరే ప్రశ్న: ప్రతి కొత్త టోకెన్‌కు యాక్టివ్ వెయిట్‌లను మెమరీ నుండి ఒకసారి చదవాలి, కాబట్టి సెకనుకు టోకెన్‌లు మెమరీ బ్యాండ్‌విడ్త్‌తో పాటు పెరుగుతాయి. లోకల్ LLMలకు ఉత్తమ Mac గురించిన మా గైడ్ ప్రతి చిప్‌ను వివరిస్తుంది.

2సులభమైన మార్గం: LM Studio

LM Studio అనేది చాట్ విండో, మోడల్ బ్రౌజర్ ఉన్న ఉచిత Mac యాప్. Apple Siliconపై అది Apple MLX ఫార్మాట్‌లోనూ, llama.cpp వాడే GGUF ఫార్మాట్‌లోనూ మోడల్‌లను నడపగలదు.

1. LM Studio డౌన్‌లోడ్ చేసి తెరవండి.
2. ఒక మోడల్ కోసం వెతకండి; Apple Siliconపై MLX వెర్షన్‌కే ప్రాధాన్యం ఇవ్వండి; మీ మెమరీకి సరిపోయే సైజు ఎంచుకోండి.
3. దాన్ని లోడ్ చేసి చాట్ మొదలుపెట్టండి. ఇతర యాప్‌ల కోసం దాని లోకల్ సర్వర్‌ను కూడా ఆన్ చేయవచ్చు.

3ఒక్క కమాండ్: Ollama

Ollama టెర్మినల్ నుండి మోడల్‌లను నడిపి, మీ Macలోని ఇతర యాప్‌లకు అందిస్తుంది. ఇన్‌స్టాల్ చేసిన తర్వాత, ఒక్క కమాండ్ ఒక మోడల్‌ను డౌన్‌లోడ్ చేసి ప్రారంభిస్తుంది:

ollama run llama3.2

వెర్షన్ 0.19 నుండి, Apple Siliconపై Ollamaకు సపోర్ట్ ఉన్న మోడల్‌ల కోసం Apple MLX ఫ్రేమ్‌వర్క్‌తో నడిచే ప్రివ్యూ ఉంది, భారీ వేగ పెరుగుదలతో; ఆ ప్రివ్యూకు 32 GB కంటే ఎక్కువ మెమరీ ఉన్న Mac కావాలి (Ollama).

4అత్యంత వేగవంతమైన మార్గం: Apple MLX, mlx-lm

MLX అనేది Apple Silicon కోసం Apple ఓపెన్-సోర్స్ మెషీన్ లెర్నింగ్ ఫ్రేమ్‌వర్క్; mlx-lm లాంగ్వేజ్ మోడల్‌ల కోసం దాని ప్యాకేజీ. Hugging Faceలోని mlx-community ఆర్గనైజేషన్‌లో వేలాది మోడల్‌లు వాడటానికి సిద్ధంగా ఉన్నాయి.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

టెర్మినల్‌లో సంభాషణకు mlx_lm.chat, ఇతర యాప్‌లు పిలవగల లోకల్ API కోసం mlx_lm.server వాడండి. M5 చిప్‌లపై MLX, GPUలోని కొత్త న్యూరల్ యాక్సిలరేటర్‌లను వాడుకుంటుంది: M4 కంటే మొదటి టోకెన్ 3.3 నుండి 4.1 రెట్లు త్వరగా వచ్చిందని Apple కొలిచింది (Apple Machine Learning Research).

5కొలవండి, ఆపై పనిలో పెట్టండి

MLX Bench అనేది ప్రతి Apple Silicon చిప్‌పై MLX వేగాన్ని చూపే ఓపెన్ లీడర్‌బోర్డ్: సెకనుకు జనరేషన్, ప్రాంప్ట్ టోకెన్‌లు, పీక్ మెమరీ. ఒకే ఫైల్ స్క్రిప్ట్‌ను మీ Macలో నడిపి అది ఏ స్థానంలో నిలుస్తుందో చూడండి.

మీరు Macను వాడనప్పుడు, అది ఇతరుల కోసం AI నడపగలదు. MLX Node అనేది అదే MLX ఫ్రేమ్‌వర్క్‌పై MLX Network కోసం AI పనులు నడిపి, ధృవీకరించిన పనికి MLX టోకెన్‌లు సంపాదించే ఉచిత యాప్; మీరు పెట్టిన పరిమితుల లోపల.

6ప్రశ్నలు

MacBook Airలో LLM నడపవచ్చా?

అవును. 16 GB ఉన్న MacBook Air 4-బిట్‌లో 7B నుండి 14B మోడల్‌లను సౌకర్యంగా నడుపుతుంది; 32 GBతో సుమారు 30B వరకు మోడల్‌లు. ఎక్కువ మెమరీ బ్యాండ్‌విడ్త్ ఉన్న Pro లేదా Max చిప్ Mac కంటే అది నెమ్మదిగా ఉంటుంది.

Macలో Ollama కంటే MLX వేగవంతమా?

తరచూ అవును, ఎందుకంటే MLX Apple Silicon కోసం రాయబడింది. Ollama సొంత MLX ప్రివ్యూ కూడా Apple Siliconపై భారీ వేగ పెరుగుదలను చెబుతోంది. మా MLX vs Ollama గైడ్ రెండింటినీ వివరంగా పోలుస్తుంది.

లోకల్ మోడల్‌లు ఆఫ్‌లైన్‌లో పనిచేస్తాయా?

అవును. డౌన్‌లోడ్ అయ్యాక, మోడల్ పూర్తిగా మీ Macలోనే నడుస్తుంది; మీ ప్రాంప్ట్‌లు దాన్ని దాటి బయటకు వెళ్లవు.

70B మోడల్‌కు ఎంత మెమరీ కావాలి?

4-బిట్‌లో వెయిట్‌లకే సుమారు 40 GB, కాబట్టి 64 GB లేదా అంతకంటే ఎక్కువ ఉన్న Mac. ఇదే నాణ్యత ఉన్న mixture-of-experts మోడల్‌లకు ఎక్కువ మెమరీ కావచ్చు, కానీ అవి వేగంగా నడుస్తాయి.