உங்கள் Mac-இல் LLM இயக்குங்கள்.

1உங்கள் Mac-இல் எது பொருந்தும்

மாடலின் வெயிட்கள் மெமரியில் பொருந்த வேண்டும், கான்டெக்ஸ்ட்டுக்கும் macOS-க்கும் கூடுதல் இடத்துடன். ஒரு வெயிட்டுக்கு 4 பிட்களில், ஒவ்வொரு பில்லியன் பாராமீட்டருக்கும் சுமார் 0.55 முதல் 0.6 GB எனக் கணக்கிடுங்கள்.

வேகம் தனிக் கேள்வி: ஒவ்வொரு புதிய டோக்கனுக்கும் செயலில் உள்ள வெயிட்கள் மெமரியிலிருந்து ஒருமுறை படிக்கப்பட வேண்டும்; எனவே வினாடிக்கான டோக்கன்கள் மெமரி பேண்ட்வித்துக்கு ஏற்ப அதிகரிக்கும். லோக்கல் LLM-களுக்கான சிறந்த Mac பற்றிய எங்கள் வழிகாட்டி ஒவ்வொரு சிப்பையும் விளக்குகிறது.

2எளிய வழி: LM Studio

LM Studio என்பது சாட் விண்டோவும் மாடல் பிரவுசரும் கொண்ட இலவச Mac ஆப். Apple Silicon-இல் அது Apple-இன் MLX வடிவத்திலும், llama.cpp பயன்படுத்தும் GGUF வடிவத்திலும் மாடல்களை இயக்கும்.

1. LM Studio-வைப் பதிவிறக்கித் திறங்கள்.
2. ஒரு மாடலைத் தேடுங்கள்; Apple Silicon-இல் MLX பதிப்பையே தேர்வு செய்யுங்கள்; உங்கள் மெமரிக்குப் பொருந்தும் அளவைத் தேர்ந்தெடுங்கள்.
3. அதை லோடு செய்து சாட் செய்யத் தொடங்குங்கள். மற்ற ஆப்களுக்காக அதன் லோக்கல் சர்வரையும் ஆன் செய்யலாம்.

3ஒரே கட்டளை: Ollama

Ollama டெர்மினலிலிருந்து மாடல்களை இயக்கி, உங்கள் Mac-இல் உள்ள மற்ற ஆப்களுக்கு வழங்குகிறது. அதை நிறுவிய பிறகு, ஒரே கட்டளை ஒரு மாடலைப் பதிவிறக்கித் தொடங்குகிறது:

ollama run llama3.2

பதிப்பு 0.19 முதல், Apple Silicon-இல் Ollama ஆதரிக்கப்படும் மாடல்களுக்கு Apple-இன் MLX ஃபிரேம்வொர்க்கால் இயங்கும் ஒரு பிரிவியூவைக் கொண்டுள்ளது, பெரிய வேக உயர்வுடன்; அந்தப் பிரிவியூவுக்கு 32 GB-க்கும் அதிகமான மெமரி கொண்ட Mac தேவை (Ollama).

4மிக வேகமான வழி: Apple-இன் MLX, mlx-lm

MLX என்பது Apple Silicon-க்கான Apple-இன் ஓப்பன்-சோர்ஸ் மெஷின் லேர்னிங் ஃபிரேம்வொர்க்; mlx-lm என்பது லாங்குவேஜ் மாடல்களுக்கான அதன் பேக்கேஜ். Hugging Face-இல் உள்ள mlx-community அமைப்பில் ஆயிரக்கணக்கான மாடல்கள் பயன்படுத்தத் தயாராக உள்ளன.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

டெர்மினலில் உரையாடலுக்கு mlx_lm.chat-ஐயும், மற்ற ஆப்கள் அழைக்கக்கூடிய லோக்கல் API-க்கு mlx_lm.server-ஐயும் பயன்படுத்துங்கள். M5 சிப்களில் MLX, GPU-வில் உள்ள புதிய நியூரல் ஆக்ஸிலரேட்டர்களைப் பயன்படுத்துகிறது: M4-ஐ விட முதல் டோக்கன் 3.3 முதல் 4.1 மடங்கு விரைவாக வருவதை Apple அளந்தது (Apple Machine Learning Research).

5அளந்து பாருங்கள், பிறகு வேலைக்கு வையுங்கள்

MLX Bench என்பது ஒவ்வொரு Apple Silicon சிப்பிலும் MLX வேகத்தைக் காட்டும் திறந்த லீடர்போர்டு: வினாடிக்கான ஜெனரேஷன், ப்ராம்ப்ட் டோக்கன்கள், உச்ச மெமரி. ஒரே கோப்பான ஸ்கிரிப்ட்டை உங்கள் Mac-இல் இயக்கி, அது எந்த இடத்தில் நிற்கிறது என்று பாருங்கள்.

நீங்கள் Mac-ஐப் பயன்படுத்தாதபோது, அது மற்றவர்களுக்காக AI இயக்கலாம். MLX Node என்பது அதே MLX ஃபிரேம்வொர்க்கில் MLX Network-க்காக AI வேலைகளை இயக்கி, சரிபார்க்கப்பட்ட வேலைக்கு MLX டோக்கன்களை ஈட்டும் இலவச ஆப்; நீங்கள் அமைக்கும் வரம்புகளுக்குள்.

6கேள்விகள்

MacBook Air-இல் LLM இயக்க முடியுமா?

ஆம். 16 GB கொண்ட MacBook Air 4-பிட்டில் 7B முதல் 14B மாடல்களை வசதியாக இயக்கும்; 32 GB இருந்தால் சுமார் 30B வரையிலான மாடல்கள். அதிக மெமரி பேண்ட்வித் கொண்ட Pro அல்லது Max சிப் உள்ள Mac-ஐ விட அது மெதுவாக இருக்கும்.

Mac-இல் Ollama-வை விட MLX வேகமானதா?

பெரும்பாலும் ஆம், ஏனெனில் MLX, Apple Silicon-க்காக எழுதப்பட்டது. Ollama-வின் சொந்த MLX பிரிவியூவும் Apple Silicon-இல் பெரிய வேக உயர்வைத் தெரிவிக்கிறது. எங்கள் MLX vs Ollama வழிகாட்டி இரண்டையும் விரிவாக ஒப்பிடுகிறது.

லோக்கல் மாடல்கள் ஆஃப்லைனில் வேலை செய்யுமா?

ஆம். பதிவிறக்கியதும், மாடல் முழுவதுமாக உங்கள் Mac-இலேயே இயங்கும்; உங்கள் ப்ராம்ப்ட்கள் அதை விட்டு வெளியே போவதில்லை.

70B மாடலுக்கு எவ்வளவு மெமரி தேவை?

4-பிட்டில் வெயிட்களுக்கு மட்டும் சுமார் 40 GB; எனவே 64 GB அல்லது அதற்கு மேல் கொண்ட Mac. இதே தரமுள்ள mixture-of-experts மாடல்களுக்கு அதிக மெமரி தேவைப்படலாம், ஆனால் அவை வேகமாக இயங்கும்.