லோக்கல் LLM-களுக்கு M1 Ultra சிப் கொண்ட Mac Studio நல்லதா?

128 GB-உடன் இது 73 ஓப்பன் மாடல்களில் 47-ஐ நன்றாக இயக்கும், Qwen3.5 122B A10B வரை; gpt-oss-20b மாடலுடன் வினாடிக்கு சுமார் 189–337 டோக்கன்களை எழுதும். M1 Ultra சிப் 800 GB/s வேகத்தில் மெமரியைப் படிக்கிறது, அதுவே இது எவ்வளவு வேகமாக எழுதும் என்பதைத் தீர்மானிக்கிறது.

AI-க்கு M1 Ultra சிப் கொண்ட Mac Studio எவ்வளவு மெமரியுடன் வாங்க வேண்டும்?

64 GB-உடன் இது 39 ஓப்பன் மாடல்களை நன்றாக இயக்கும்; 128 GB-உடன் 47, Qwen3.5 122B A10B வரை. எந்த மாடல்கள் பொருந்தும் என்பதை மெமரி தீர்மானிக்கிறது, அதைப் பின்னர் அப்கிரேடு செய்ய முடியாது.

Mac Studio M1 Ultra: மெமரி வாரியாக எந்த LLM-கள் இயங்கும்

மெமரி அளவு வாரியாக

மெமரி	நன்றாக இயங்குபவை	நன்றாக இயங்குவதில் மிகப் பெரியது	gpt-oss-20b
64 GB800 GB/s	39	Nemotron 3.5 Bolt 74B A9B	189–337 tok/s
128 GB800 GB/s	47	Qwen3.5 122B A10B	189–337 tok/s

Mac மாடல்கள்: Mac Studio (2022). ஒவ்வொரு மெமரி அளவும் ஒவ்வொரு Mac மாடலிலும் கிடைப்பதில்லை; எதனுடன் என்ன வரும் என்பதை Apple-இன் Tech Specs பட்டியலிடுகிறது.

கேள்விகள்

லோக்கல் LLM-களுக்கு M1 Ultra சிப் கொண்ட Mac Studio நல்லதா?: 128 GB-உடன் இது 73 ஓப்பன் மாடல்களில் 47-ஐ நன்றாக இயக்கும், Qwen3.5 122B A10B வரை; gpt-oss-20b மாடலுடன் வினாடிக்கு சுமார் 189–337 டோக்கன்களை எழுதும். M1 Ultra சிப் 800 GB/s வேகத்தில் மெமரியைப் படிக்கிறது, அதுவே இது எவ்வளவு வேகமாக எழுதும் என்பதைத் தீர்மானிக்கிறது.
AI-க்கு M1 Ultra சிப் கொண்ட Mac Studio எவ்வளவு மெமரியுடன் வாங்க வேண்டும்?: 64 GB-உடன் இது 39 ஓப்பன் மாடல்களை நன்றாக இயக்கும்; 128 GB-உடன் 47, Qwen3.5 122B A10B வரை. எந்த மாடல்கள் பொருந்தும் என்பதை மெமரி தீர்மானிக்கிறது, அதைப் பின்னர் அப்கிரேடு செய்ய முடியாது.

மற்ற Mac-கள்

மற்ற சிப்களுடன் Mac Studio:

நேருக்கு நேர்:

லோக்கல் AI-க்கு M1 Ultra · லோக்கல் LLM-களுக்குச் சிறந்த Mac · எல்லா Mac-களும்

எப்படிக் கணக்கிடப்பட்டது

மெமரி: மாடலின் பாராமீட்டர்கள் ஒரு வெயிட்டுக்கு 8, 6, 4, 3 அல்லது 2 பிட்களில், கூடவே MLX-இன் குரூப் ஸ்கேல்கள் (ஒரு வெயிட்டுக்கு அரை பிட்), அல்லது அதன் நேட்டிவ் வடிவம், அதற்கு மேல் கான்டெக்ஸ்ட்டுக்கு இடம். இயல்பாக macOS, யூனிஃபைடு மெமரியில் சுமார் 75%-ஐ GPU பயன்படுத்த அனுமதிக்கிறது. வேகம்: மெமரி பேண்ட்வித்தை ஒவ்வொரு டோக்கனுக்கும் படிக்கப்படும் பைட்டுகளால் வகுத்தால், ஒரு உரையாடலுக்கான உச்சவரம்பு கிடைக்கும்; llama.cpp-இன் பொது Apple Silicon பெஞ்ச்மார்க்குகளில் உண்மையான ரன்கள் அதில் சுமார் 45% முதல் 80% வரை எட்டுகின்றன, அந்த வரம்பே காட்டப்படுகிறது. இவை மதிப்பீடுகள், அளவீடுகள் அல்ல: உங்கள் சொந்த Mac-ஐ MLX Bench-இல் அளந்து பாருங்கள். மாடல் விவரங்கள் ஒவ்வொரு அதிகாரப்பூர்வ மாடல் கார்டிலிருந்தும், சிப் விவரங்கள் Apple-இன் Tech Specs-இலிருந்தும். சரிபார்த்தது 2026-10-19. mlx.app/compare-இல் உள்ள அதே தரவு.