மெமரி அளவு வாரியாக
| மெமரி | நன்றாக இயங்குபவை | நன்றாக இயங்குவதில் மிகப் பெரியது | gpt-oss-20b |
|---|---|---|---|
| 64 GB800 GB/s | 39 | Nemotron 3.5 Bolt 74B A9B | 189–337 tok/s |
| 128 GB800 GB/s | 47 | Qwen3.5 122B A10B | 189–337 tok/s |
| 192 GB800 GB/s | 49 | MiniMax M2.7 | 189–337 tok/s |
Mac மாடல்கள்: Mac Pro (2023), Mac Pro (Rack, 2023). ஒவ்வொரு மெமரி அளவும் ஒவ்வொரு Mac மாடலிலும் கிடைப்பதில்லை; எதனுடன் என்ன வரும் என்பதை Apple-இன் Tech Specs பட்டியலிடுகிறது.
கேள்விகள்
- லோக்கல் LLM-களுக்கு M2 Ultra சிப் கொண்ட Mac Pro நல்லதா?
- 192 GB-உடன் இது 73 ஓப்பன் மாடல்களில் 49-ஐ நன்றாக இயக்கும், MiniMax M2.7 வரை; gpt-oss-20b மாடலுடன் வினாடிக்கு சுமார் 189–337 டோக்கன்களை எழுதும். M2 Ultra சிப் 800 GB/s வேகத்தில் மெமரியைப் படிக்கிறது, அதுவே இது எவ்வளவு வேகமாக எழுதும் என்பதைத் தீர்மானிக்கிறது.
- AI-க்கு M2 Ultra சிப் கொண்ட Mac Pro எவ்வளவு மெமரியுடன் வாங்க வேண்டும்?
- 64 GB-உடன் இது 39 ஓப்பன் மாடல்களை நன்றாக இயக்கும்; 192 GB-உடன் 49, MiniMax M2.7 வரை. எந்த மாடல்கள் பொருந்தும் என்பதை மெமரி தீர்மானிக்கிறது, அதைப் பின்னர் அப்கிரேடு செய்ய முடியாது.
மற்ற Mac-கள்
M2 Ultra சிப் கொண்ட மற்ற Mac-கள்:
நேருக்கு நேர்:
லோக்கல் AI-க்கு M2 Ultra · லோக்கல் LLM-களுக்குச் சிறந்த Mac · எல்லா Mac-களும்
எப்படிக் கணக்கிடப்பட்டது
மெமரி: மாடலின் பாராமீட்டர்கள் ஒரு வெயிட்டுக்கு 8, 6, 4, 3 அல்லது 2 பிட்களில், கூடவே MLX-இன் குரூப் ஸ்கேல்கள் (ஒரு வெயிட்டுக்கு அரை பிட்), அல்லது அதன் நேட்டிவ் வடிவம், அதற்கு மேல் கான்டெக்ஸ்ட்டுக்கு இடம். இயல்பாக macOS, யூனிஃபைடு மெமரியில் சுமார் 75%-ஐ GPU பயன்படுத்த அனுமதிக்கிறது. வேகம்: மெமரி பேண்ட்வித்தை ஒவ்வொரு டோக்கனுக்கும் படிக்கப்படும் பைட்டுகளால் வகுத்தால், ஒரு உரையாடலுக்கான உச்சவரம்பு கிடைக்கும்; llama.cpp-இன் பொது Apple Silicon பெஞ்ச்மார்க்குகளில் உண்மையான ரன்கள் அதில் சுமார் 45% முதல் 80% வரை எட்டுகின்றன, அந்த வரம்பே காட்டப்படுகிறது. இவை மதிப்பீடுகள், அளவீடுகள் அல்ல: உங்கள் சொந்த Mac-ஐ MLX Bench-இல் அளந்து பாருங்கள். மாடல் விவரங்கள் ஒவ்வொரு அதிகாரப்பூர்வ மாடல் கார்டிலிருந்தும், சிப் விவரங்கள் Apple-இன் Tech Specs-இலிருந்தும். சரிபார்த்தது 2026-10-19. mlx.app/compare-இல் உள்ள அதே தரவு.