உள்நுழைவாலெட் உருவாக்குங்கள்

லோக்கல் AI-க்கு M5 Ultra.

M5 Ultra-இல் 512 GB வரை யூனிஃபைடு மெமரி உள்ளது; அதை 1.2 TB/s வரை வேகத்தில் படிக்க முடியும். அத்தகைய Mac-இல் லாங்குவேஜ் மாடல்களை இயக்க இதன் பொருள் என்ன என்பதை Apple-இன் சொந்த எண்களிலிருந்து இங்கே கணக்கிட்டுள்ளோம்.

1AI-க்கு முக்கியமான ஸ்பெக்குகள்

யூனிஃபைடு மெமரி512 GB
மெமரி பேண்ட்வித்1.2 TB/s
இது உள்ள Mac-கள்Mac Studio (2026)
இதற்கான பிரத்யேக இருக்கைUltra Latest இருக்கை: நாளுக்கு 480 MLX வரை மைன் செய்கிறது

2எந்த மாடல்கள் பொருந்தும்

ஒரு வெயிட்டுக்கு 4 பிட் என்றால், ஒரு மாடலுக்கு ஒவ்வொரு பில்லியன் பாராமீட்டருக்கும் அரை ஜிகாபைட்டுக்குச் சற்று அதிகம் தேவை; அதோடு அதன் கான்டெக்ஸ்ட்டுக்கும் macOS-க்கும் இடம் வேண்டும். 512 GB உடன், M5 Ultra சுமார் 682 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களைச் சுலபமாகக் கொள்ளும்.

4-பிட்டில் மாடல்தேவைப்படும் மெமரிM5 Ultra-இல் பொருந்துமா
8B மாடல்4.5 GBஆம்
14B மாடல்7.9 GBஆம்
32B மாடல்18 GBஆம்
70B மாடல்39.4 GBஆம்
gpt-oss-120b, mixture-of-experts65 GBஆம்
Qwen3.5-397B-A17B, mixture-of-experts223.3 GBஆம்
DeepSeek-V4.1-Flash, mixture-of-experts316 GBஆம்

3எவ்வளவு வேகமாக இயங்கும்

உரை எழுதும் வேகத்தை மெமரி பேண்ட்வித் கட்டுப்படுத்துகிறது: ஒவ்வொரு புதிய டோக்கனும் மாடலின் செயலில் உள்ள வெயிட்களை ஒருமுறை படிக்கிறது. M5 Ultra-இன் 1.2 TB/s-ஐ ஒரு டோக்கனுக்குப் படிக்கப்படும் பைட்டுகளால் வகுத்தால் கீழே உள்ள உச்சவரம்பு கிடைக்கும். உண்மையான ஓட்டங்கள் பொதுவாக அதில் சுமார் 45% முதல் 80% வரை எட்டும் (llama.cpp பெஞ்ச்மார்க்குகள்).

4-பிட்டில் மாடல்ஒரு டோக்கனுக்குப் படிப்பதுஒரு சாட்டுக்கான உச்சவரம்பு
8B மாடல்4.5 GBவினாடிக்கு 267 டோக்கன்கள்
14B மாடல்7.9 GBவினாடிக்கு 152 டோக்கன்கள்
32B மாடல்18 GBவினாடிக்கு 67 டோக்கன்கள்
70B மாடல்39.4 GBவினாடிக்கு 30 டோக்கன்கள்
gpt-oss-120b, mixture-of-experts2.7 GBவினாடிக்கு 444 டோக்கன்கள்
Qwen3.5-397B-A17B, mixture-of-experts9.6 GBவினாடிக்கு 125 டோக்கன்கள்
DeepSeek-V4.1-Flash, mixture-of-experts9 GBவினாடிக்கு 133 டோக்கன்கள்

அளவிடப்பட்டது: llama.cpp-இன் பொது பெஞ்ச்மார்க்குகளில், M5 Ultra (80-core GPU)-இல் Llama-2-7B (Q4_0) வினாடிக்கு 179 டோக்கன்களை உருவாக்குகிறது.

M5 தலைமுறை சிப்கள் GPU-வில் நியூரல் ஆக்சிலரேட்டர்களைச் சேர்க்கின்றன; எனவே அவை M4-ஐ விடப் பல மடங்கு வேகமாக ப்ராம்ப்ட்களைப் படிக்கின்றன: MLX உடன் முதல் டோக்கன் 3.3 முதல் 4.1 மடங்கு விரைவாக வருவதை Apple அளவிட்டது (Apple).

5மற்ற சிப்களுடன் ஒப்பிடுங்கள்

6கேள்விகள்

M5 Ultra 70B மாடலை இயக்குமா?
ஆம். 4-பிட்டில் 70B மாடலுக்குச் சுமார் 40 GB தேவை; M5 Ultra-இல் 512 GB வரை உள்ளது. ஒரு சாட்டுக்கு வினாடிக்குச் சுமார் 30 டோக்கன்கள் உச்சவரம்பை எதிர்பார்க்கலாம்.
M5 Ultra வினாடிக்கு எத்தனை டோக்கன்கள் தரும்?
4-பிட்டில் 8B மாடலுக்கு உச்சவரம்பு வினாடிக்குச் சுமார் 267 டோக்கன்கள்; உண்மையான ஓட்டங்கள் அதில் தோராயமாகப் பாதி முதல் ஐந்தில் நான்கு பங்கு வரை எட்டும். பெரிய மாடல்கள் அதே விகிதத்தில் மெதுவாக இயங்கும்.
AI-க்கு M5 Ultra நல்லதா?
மாடல்களை லோக்கலாக இயக்க, மெமரியும் பேண்ட்வித்தும்தான் மிக முக்கியம். M5 Ultra-இல் 1.2 TB/s வேகத்தில் 512 GB வரை மெமரி உள்ளது; இது சுமார் 682 பில்லியன் பாராமீட்டர்கள் வரையிலான மாடல்களுக்குப் போதும். MLX Node மூலம் MLX Network-க்காக AI வேலைகளை இயக்கி இது ஈட்டவும் முடியும்.

ஆதாரங்கள்

  1. Apple: M6 and M5 Ultraapple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
லோக்கல் LLM-க்கு M5 Ultra: மெமரி, வேகம், மாடல்கள் | MLX