Nemotron 3.5 Bolt 74B A9B-க்கு எவ்வளவு மெமரி தேவை?

4-பிட்-இல் சுமார் 41.6 GB வெயிட்கள், கூடவே கான்டெக்ஸ்ட்டுக்கு இடம்: மொத்தம் 44.9 GB. Mac-இல் இதன் பொருள் 64 GB அல்லது அதற்கு மேல் யூனிஃபைடு மெமரி, ஏனெனில் இயல்பாக macOS அதில் சுமார் 75%-ஐ மட்டுமே GPU பயன்படுத்த அனுமதிக்கிறது.

Mac-இல் Nemotron 3.5 Bolt 74B A9B எவ்வளவு வேகமாக இயங்கும்?

எழுதும் வேகம் மெமரி பேண்ட்வித்தைப் பொறுத்தது. இங்கே இதற்கு மிக வேகமான Mac 96 GB கொண்ட M5 Ultra, வினாடிக்கு சுமார் 74–132 டோக்கன்கள் (6-பிட்). இதை இயக்கும் மிகச் சிறிய Mac, 64 GB கொண்ட M2 Ultra, சுமார் 71–125 வரை எட்டும்.

Nemotron 3.5 Bolt 74B A9B அதன் அளவை விட ஏன் வேகமாக இயங்குகிறது?

இது ஒரு mixture-of-experts மாடல்: மெமரியில் 74B பாராமீட்டர்களை வைத்திருந்தாலும், ஒவ்வொரு டோக்கனுக்கும் 9B மட்டுமே படிக்கிறது, அதனால் மிகச் சிறிய மாடலின் வேகத்தில் எழுதுகிறது.

Mac-இல் Nemotron 3.5 Bolt 74B A9B இயங்குமா? மெமரி, வேகம்

ஒவ்வொரு பிரிசிஷனிலும் மெமரி

பதிப்பு	வெயிட்கள்	கான்டெக்ஸ்ட்டுடன்	மிகச் சிறிய Mac
8-பிட்	78.6 GB	84.9 GB	128 GB
6-பிட்	60.1 GB	64.9 GB	96 GB
4-பிட்	41.6 GB	44.9 GB	64 GB
3-பிட் குறைந்த தரம்	32.4 GB	35 GB	48 GB
2-பிட் குறைந்த தரம்	23.1 GB	24.9 GB	36 GB

ஒவ்வொரு Apple சிப்பிலும்

Nemotron 3.5 Bolt 74B A9B-ஐ இயக்கும் ஒவ்வொரு சிப்பின் மிகச் சிறிய மெமரி அளவு, அதில் பொருந்தும் சிறந்த பதிப்பு, எதிர்பார்க்கக்கூடிய எழுதும் வேகம்.

சிப்	தேவை	பதிப்பு	டோக்கன்கள்/வினாடி
M6	32 GB	2-பிட் விளிம்பில்	27–49
M5 Ultra	96 GB	6-பிட் நன்றாக இயங்கும்	74–132
M5 Max	64 GB	4-பிட் நன்றாக இயங்கும்	54–96
M5 Pro	64 GB	4-பிட் நன்றாக இயங்கும்	27–48
M5	32 GB	2-பிட் விளிம்பில்	25–44
M4 Max	64 GB	4-பிட் நன்றாக இயங்கும்	48–86
M4 Pro	64 GB	4-பிட் நன்றாக இயங்கும்	24–43
M4	32 GB	2-பிட் விளிம்பில்	19–34
M3 Ultra	96 GB	6-பிட் நன்றாக இயங்கும்	50–90
M3 Max	64 GB	4-பிட் நன்றாக இயங்கும்	35–63
M3 Pro	36 GB	2-பிட் நன்றாக இயங்கும்	24–43
M3	எந்த அளவும் பொருந்தாது	மிகப் பெரியது	–
M2 Ultra	64 GB	4-பிட் நன்றாக இயங்கும்	71–125
M2 Max	64 GB	4-பிட் நன்றாக இயங்கும்	35–63
M2 Pro	32 GB	2-பிட் விளிம்பில்	32–57
M2	எந்த அளவும் பொருந்தாது	மிகப் பெரியது	–
M1 Ultra	64 GB	4-பிட் நன்றாக இயங்கும்	71–125
M1 Max	64 GB	4-பிட் நன்றாக இயங்கும்	35–63
M1 Pro	32 GB	2-பிட் விளிம்பில்	32–57
M1	எந்த அளவும் பொருந்தாது	மிகப் பெரியது	–

இதை எப்படி இயக்குவது

எளிய வழி: இலவசமான, ஓப்பன் சோர்ஸ் MLX Harness-ஐப் பதிவிறக்குங்கள். Nemotron 3.5 Bolt 74B A9B-ஐத் தேடி, உங்கள் Mac-இல் பொருந்தும் பதிப்பைப் பதிவிறக்கி, சாட் செய்யுங்கள். இது OpenAI-compatible API வழியாக அந்த மாடலை உங்கள் மற்ற ஆப்களுக்கும் வழங்குகிறது.MLX Harness-ஐப் பதிவிறக்குங்கள்இலவசம் · Apple Silicon · macOS 14.5 அல்லது அதற்குப் பிந்தையது
Terminal-இல் Apple-இன் MLX உடன்: இன்னும் கம்யூனிட்டி MLX பில்ட் இல்லை, எனவே அதிகாரப்பூர்வ வெயிட்களிலிருந்து நீங்களே உருவாக்குங்கள்:pip install mlx-lmmlx_lm.convert --hf-path nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 -q

படிப்படியாக: Mac-இல் LLM-களைப் பதிவிறக்கி இயக்குங்கள் · MLX Harness-வை எப்படிப் பயன்படுத்துவது · MLX vs Ollama vs llama.cpp

Nemotron 3.5 Bolt 74B A9B பற்றி

உருவாக்கியவர்	NVIDIA
பாராமீட்டர்கள்	மொத்தம் 74B · செயலில் 9B (mixture of experts)
கான்டெக்ஸ்ட்	256K டோக்கன்கள்
உரிமம்	OpenMDW-1.1
வெளியீடு	2026-10
உள்ளீடு	உரை, படங்கள்
இன்டெலிஜென்ஸ்	Artificial Analysis Intelligence Index-இல் 21.4
வெயிட்கள்	nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16

கேள்விகள்

Nemotron 3.5 Bolt 74B A9B-க்கு எவ்வளவு மெமரி தேவை?: 4-பிட்-இல் சுமார் 41.6 GB வெயிட்கள், கூடவே கான்டெக்ஸ்ட்டுக்கு இடம்: மொத்தம் 44.9 GB. Mac-இல் இதன் பொருள் 64 GB அல்லது அதற்கு மேல் யூனிஃபைடு மெமரி, ஏனெனில் இயல்பாக macOS அதில் சுமார் 75%-ஐ மட்டுமே GPU பயன்படுத்த அனுமதிக்கிறது.
Mac-இல் Nemotron 3.5 Bolt 74B A9B எவ்வளவு வேகமாக இயங்கும்?: எழுதும் வேகம் மெமரி பேண்ட்வித்தைப் பொறுத்தது. இங்கே இதற்கு மிக வேகமான Mac 96 GB கொண்ட M5 Ultra, வினாடிக்கு சுமார் 74–132 டோக்கன்கள் (6-பிட்). இதை இயக்கும் மிகச் சிறிய Mac, 64 GB கொண்ட M2 Ultra, சுமார் 71–125 வரை எட்டும்.
Nemotron 3.5 Bolt 74B A9B அதன் அளவை விட ஏன் வேகமாக இயங்குகிறது?: இது ஒரு mixture-of-experts மாடல்: மெமரியில் 74B பாராமீட்டர்களை வைத்திருந்தாலும், ஒவ்வொரு டோக்கனுக்கும் 9B மட்டுமே படிக்கிறது, அதனால் மிகச் சிறிய மாடலின் வேகத்தில் எழுதுகிறது.

இதே போன்ற மாடல்கள்

எல்லா மாடல்களும் · எல்லா Mac-களும் · உங்கள் Mac-ஐ ஒப்பிடுங்கள்

உங்கள் மாடல் கார்டு அல்லது README-க்கு

Nemotron 3.5 Bolt 74B A9B-ஐ நன்றாக இயக்கும் மிகச் சிறிய Mac-ஐக் காட்டி, இங்கே இணைப்பு தருகிறது.

[![Runs on a Mac](https://mlx.app/badge/run/nemotron-3.5-bolt-74b-a9b.svg)](https://mlx.app/run/nemotron-3.5-bolt-74b-a9b)

எப்படிக் கணக்கிடப்பட்டது

மெமரி: மாடலின் பாராமீட்டர்கள் ஒரு வெயிட்டுக்கு 8, 6, 4, 3 அல்லது 2 பிட்களில், கூடவே MLX-இன் குரூப் ஸ்கேல்கள் (ஒரு வெயிட்டுக்கு அரை பிட்), அல்லது அதன் நேட்டிவ் வடிவம், அதற்கு மேல் கான்டெக்ஸ்ட்டுக்கு இடம். இயல்பாக macOS, யூனிஃபைடு மெமரியில் சுமார் 75%-ஐ GPU பயன்படுத்த அனுமதிக்கிறது. வேகம்: மெமரி பேண்ட்வித்தை ஒவ்வொரு டோக்கனுக்கும் படிக்கப்படும் பைட்டுகளால் வகுத்தால், ஒரு உரையாடலுக்கான உச்சவரம்பு கிடைக்கும்; llama.cpp-இன் பொது Apple Silicon பெஞ்ச்மார்க்குகளில் உண்மையான ரன்கள் அதில் சுமார் 45% முதல் 80% வரை எட்டுகின்றன, அந்த வரம்பே காட்டப்படுகிறது. இவை மதிப்பீடுகள், அளவீடுகள் அல்ல: உங்கள் சொந்த Mac-ஐ MLX Bench-இல் அளந்து பாருங்கள். மாடல் விவரங்கள் ஒவ்வொரு அதிகாரப்பூர்வ மாடல் கார்டிலிருந்தும், சிப் விவரங்கள் Apple-இன் Tech Specs-இலிருந்தும். சரிபார்த்தது 2026-10-19. mlx.app/compare-இல் உள்ள அதே தரவு.