શું LLM માટે RTX 5090, M5 Max કરતાં ઝડપી છે?

RTX 5090, M5 Max કરતાં આશરે 192% ઝડપથી મેમરી વાંચે છે (1,792 વિ. 614 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 192% ઝડપથી લખે છે. llama.cpp ના માપેલા ટેસ્ટમાં RTX 5090 પ્રોમ્પ્ટ લગભગ 4.4× ઝડપથી વાંચે છે (14,073 વિરુદ્ધ 3,220 ટોકન પ્રતિ સેકન્ડ). પ્રોમ્પ્ટ વાંચવું મેમરી બેન્ડવિડ્થ પર નહીં પણ GPU ની ગણતરી શક્તિ પર આધાર રાખે છે, અને લાંબા દસ્તાવેજ કે કોડબેઝ સાથે પહેલા શબ્દ સુધી કેટલી રાહ જોવી પડશે તે આ જ નક્કી કરે છે.

મોટાં મૉડલ કોણ ચલાવી શકે, M5 Max કે RTX 5090?

M5 Max પાસે મોડેલ માટે લગભગ 96 GB છે, RTX 5090 પાસે લગભગ 31 GB. 73 લોકપ્રિય ઓપન મોડેલમાંથી 47 M5 Max પર સારી રીતે ચાલે છે, અને 38 RTX 5090 પર.

શું MLX Node RTX 5090 પર ચાલે છે?

ના. MLX Node અને MLX Harness ફક્ત Apple Silicon વાળા Mac પર, Apple ના MLX ફ્રેમવર્ક સાથે ચાલે છે.

લોકલ LLM માટે M5 Max વિ. RTX 5090: મેમરી, ઝડપ, કયું ખરીદવું

બાજુ-બાજુમાં

	M5 Max	RTX 5090
આ શું છે	MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac Studio (M5 Max or M5 Ultra)	ડેસ્કટોપ PC માટે ગ્રાફિક્સ કાર્ડ
મેમરી સાઇઝ	36, 48, 64, 128 GB	32 GB
મેમરી બૅન્ડવિડ્થ	460–614 GB/s	1,792 GB/s
મૉડલ માટે, વધુમાં વધુ	આશરે 96 GB	આશરે 31 GB
સારાં ચાલતાં મૉડલ	73માંથી 47	73માંથી 38
માપેલું: લખવું	120 tok/s	290 tok/s
માપેલું: પ્રોમ્પ્ટ વાંચવો	3,220 tok/s	14,073 tok/s

માપેલી હરોળો: llama.cpp ના જાહેર બેન્ચમાર્કમાં Llama 2 7B Q4_0 સાથે દરેક મશીનનું સૌથી ઝડપી પરિણામ, 128 ટોકન લખતી વખતે (tg128) અને 512 ટોકનનો પ્રોમ્પ્ટ વાંચતી વખતે (pp512), ટોકન પ્રતિ સેકન્ડમાં. Mac પર Metal અને RTX 5090 પર CUDA ચાલ્યું. Apple Silicon ના પરિણામો · RTX 5090 ના પરિણામો મોડેલ માટે અમે RTX 5090 ની પોતાની 32 GB માંથી લગભગ 1 GB બાદ કરીને, અને Mac ની યુનિફાઇડ મેમરીનું લગભગ 75% ગણીએ છીએ, જે macOS નું ડિફૉલ્ટ છે.

કોણ ક્યાં આગળ છે

લખવાની ઝડપ. RTX 5090, M5 Max કરતાં આશરે 192% ઝડપથી મેમરી વાંચે છે (1,792 વિ. 614 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 192% ઝડપથી લખે છે.
મોડેલનું કદ. M5 Max પાસે મોડેલ માટે લગભગ 96 GB છે, RTX 5090 પાસે લગભગ 31 GB. 73 લોકપ્રિય ઓપન મોડેલમાંથી 47 M5 Max પર સારી રીતે ચાલે છે, અને 38 RTX 5090 પર.
લાંબા પ્રોમ્પ્ટ વાંચવા. llama.cpp ના માપેલા ટેસ્ટમાં RTX 5090 પ્રોમ્પ્ટ લગભગ 4.4× ઝડપથી વાંચે છે (14,073 વિરુદ્ધ 3,220 ટોકન પ્રતિ સેકન્ડ). પ્રોમ્પ્ટ વાંચવું મેમરી બેન્ડવિડ્થ પર નહીં પણ GPU ની ગણતરી શક્તિ પર આધાર રાખે છે, અને લાંબા દસ્તાવેજ કે કોડબેઝ સાથે પહેલા શબ્દ સુધી કેટલી રાહ જોવી પડશે તે આ જ નક્કી કરે છે.
સોફ્ટવેર. RTX 5090 NVIDIA નું CUDA વાપરે છે, જેને મોટાભાગના AI સોફ્ટવેર સૌથી પહેલાં સપોર્ટ કરે છે, તેમાં ટ્રેનિંગ કોડ અને ઘણાં ઇમેજ અને વિડિયો ટૂલ્સ આવે છે. Mac પર મોડેલ તેના બદલે MLX, llama.cpp ના Metal બેકએન્ડ અથવા PyTorch ના MPS બેકએન્ડથી ચાલે છે.
આસપાસ. ગ્રાફિક્સ કાર્ડને આસપાસ એક PC જોઈએ, અને તેની પોતાની 32 GB જ મર્યાદા છે: જે મોડેલ ન સમાય તેને અંશતઃ PC ની ઘણી ધીમી સિસ્ટમ મેમરીમાંથી ચલાવવું પડે, અથવા બીજા કાર્ડ પર વહેંચવું પડે.
Mac. તે રોજનું કમ્પ્યુટર પણ છે, અને Apple Silicon માટે બનેલા MLX Harness અને MLX Node ચલાવે છે.

લોકપ્રિય મૉડલ સાથે ઝડપ

એક વાતચીત માટે સેકન્ડ દીઠ ટોકન, દરેક ચિપ તેની સૌથી મોટી મેમરી સાઇઝ પર (128 GB અને 32 GB), મૉડલના સમાતા શ્રેષ્ઠ વર્ઝન સાથે.

મૉડલ	M5 Max	RTX 5090
Llama 3.1 8B Instruct8B	33–58 8-બિટ	95–169 8-બિટ
gpt-oss-20b21B · 3.6B સક્રિય	145–259 નેટિવ 4.25-બિટ	424–755 નેટિવ 4.25-બિટ
Qwen3.6 35B A3B35B · 3B સક્રિય	86–154 8-બિટ	336–597 6-બિટ
Qwen3.8 27B27B	10–17 8-બિટ	28–50 8-બિટ
Llama 3.3 70B Instruct70B	4–7 8-બિટ	37–65 2-બિટ ઓછી ગુણવત્તા
gpt-oss-120b117B · 5.1B સક્રિય	102–182 નેટિવ 4.25-બિટ	બહુ મોટું
Qwen3.5 122B A10B122B · 10B સક્રિય	49–88 4-બિટ	બહુ મોટું
DeepSeek V4 Flash 0731284B · 13B સક્રિય	67–120 2-બિટ ઓછી ગુણવત્તા	બહુ મોટું

પ્રશ્નો

શું LLM માટે RTX 5090, M5 Max કરતાં ઝડપી છે?: RTX 5090, M5 Max કરતાં આશરે 192% ઝડપથી મેમરી વાંચે છે (1,792 વિ. 614 GB/s), એટલે બંનેમાં સમાતા કોઈ પણ મૉડલ સાથે તે આશરે 192% ઝડપથી લખે છે. llama.cpp ના માપેલા ટેસ્ટમાં RTX 5090 પ્રોમ્પ્ટ લગભગ 4.4× ઝડપથી વાંચે છે (14,073 વિરુદ્ધ 3,220 ટોકન પ્રતિ સેકન્ડ). પ્રોમ્પ્ટ વાંચવું મેમરી બેન્ડવિડ્થ પર નહીં પણ GPU ની ગણતરી શક્તિ પર આધાર રાખે છે, અને લાંબા દસ્તાવેજ કે કોડબેઝ સાથે પહેલા શબ્દ સુધી કેટલી રાહ જોવી પડશે તે આ જ નક્કી કરે છે.
મોટાં મૉડલ કોણ ચલાવી શકે, M5 Max કે RTX 5090?: M5 Max પાસે મોડેલ માટે લગભગ 96 GB છે, RTX 5090 પાસે લગભગ 31 GB. 73 લોકપ્રિય ઓપન મોડેલમાંથી 47 M5 Max પર સારી રીતે ચાલે છે, અને 38 RTX 5090 પર.
શું MLX Node RTX 5090 પર ચાલે છે?: ના. MLX Node અને MLX Harness ફક્ત Apple Silicon વાળા Mac પર, Apple ના MLX ફ્રેમવર્ક સાથે ચાલે છે.

વધુ સરખામણીઓ

લોકલ AI માટે M5 Max · દરેક મૉડલની સરખામણી કરો · લોકલ LLM માટે શ્રેષ્ઠ Mac

ગણતરી કેવી રીતે થઈ

મેમરી: મૉડલના પૅરામીટર પ્રતિ વેઇટ 8, 6, 4, 3 કે 2 બિટ પર, ઉપરાંત MLXના ગ્રુપ સ્કેલ (પ્રતિ વેઇટ અડધો બિટ), અથવા તેનું નેટિવ ફૉર્મેટ, અને ઉપરથી કૉન્ટેક્સ્ટ માટે જગ્યા. ડિફૉલ્ટ રીતે macOS GPUને યુનિફાઇડ મેમરીનો આશરે 75% ભાગ વાપરવા દે છે. ઝડપ: મેમરી બૅન્ડવિડ્થને દરેક ટોકન માટે વંચાતા બાઇટથી ભાગતાં એક વાતચીતની ઉપલી મર્યાદા મળે છે; llama.cppના જાહેર Apple Silicon બેન્ચમાર્કમાં ખરા રન તેના આશરે 45%થી 80% સુધી પહોંચે છે, અને એ જ રેન્જ બતાવી છે. આ અંદાજ છે, માપ નથી: તમારું Mac MLX Bench પર માપો. મૉડલના આંકડા દરેક સત્તાવાર મૉડલ કાર્ડમાંથી, ચિપના આંકડા Appleના Tech Specsમાંથી. 2026-10-19ના રોજ ચકાસ્યું. mlx.app/compare જેવો જ ડેટા.

RTX 5090 નો ડેટા: NVIDIA: GeForce RTX 5090 (specs: 32 GB GDDR7, 512-bit, 575 W TGP), NVIDIA RTX Blackwell GPU Architecture whitepaper (Tables 1 and 4).