Apakah RTX 5090 lebih cepat daripada M5 Max untuk LLM?

RTX 5090 membaca memori sekitar 192% lebih cepat daripada M5 Max (1.792 vs 614 GB/s), jadi ia menulis sekitar 192% lebih cepat untuk model apa pun yang muat di keduanya. Dalam uji terukur llama.cpp, RTX 5090 membaca prompt sekitar 4,4× lebih cepat (14.073 vs 3.220 token per detik). Membaca prompt bergantung pada daya hitung GPU, bukan bandwidth memori, dan inilah yang menentukan lama menunggu kata pertama untuk dokumen panjang atau codebase.

Mana yang bisa menjalankan model lebih besar, M5 Max atau RTX 5090?

M5 Max punya sekitar 96 GB untuk model, RTX 5090 sekitar 31 GB. 47 dari 73 model terbuka populer berjalan baik di M5 Max, 38 di RTX 5090.

Apakah MLX Node berjalan di RTX 5090?

Tidak. MLX Node dan MLX Harness hanya berjalan di Mac dengan Apple Silicon, memakai framework MLX dari Apple.

M5 Max vs RTX 5090 untuk LLM: memori, kecepatan, pilih mana

Berdampingan

	M5 Max	RTX 5090
Apa itu	MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac Studio (M5 Max or M5 Ultra)	Kartu grafis untuk PC desktop
Ukuran memori	36, 48, 64, 128 GB	32 GB
Bandwidth memori	460–614 GB/s	1.792 GB/s
Untuk model, paling banyak	sekitar 96 GB	sekitar 31 GB
Model yang berjalan baik	47 dari 73	38 dari 73
Terukur: menulis	120 tok/s	290 tok/s
Terukur: membaca prompt	3.220 tok/s	14.073 tok/s

Baris terukur: hasil tercepat tiap mesin di benchmark publik llama.cpp dengan Llama 2 7B Q4_0, saat menulis 128 token (tg128) dan membaca prompt 512 token (pp512), dalam token per detik. Mac memakai Metal, RTX 5090 memakai CUDA. Hasil Apple Silicon · Hasil RTX 5090 Untuk model, kami menghitung 32 GB milik RTX 5090 sendiri dikurangi sekitar 1 GB, dan sekitar 75% memori terpadu Mac, bawaan macOS.

Di mana masing-masing unggul

Kecepatan menulis. RTX 5090 membaca memori sekitar 192% lebih cepat daripada M5 Max (1.792 vs 614 GB/s), jadi ia menulis sekitar 192% lebih cepat untuk model apa pun yang muat di keduanya.
Ukuran model. M5 Max punya sekitar 96 GB untuk model, RTX 5090 sekitar 31 GB. 47 dari 73 model terbuka populer berjalan baik di M5 Max, 38 di RTX 5090.
Membaca prompt panjang. Dalam uji terukur llama.cpp, RTX 5090 membaca prompt sekitar 4,4× lebih cepat (14.073 vs 3.220 token per detik). Membaca prompt bergantung pada daya hitung GPU, bukan bandwidth memori, dan inilah yang menentukan lama menunggu kata pertama untuk dokumen panjang atau codebase.
Perangkat lunak. RTX 5090 memakai CUDA dari NVIDIA, yang didukung lebih dulu oleh sebagian besar perangkat lunak AI, termasuk kode pelatihan dan banyak alat gambar serta video. Di Mac, model dijalankan dengan MLX, backend Metal llama.cpp, atau backend MPS PyTorch.
Di sekitarnya. Kartu grafis butuh PC di sekitarnya, dan 32 GB miliknya sendiri adalah batasnya: model yang tidak muat harus berjalan sebagian dari memori sistem PC yang jauh lebih lambat, atau dibagi ke kartu kedua.
Mac. Ini juga komputer sehari-hari, dan menjalankan MLX Harness serta MLX Node, yang dibuat untuk Apple Silicon.

Kecepatan dengan model populer

Token per detik untuk satu percakapan, setiap chip pada ukuran memori terbesarnya (128 GB dan 32 GB), dengan versi terbaik model yang muat.

Model	M5 Max	RTX 5090
Llama 3.1 8B Instruct8B	33–58 8-bit	95–169 8-bit
gpt-oss-20b21B · 3,6B aktif	145–259 4,25-bit bawaan	424–755 4,25-bit bawaan
Qwen3.6 35B A3B35B · 3B aktif	86–154 8-bit	336–597 6-bit
Qwen3.8 27B27B	10–17 8-bit	28–50 8-bit
Llama 3.3 70B Instruct70B	4–7 8-bit	37–65 2-bit kualitas lebih rendah
gpt-oss-120b117B · 5,1B aktif	102–182 4,25-bit bawaan	terlalu besar
Qwen3.5 122B A10B122B · 10B aktif	49–88 4-bit	terlalu besar
DeepSeek V4 Flash 0731284B · 13B aktif	67–120 2-bit kualitas lebih rendah	terlalu besar

Pertanyaan

Apakah RTX 5090 lebih cepat daripada M5 Max untuk LLM?: RTX 5090 membaca memori sekitar 192% lebih cepat daripada M5 Max (1.792 vs 614 GB/s), jadi ia menulis sekitar 192% lebih cepat untuk model apa pun yang muat di keduanya. Dalam uji terukur llama.cpp, RTX 5090 membaca prompt sekitar 4,4× lebih cepat (14.073 vs 3.220 token per detik). Membaca prompt bergantung pada daya hitung GPU, bukan bandwidth memori, dan inilah yang menentukan lama menunggu kata pertama untuk dokumen panjang atau codebase.
Mana yang bisa menjalankan model lebih besar, M5 Max atau RTX 5090?: M5 Max punya sekitar 96 GB untuk model, RTX 5090 sekitar 31 GB. 47 dari 73 model terbuka populer berjalan baik di M5 Max, 38 di RTX 5090.
Apakah MLX Node berjalan di RTX 5090?: Tidak. MLX Node dan MLX Harness hanya berjalan di Mac dengan Apple Silicon, memakai framework MLX dari Apple.

Perbandingan lainnya

M5 Max untuk AI lokal · Bandingkan semua model · Mac terbaik untuk LLM lokal

Cara menghitungnya

Memori: parameter model pada 8, 6, 4, 3, atau 2 bit per bobot ditambah skala grup MLX (setengah bit per bobot), atau format bawaannya, ditambah ruang untuk konteks. Secara bawaan macOS mengizinkan GPU memakai sekitar 75% memori terpadu. Kecepatan: bandwidth memori dibagi jumlah byte yang dibaca per token adalah batas atas untuk satu percakapan; dalam benchmark Apple Silicon publik llama.cpp, proses nyata mencapai sekitar 45% hingga 80% darinya, dan rentang itulah yang ditampilkan. Ini perkiraan, bukan pengukuran: ukur Mac Anda sendiri di MLX Bench. Angka model dari kartu model resmi masing-masing, angka chip dari Spesifikasi Teknis Apple. Diperiksa 2026-10-19. Data sama dengan mlx.app/compare.

Data RTX 5090: NVIDIA: GeForce RTX 5090 (specs: 32 GB GDDR7, 512-bit, 575 W TGP), NVIDIA RTX Blackwell GPU Architecture whitepaper (Tables 1 and 4).