Adakah RTX 5090 lebih pantas daripada M5 Max untuk LLM?

RTX 5090 membaca memori kira-kira 192% lebih pantas daripada M5 Max (1,792 vs 614 GB/s), jadi ia menulis kira-kira 192% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya. Dalam ujian diukur llama.cpp, RTX 5090 membaca prompt kira-kira 4.4× lebih pantas (14,073 lawan 3,220 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.

Yang mana boleh menjalankan model lebih besar, M5 Max atau RTX 5090?

M5 Max ada kira-kira 96 GB untuk model, RTX 5090 kira-kira 31 GB. 47 daripada 73 model terbuka popular berjalan lancar pada M5 Max, 38 pada RTX 5090.

Adakah MLX Node berjalan pada RTX 5090?

Tidak. MLX Node dan MLX Harness hanya berjalan pada Mac dengan Apple Silicon, menggunakan rangka kerja MLX daripada Apple.

M5 Max vs RTX 5090 untuk LLM: memori, kelajuan, pilih mana

Bersebelahan

	M5 Max	RTX 5090
Apakah ia	MacBook Pro (14-inch, M5 Pro or M5 Max), MacBook Pro (16-inch, M5 Pro or M5 Max), Mac Studio (M5 Max or M5 Ultra)	Kad grafik untuk PC meja
Saiz memori	36, 48, 64, 128 GB	32 GB
Lebar jalur memori	460–614 GB/s	1,792 GB/s
Untuk model, paling banyak	kira-kira 96 GB	kira-kira 31 GB
Model yang berjalan baik	47 daripada 73	38 daripada 73
Diukur: menulis	120 tok/s	290 tok/s
Diukur: membaca prompt	3,220 tok/s	14,073 tok/s

Baris diukur: keputusan terpantas setiap mesin dalam penanda aras awam llama.cpp dengan Llama 2 7B Q4_0, semasa menulis 128 token (tg128) dan membaca prompt 512 token (pp512), dalam token sesaat. Mac menggunakan Metal, RTX 5090 menggunakan CUDA. Keputusan Apple Silicon · Keputusan RTX 5090 Untuk model, kami mengira 32 GB milik RTX 5090 sendiri tolak kira-kira 1 GB, dan kira-kira 75% memori bersatu Mac, lalai macOS.

Di mana setiap satu menang

Kelajuan menulis. RTX 5090 membaca memori kira-kira 192% lebih pantas daripada M5 Max (1,792 vs 614 GB/s), jadi ia menulis kira-kira 192% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya.
Saiz model. M5 Max ada kira-kira 96 GB untuk model, RTX 5090 kira-kira 31 GB. 47 daripada 73 model terbuka popular berjalan lancar pada M5 Max, 38 pada RTX 5090.
Membaca prompt panjang. Dalam ujian diukur llama.cpp, RTX 5090 membaca prompt kira-kira 4.4× lebih pantas (14,073 lawan 3,220 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.
Perisian. RTX 5090 menggunakan CUDA daripada NVIDIA, yang disokong dahulu oleh kebanyakan perisian AI, termasuk kod latihan dan banyak alat imej dan video. Pada Mac, model dijalankan dengan MLX, backend Metal llama.cpp atau backend MPS PyTorch.
Di sekelilingnya. Kad grafik memerlukan PC di sekelilingnya, dan 32 GB miliknya sendiri ialah hadnya: model yang tidak muat perlu berjalan sebahagiannya daripada memori sistem PC yang jauh lebih perlahan, atau dibahagikan ke kad kedua.
Mac. Ia juga komputer harian, dan menjalankan MLX Harness serta MLX Node, yang dibuat untuk Apple Silicon.

Kelajuan dengan model popular

Token sesaat untuk satu perbualan, setiap cip pada saiz memori terbesarnya (128 GB dan 32 GB), dengan versi terbaik model yang muat.

Model	M5 Max	RTX 5090
Llama 3.1 8B Instruct8B	33–58 8-bit	95–169 8-bit
gpt-oss-20b21B · 3.6B aktif	145–259 4.25-bit asli	424–755 4.25-bit asli
Qwen3.6 35B A3B35B · 3B aktif	86–154 8-bit	336–597 6-bit
Qwen3.8 27B27B	10–17 8-bit	28–50 8-bit
Llama 3.3 70B Instruct70B	4–7 8-bit	37–65 2-bit kualiti lebih rendah
gpt-oss-120b117B · 5.1B aktif	102–182 4.25-bit asli	terlalu besar
Qwen3.5 122B A10B122B · 10B aktif	49–88 4-bit	terlalu besar
DeepSeek V4 Flash 0731284B · 13B aktif	67–120 2-bit kualiti lebih rendah	terlalu besar

Soalan

Adakah RTX 5090 lebih pantas daripada M5 Max untuk LLM?: RTX 5090 membaca memori kira-kira 192% lebih pantas daripada M5 Max (1,792 vs 614 GB/s), jadi ia menulis kira-kira 192% lebih pantas dengan mana-mana model yang muat dalam kedua-duanya. Dalam ujian diukur llama.cpp, RTX 5090 membaca prompt kira-kira 4.4× lebih pantas (14,073 lawan 3,220 token sesaat). Membaca prompt bergantung pada kuasa pengiraan GPU, bukan lebar jalur memori, dan inilah yang menentukan berapa lama menunggu perkataan pertama bagi dokumen panjang atau pangkalan kod.
Yang mana boleh menjalankan model lebih besar, M5 Max atau RTX 5090?: M5 Max ada kira-kira 96 GB untuk model, RTX 5090 kira-kira 31 GB. 47 daripada 73 model terbuka popular berjalan lancar pada M5 Max, 38 pada RTX 5090.
Adakah MLX Node berjalan pada RTX 5090?: Tidak. MLX Node dan MLX Harness hanya berjalan pada Mac dengan Apple Silicon, menggunakan rangka kerja MLX daripada Apple.

Lebih banyak perbandingan

M5 Max untuk AI tempatan · Bandingkan semua model · Mac terbaik untuk LLM tempatan

Cara ia dikira

Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.

Data RTX 5090: NVIDIA: GeForce RTX 5090 (specs: 32 GB GDDR7, 512-bit, 575 W TGP), NVIDIA RTX Blackwell GPU Architecture whitepaper (Tables 1 and 4).