Ano ang kayang patakbuhin ng Mac mo?
Piliin ang Mac mo, o anumang ibang makina, at tingnan kung aling mga open AI model ang kasya sa memory nito at gaano ito kabilis magpatakbo ng mga ito. Kinuwenta mula sa model card ng bawat model at sa inilathalang memory at bandwidth ng bawat chip.
Apple M5 na may 16 GB: mga 12 GB para sa mga model bilang default, 153 GB/s na memory bandwidth. 20 sa 43 sikat na model ang tumatakbo rito. Ang page nito Nasukat: 32 token/s gamit ang Llama 2 7B sa 4 bit sa llama.cpp (M5 (10-core GPU)).
Talino: Artificial Analysis Intelligence Index v4.3.2, kung nasukat. Naka-link ang mga pangalan ng model sa opisyal nilang card.
Paano ito kinuwenta
Memory. Ipinapakita ang bawat model sa pinakamataas na precision na kasya: 8, 6, 4, 3 o 2 bit kada weight, dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito kung ganoon ito inilabas. Sa Mac, mga 75% ng unified memory ang magagamit ng GPU bilang default; nag-iiwan pa kami ng puwang para sa context.
Bilis. Sa pagsusulat, binabasa ng bawat token ang lahat ng active weight nang isang beses, kaya ang memory bandwidth na hinati sa mga byte na iyon ang pinakamataas na posible para sa isang usapan. Sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Ang pagbasa ng mahabang prompt ay nakadepende sa compute, kaya hindi ito ipinapakita.
Mga source. Ang mga parameter, context at lisensya ay mula sa opisyal na card ng bawat model sa Hugging Face (naka-link sa pangalan nito); ang memory at bandwidth ay mula sa specs ng Apple at ng mga gumawa. Sinuri noong 2026-10-19. Sukatin ang sarili mong Mac sa MLX Bench. Libreng ma-download bilang JSON at CSV ang bawat Mac, bawat model at ang buong fit table: open data.
Mag-browse. Bawat Mac, mula sa 8 GB na M1 hanggang sa 512 GB na M5 Ultra, kasama ang bawat model na kaya nito, at bawat model kasama ang pinakamaliit na Mac na kailangan nito.
Patakbuhin. Hakbang-hakbang: mag-download at magpatakbo ng LLM sa Mac, MLX vs Ollama vs llama.cpp at ang pinakamahusay na Mac para sa lokal na LLM. Habang idle ang Mac mo, puwede itong kumita ng MLX Token.
- Paano ko malalaman kung tatakbo ang isang LLM sa Mac ko?
- Ikumpara ang laki ng model sa precision na gusto mo sa unified memory ng Mac mo. Bilang default, mga 75% nito ang ipinapagamit ng macOS sa GPU, at kailangan din ng model ng puwang para sa context nito. Ang 4-bit na model ay nangangailangan ng kaunti lampas kalahating gigabyte kada bilyong parameter.
- Ilang token kada segundo ang makukuha ko?
- Nililimitahan ng memory bandwidth ang pagsusulat: binabasa ng bawat token ang mga active weight ng model nang isang beses. Ang bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; karaniwang naaabot ng totoong takbo ang mga 45% hanggang 80% nito.
- Bakit mas mabilis ang mga mixture-of-experts (MoE) model?
- Marami silang expert sa memory pero iilan lang ang ginagamit sa bawat token, kaya mas kaunting byte ang binabasa ng bawat token. Kailangan nila ng memory para sa buong model, pero tumatakbo sila sa bilis ng mas maliit na model.
- Sapat na ba ang 4-bit?
- Sa karamihan ng model, napapanatili ng 4-bit ang kalidad na malapit sa orihinal. Sa ilalim ng 4 bit, mas mabilis bumaba ang kalidad, kaya may marka ang mga bersyong mas mababa sa 4 bit.