Kwa ukubwa wa kumbukumbu
| Kumbukumbu | Zinaenda vizuri | Kubwa zaidi inayoenda vizuri | gpt-oss-20b |
|---|---|---|---|
| 24 GB273 GB/s | 25 | Gemma 4 26B A4B | 65–115 tok/s |
| 48 GB273 GB/s | 30 | Qwen3.6 35B A3B | 65–115 tok/s |
| 64 GB273 GB/s | 31 | Nemotron 3.5 Bolt 74B A9B | 65–115 tok/s |
Modeli za Mac: Mac mini (2024). Si kila ukubwa wa kumbukumbu unapatikana kwa kila modeli ya Mac; Tech Specs za Apple zinaorodhesha kile ambacho kila moja inakuja nacho.
Maswali
- Je, Mac mini yenye M4 Pro inafaa kwa LLM za ndani?
- Ikiwa na GB 64 huendesha vizuri modeli huria 31 kati ya 73, hadi Nemotron 3.5 Bolt 74B A9B, na huandika takriban tokeni 65–115 kwa sekunde na gpt-oss-20b. M4 Pro husoma kumbukumbu kwa 273 GB/s, jambo linaloamua kasi yake ya kuandika.
- Mac mini yenye M4 Pro inapaswa kuwa na kumbukumbu kiasi gani kwa AI?
- Ikiwa na GB 24 huendesha vizuri modeli huria 25; ikiwa na GB 64, 31, hadi Nemotron 3.5 Bolt 74B A9B. Kumbukumbu huamua modeli zipi zinatosha, na haiwezi kuongezwa baadaye.
Mac nyingine
Mac mini yenye chipu nyingine:
Mac nyingine zenye M4 Pro:
Ana kwa ana:
Dhidi ya PC na kadi za michoro:
M4 Pro kwa AI ya ndani ya kifaa · Mac bora kwa LLM za ndani · Kila Mac
Jinsi inavyokokotolewa
Kumbukumbu: vigezo vya modeli kwa biti 8, 6, 4, 3 au 2 kwa kila weight pamoja na group scales za MLX (nusu biti kwa kila weight), au muundo wake asili, pamoja na nafasi ya context juu yake. Kwa chaguo-msingi macOS huiruhusu GPU kutumia takriban 75% ya unified memory. Kasi: bandwidth ya kumbukumbu ikigawanywa kwa baiti zinazosomwa kwa kila tokeni ndiyo kikomo cha juu kwa mazungumzo moja; katika benchmarks za umma za llama.cpp kwenye Apple Silicon uendeshaji halisi hufikia takriban 45% hadi 80% yake, na huo ndio upana unaoonyeshwa. Haya ni makadirio, si vipimo: pima Mac yako mwenyewe kwenye MLX Bench. Takwimu za modeli ni kutoka kwa kadi rasmi ya kila modeli, takwimu za chipu ni kutoka Tech Specs za Apple. Imekaguliwa 2026-10-19. Data ileile ya mlx.app/compare.