W skrócie
- Mac mini ma do 64 GB (M5 Pro), Mac Studio do 128 GB z M5 Max i 512 GB z M5 Ultra (Apple, Apple).
- Przepustowość wyznacza szybkość pisania: 153–170 GB/s w Mac mini z M6, 307 GB/s w M5 Pro, do 614 GB/s w M5 Max i 1200 GB/s w M5 Ultra.
- Modele do około 30B parametrów w 4 bitach: wystarczy Mac mini z M5 Pro. Modele klasy 70B, gpt-oss-120b lub długi kontekst: Mac Studio ze 128 GB. Największe otwarte modele: Mac Studio z M5 Ultra.
- Pamięci nie da się później rozbudować, więc dobierz ją do modeli, które chcesz uruchamiać za rok, a nie tylko dziś.
1Parametry, które liczą się w AI
| Mac | Opcje pamięci | Przepustowość pamięci | Największy model w 4 bitach | Pobór mocy, od spoczynku do maksimum |
|---|---|---|---|---|
| Mac mini, M6 | 16, 24 lub 32 GB | 153–170 GB/s | ok. 21B do 42B | 4–70 W |
| Mac mini, M5 Pro | 24, 48 lub 64 GB | 307 GB/s | ok. 32B do 85B | 6–145 W |
| Mac Studio, M5 Max | 36, 48, 64 lub 128 GB | 460–614 GB/s | ok. 48B do 170B | 7–200 W |
| Mac Studio, M5 Ultra | 96, 256 lub 512 GB | 1200 GB/s | ok. 128B do 682B | 9–385 W |
Każda konfiguracja prowadzi do modeli, które dobrze na niej działają. Wcześniejsze modele działają tak samo: Mac mini z M4 lub M4 Pro i Mac Studio z M4 Max lub M3 Ultra (ranking wszystkich Maców).
2Jak szybko pisze każdy z nich
Przy pisaniu tekstu model odczytuje swoje aktywne wagi raz na każdy token, więc przepustowość pamięci wyznacza górną granicę szybkości. Dla gęstego modelu 32B w 4 bitach, około 18 GB:
| Mac | Górna granica dla jednego czatu | Mieści się? |
|---|---|---|
| Mac mini, M6 (32 GB) | ok. 9 tokenów/s | Tak |
| Mac mini, M5 Pro (48 lub 64 GB) | ok. 17 tokenów/s | Tak |
| Mac Studio, M5 Max (48 GB lub więcej) | ok. 34 tokenów/s | Tak |
| Mac Studio, M5 Ultra | ok. 67 tokenów/s | Tak |
Modele mixture-of-experts odczytują na token tylko część swoich wag, więc piszą znacznie szybciej, niż sugeruje ich rozmiar: pamięć decyduje, czy się zmieszczą, a przepustowość nadal wyznacza tempo. Czytanie długiego promptu zależy od mocy obliczeniowej GPU, a nie od przepustowości, i tu większe GPU układów Max i Ultra odskakują jeszcze bardziej.
3Który do jakich modeli
- Małe i średnie modele (do około 30B w 4 bitach), czat, pomoc w kodowaniu, domowy serwer AI: Mac mini z M5 Pro i 48 lub 64 GB. Mac mini z M6 i 32 GB uruchamia te same rozmiary mniej więcej o połowę wolniej.
- Modele klasy 70B, gpt-oss-120b, długi kontekst lub kilka modeli naraz: Mac Studio z M5 Max i 128 GB. Oficjalne pliki gpt-oss-120b od OpenAI mają około 65 GB (OpenAI), więcej, niż jakikolwiek Mac mini może dać swojemu GPU.
- Największe otwarte modele (setki miliardów parametrów): Mac Studio z M5 Ultra i 256 lub 512 GB albo kilka Maców razem (klastry AI z Maców).
Dla konkretnego modelu jego strona pokazuje najmniejszego Maca, który go uruchomi, i szybkość na każdym układzie: każdy otwarty model.
4Praca przez cały dzień
Oba to ciche, oszczędne komputery do pracy bez przerwy. Według powyższych danych Apple Mac mini pobiera w spoczynku 4–6 W, a Mac Studio 7–9 W; pod pełnym obciążeniem Mac Studio z M5 Ultra może pobierać do 385 W. Mac mini jako serwer AI opisuje, jak nie dać mu zasnąć i udostępniać modele innym urządzeniom, a ile prądu zużywa Mac – ile kosztuje dzień pracy.
Gdy jest bezczynny, MLX Node może wykonywać zadania AI dla MLX Network i zarabiać tokeny MLX. Dedykowane miejsce dopasowane do układu wydobywa szybciej: Core dla M6, Pro dla M5 Pro i M5 Max, Ultra dla M5 Ultra. Zarobki nie są gwarantowane: przeczytaj o ryzykach.
5Pytania
- Czy do AI warto dopłacić do Mac Studio zamiast Mac mini?
- Jeśli chcesz modeli powyżej około 85B parametrów, gpt-oss-120b lub długiego kontekstu, tak: tylko Mac Studio ma więcej niż 64 GB. Modele do około 30B w 4 bitach uruchomi Mac mini z M5 Pro, przy mniej więcej połowie przepustowości M5 Max.
- Czy Mac mini uruchomi model 70B?
- Tylko M5 Pro z 64 GB, w 4 bitach i z krótkim kontekstem: około 39 GB wag w 48 GB, których GPU może domyślnie użyć, z szybkością kilku tokenów na sekundę. Mac Studio ze 128 GB uruchomi go z miejscem na kontekst i mniej więcej dwa razy szybciej.
- Mac Studio M5 Max czy M5 Ultra do LLM?
- M5 Ultra ma mniej więcej dwa razy większą przepustowość (1200 wobec 614 GB/s), więc pisze mniej więcej dwa razy szybciej, i ma do 512 GB. M5 Max ze 128 GB obsłuży modele do około 170B w 4 bitach. Zobacz M5 Max vs M5 Ultra.
- Mac mini M6 czy M5 Pro do AI?
- M5 Pro: czyta pamięć o około 80% szybciej niż M6 z 24 lub 32 GB i ma do 64 GB zamiast 32 GB.
Źródła
- Applesupport.apple.com
- Applesupport.apple.com
- Mac minisupport.apple.com
- Mac Studiosupport.apple.com
- benchmarki llama.cppgithub.com
- OpenAIhuggingface.co