Mac mini sebagai pelayan AI anda.

1Mengapa Mac mini

Menulis teks dengan model bahasa dihadkan oleh kelajuan pemberat dibaca daripada memori. Pada Mac, GPU membaca memori bersatu secara terus, jadi Mac mini dengan 64 GB boleh memuatkan model yang tidak muat pada kad grafik pengguna, dengan hanya beberapa watt semasa melahu. Ia mengambil sedikit ruang dan menjalankan macOS, jadi alat yang sama berfungsi seperti pada MacBook.

Hadnya ialah memori dan lebar jalur. Mac mini terbesar mempunyai 64 GB pada 307 GB/s; untuk model kelas 70B pada kepersisan lebih tinggi atau model terbuka terbesar, Mac Studio dengan sehingga 512 GB ialah langkah seterusnya (Apple). Lihat Mac terbaik untuk LLM tempatan.

2Mac mini mana untuk model mana

Lebar jalur menentukan kelajuan: M5 Pro membaca memori kira-kira 80% lebih pantas daripada M6 dengan 24 atau 32 GB, jadi model yang sama boleh menulis sehingga kira-kira 80% lebih pantas padanya. Setiap baris dipautkan kepada setiap model yang berjalan baik pada Mac itu, dengan kelajuannya. Mac mini terdahulu dengan M4 dan M4 Pro berfungsi dengan cara yang sama: Mac mini M4 Pro.

Ejen dan dokumen panjang memerlukan memori konteks di atas model. Jika ejen AI ialah tugas utamanya, pilih memori lebih besar berbanding cip lebih pantas.

3Pastikan ia berjaga dan boleh dicapai

Buka System Settings › Energy pada Mac mini (Apple):

• Prevent automatic sleeping when the display is off: hidupkan, supaya pelayan terus menjawab tanpa skrin disambungkan.
• Start up automatically after a power failure: hidupkan, supaya ia hidup semula dengan sendirinya.
• Wake for network access: hidupkan, jika anda membiarkannya tidur.
• Low Power Mode: Apple mencadangkannya untuk komputer yang sentiasa hidup, seperti pelayan, untuk mengurangkan penggunaan tenaga dan bunyi kipas.

Untuk mengurusnya tanpa skrin, hidupkan Remote Login (SSH) atau Screen Sharing dalam System Settings › General › Sharing (Apple). Tetapkan aplikasi pelayan supaya dibuka semasa log masuk, jadi mula semula akan memulihkan semuanya.

4Sediakan model kepada peranti anda yang lain

Setiap alat ini menjalankan model pada Mac mini dan memberikan aplikasi anda yang lain API dalam format yang digunakan API OpenAI, yang diterima oleh kebanyakan aplikasi sembang, alat pengekodan dan ejen:

Dengan mlx-lm, contohnya:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Ollama mengeluarkan model daripada memori selepas 5 minit tanpa permintaan secara lalai; tetapkan OLLAMA_KEEP_ALIVE untuk mengekalkannya dalam memori pada pelayan (Ollama). Aplikasi terbaik untuk menjalankan LLM pada Mac membandingkan alat-alat ini dengan terperinci.

AI App Store menyenaraikan alat-alat ini dan aplikasi lain yang menjalankan model secara setempat, setiap satu dengan muat turun rasmi pembuatnya, lesennya dan ke mana data anda pergi.

5Menjalankan ejen AI padanya

Banyak Mac mini kini menjalankan ejen AI yang bekerja melalui aplikasi sembang, fail dan web sepanjang masa. OpenClaw, contohnya, ialah pembantu sumber terbuka yang berjalan pada komputer anda sendiri, dengan model, termasuk model tempatan, sebagai plugin yang boleh ditukar (OpenClaw). Halakan ejen sebegini ke alamat pelayan tempatan dan ia akan menggunakan model pada Mac mini anda dan bukannya API awan.

Dua perkara lebih penting untuk ejen berbanding untuk sembang. Konteks: ejen menghantar prompt panjang dengan penerangan alat dan sejarah, yang mengambil memori di atas model (lihat sebabnya). Dan kualiti model: model terbesar yang berjalan baik pada Mac mini anda akan mengikut arahan dan memanggil alat dengan lebih boleh dipercayai berbanding model kecil.

6Pastikan ia peribadi

• Pelayan ini hanya mendengar pada Mac itu sendiri sehingga anda mengubahnya. Bukanya kepada rangkaian rumah atau pejabat anda sahaja, dan hanya jika anda mempercayai peranti di dalamnya.
• Dokumentasi mlx-lm sendiri menyatakan pelayannya tidak disyorkan untuk pengeluaran kerana ia hanya melaksanakan semakan keselamatan asas (mlx-lm).
• Jangan majukan port ke internet. Untuk mencapai Mac mini dari luar, gunakan rangkaian peribadi seperti VPN.
• Ejen yang boleh menjalankan arahan atau menghantar mesej bertindak dengan akaun anda: berikan akses yang diperlukan sahaja.

7Kosnya, dan jam terbiarnya

Pelayan di rumah menghabiskan kebanyakan harinya dengan menunggu. MLX Node boleh menggunakan jam-jam itu: ia menjalankan kerja AI untuk MLX Network dalam had yang anda tetapkan, termasuk berapa banyak memori yang boleh diambil oleh sesuatu kerja, dan memperoleh MLX Tokens pada kerusi percuma, sehingga 1 MLX sehari. Jedakannya apabila anda memerlukan Mac mini pada kelajuan penuh, atau biarkan ia bermula hanya selepas Mac melahu. Perolehan bergantung pada rangkaian dan tidak dijamin: baca risiko.

8Soalan

Adakah Mac mini bagus untuk AI?

Untuk menjalankan model secara tempatan, ya: GPUnya membaca memori bersatu secara terus, jadi M5 Pro dengan 64 GB memuatkan model sehingga kira-kira 85B parameter pada 4-bit, dengan beberapa watt semasa melahu. Untuk latihan atau model terbesar, Mac Studio atau pelayan GPU ialah alat yang lebih sesuai.

Mac mini mana patut saya beli untuk pelayan LLM tempatan?

Memori sebanyak yang anda mampu: memori menentukan model yang muat dan tidak boleh dinaik taraf kemudian. M5 Pro juga membaca memori kira-kira 80% lebih pantas daripada M6 dengan 24 atau 32 GB, jadi ia menulis lebih pantas. Bandingkan setiap konfigurasi di Mac mini M5 Pro dan Mac mini M6.

Bolehkah Mac mini menjalankan model 70B?

Hanya M5 Pro dengan 64 GB, pada 4-bit dan dengan konteks pendek: pemberat mengambil kira-kira 39 GB daripada 48 GB yang boleh digunakan GPU secara lalai. Ia menulis dengan perlahan, beberapa token sesaat. Lihat Llama 3.3 70B pada Mac.

Bagaimana saya menggunakan model Mac mini daripada laptop atau telefon saya?

Mulakan pelayan supaya ia mendengar pada rangkaian anda (contohnya mlx_lm.server --host 0.0.0.0), kemudian halakan aplikasi pada peranti lain ke http://<mac-mini-name>.local:8080/v1 sebagai titik akhir yang serasi dengan OpenAI.

Berapa banyak kuasa yang digunakan pelayan AI Mac mini?

Mac mini M6 menggunakan kira-kira 4 W semasa melahu dan sehingga 70 W; M5 Pro 6 W hingga 145 W. Pada beban penuh sepanjang hari, itu paling banyak 1.68 atau 3.48 kWj (Apple).