Mac mini sebagai server AI Anda.

1Mengapa Mac mini

Menulis teks dengan model bahasa dibatasi oleh seberapa cepat bobot bisa dibaca dari memori. Di Mac, GPU membaca memori terpadu secara langsung, jadi Mac mini dengan 64 GB bisa menampung model yang tidak muat di kartu grafis konsumen, dengan hanya beberapa watt saat diam. Ukurannya kecil dan menjalankan macOS, jadi alat yang sama bekerja seperti di MacBook.

Batasnya adalah memori dan bandwidth. Mac mini terbesar punya 64 GB dengan 307 GB/s; untuk model kelas 70B pada presisi lebih tinggi atau model terbuka terbesar, Mac Studio dengan hingga 512 GB adalah langkah berikutnya (Apple). Lihat Mac terbaik untuk LLM lokal.

2Mac mini mana untuk model apa

Bandwidth menentukan kecepatan: M5 Pro membaca memori sekitar 80% lebih cepat daripada M6 dengan 24 atau 32 GB, jadi model yang sama bisa menulis hingga sekitar 80% lebih cepat di sana. Setiap baris tertaut ke semua model yang berjalan baik di Mac itu, beserta kecepatannya. Mac mini lama dengan M4 dan M4 Pro bekerja dengan cara yang sama: Mac mini M4 Pro.

Agen dan dokumen panjang butuh memori konteks di luar model. Jika agen AI adalah tugas utamanya, pilih memori lebih besar daripada chip lebih cepat.

3Tetap terjaga dan bisa diakses

Buka Pengaturan Sistem › Energi di Mac mini (Apple):

• Cegah tidur otomatis saat layar mati: nyalakan, agar server tetap menjawab tanpa layar terpasang.
• Nyalakan otomatis setelah listrik padam: nyalakan, agar ia kembali hidup sendiri.
• Bangun untuk akses jaringan: nyalakan, jika Anda membiarkannya tidur.
• Mode Daya Rendah: Apple menyarankannya untuk komputer yang selalu menyala, seperti server, untuk mengurangi pemakaian energi dan suara kipas.

Untuk mengelolanya tanpa layar, nyalakan Login Jarak Jauh (SSH) atau Berbagi Layar di Pengaturan Sistem › Umum › Berbagi (Apple). Atur aplikasi server agar terbuka saat login, sehingga setelah restart semuanya kembali berjalan.

4Sajikan model ke perangkat lain

Masing-masing alat ini menjalankan model di Mac mini dan memberi aplikasi Anda yang lain API dalam format yang dipakai API OpenAI, yang diterima sebagian besar aplikasi chat, alat coding, dan agen:

Dengan mlx-lm, misalnya:

pip install mlx-lm
mlx_lm.server --model mlx-community/Qwen3-8B-4bit --host 0.0.0.0 --port 8080

# from another computer on the same network
curl http://<mac-mini-name>.local:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages": [{"role": "user", "content": "Hello"}]}'

Secara bawaan Ollama melepas model dari memori setelah 5 menit tanpa permintaan; atur OLLAMA_KEEP_ALIVE agar model tetap di memori pada server (Ollama). Aplikasi terbaik untuk menjalankan LLM di Mac membandingkan alat-alat ini secara rinci.

AI App Store mendaftar alat-alat ini dan aplikasi lain yang menjalankan model secara lokal, masing-masing dengan unduhan resmi pembuatnya, lisensinya, dan ke mana data Anda pergi.

5Menjalankan agen AI di Mac mini

Banyak Mac mini kini menjalankan agen AI yang bekerja lewat aplikasi chat, file, dan web siang malam. OpenClaw, misalnya, adalah asisten open source yang berjalan di komputer Anda sendiri, dengan model, termasuk model lokal, sebagai plugin yang bisa ditukar (OpenClaw). Arahkan agen seperti itu ke alamat server lokal, dan ia akan memakai model di Mac mini Anda, bukan API cloud.

Dua hal lebih penting untuk agen daripada untuk chat. Konteks: agen mengirim prompt panjang berisi deskripsi alat dan riwayat, yang memakan memori di luar model (lihat alasannya). Dan kualitas model: model terbesar yang berjalan baik di Mac mini Anda akan mengikuti instruksi dan memanggil alat dengan lebih andal daripada model kecil.

6Jaga tetap privat

• Server-server ini hanya mendengarkan di Mac itu sendiri sampai Anda mengubahnya. Buka hanya ke jaringan rumah atau kantor, dan hanya jika Anda memercayai perangkat di dalamnya.
• Dokumentasi mlx-lm sendiri menyatakan servernya tidak disarankan untuk produksi karena hanya menerapkan pemeriksaan keamanan dasar (mlx-lm).
• Jangan meneruskan port ke internet. Untuk menjangkau Mac mini dari luar, pakai jaringan privat seperti VPN.
• Agen yang bisa menjalankan perintah atau mengirim pesan bertindak dengan akun Anda: beri hanya akses yang dibutuhkannya.

7Biayanya, dan jam-jam menganggurnya

Server rumahan menghabiskan sebagian besar harinya untuk menunggu. MLX Node bisa memakai jam-jam itu: aplikasi ini menjalankan pekerjaan AI untuk MLX Network dalam batas yang Anda tetapkan, termasuk berapa memori yang boleh dipakai satu pekerjaan, dan memperoleh MLX Tokens dengan kursi gratis, hingga 1 MLX per hari. Jeda saat Anda butuh Mac mini dengan kecepatan penuh, atau biarkan ia mulai hanya setelah Mac menganggur. Penghasilan bergantung pada jaringan dan tidak dijamin: baca risikonya.

8Pertanyaan

Apakah Mac mini bagus untuk AI?

Untuk menjalankan model secara lokal, ya: GPU-nya membaca memori terpadu secara langsung, jadi M5 Pro dengan 64 GB menampung model hingga sekitar 85B parameter pada 4-bit, dengan beberapa watt saat diam. Untuk training atau model terbesar, Mac Studio atau server GPU adalah alat yang lebih tepat.

Mac mini mana yang sebaiknya dibeli untuk server LLM lokal?

Memori sebanyak yang Anda mampu: memori menentukan model mana yang muat dan tidak bisa ditambah nanti. M5 Pro juga membaca memori sekitar 80% lebih cepat daripada M6 dengan 24 atau 32 GB, jadi menulis lebih cepat. Bandingkan setiap konfigurasi di Mac mini M5 Pro dan Mac mini M6.

Bisakah Mac mini menjalankan model 70B?

Hanya M5 Pro dengan 64 GB, pada 4-bit dan dengan konteks pendek: bobotnya memakan sekitar 39 GB dari 48 GB yang secara bawaan bisa dipakai GPU. Penulisannya lambat, beberapa token per detik. Lihat Llama 3.3 70B di Mac.

Bagaimana cara memakai model di Mac mini dari laptop atau ponsel?

Jalankan server agar mendengarkan di jaringan Anda (misalnya mlx_lm.server --host 0.0.0.0), lalu arahkan aplikasi di perangkat lain ke http://<mac-mini-name>.local:8080/v1 sebagai endpoint yang kompatibel dengan OpenAI.

Berapa daya yang dipakai server AI Mac mini?

Mac mini M6 memakai sekitar 4 W saat diam dan hingga 70 W; M5 Pro 6 W hingga 145 W. Bekerja penuh seharian, itu paling banyak 1,68 atau 3,48 kWh (Apple).