Jalankan LLM pada Mac anda.

1Apa yang muat pada Mac anda

Pemberat model mesti muat dalam memori dengan ruang lebihan untuk konteks dan macOS. Pada 4 bit setiap pemberat, jangkakan kira-kira 0.55 hingga 0.6 GB bagi setiap bilion parameter.

Kelajuan ialah soal lain: setiap token baharu memerlukan pemberat aktif dibaca daripada memori sekali, jadi token sesaat meningkat seiring lebar jalur memori. Panduan kami tentang Mac terbaik untuk LLM tempatan merangkumi setiap cip.

2Cara mudah: LM Studio

LM Studio ialah aplikasi Mac percuma dengan tetingkap sembang dan pelayar model. Pada Apple Silicon, ia boleh menjalankan model dalam format MLX Apple serta format GGUF yang digunakan oleh llama.cpp.

1. Muat turun LM Studio dan bukanya.
2. Cari sebuah model, utamakan versi MLX pada Apple Silicon, dan pilih saiz yang muat dalam memori anda.
3. Muatkan model itu dan mula bersembang. Anda juga boleh menghidupkan pelayan tempatannya untuk aplikasi lain.

3Satu arahan: Ollama

Ollama menjalankan model dari terminal dan menyediakannya kepada aplikasi lain pada Mac anda. Selepas memasangnya, satu arahan memuat turun dan memulakan sebuah model:

ollama run llama3.2

Sejak versi 0.19, Ollama pada Apple Silicon mempunyai pratonton yang dikuasakan oleh rangka kerja MLX Apple untuk model yang disokong, dengan peningkatan kelajuan yang besar; pratonton ini memerlukan Mac dengan memori lebih daripada 32 GB (Ollama).

4Cara paling pantas: MLX Apple dan mlx-lm

MLX ialah rangka kerja pembelajaran mesin sumber terbuka Apple untuk Apple Silicon, dan mlx-lm ialah pakejnya untuk model bahasa. Beribu-ribu model sedia digunakan daripada organisasi mlx-community di Hugging Face.

pip install mlx-lm
mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Explain unified memory in one paragraph"

Gunakan mlx_lm.chat untuk perbualan dalam terminal dan mlx_lm.server untuk API tempatan yang boleh dipanggil oleh aplikasi lain. Pada cip M5, MLX menggunakan pemecut neural baharu dalam GPU: Apple mengukur token pertama tiba 3.3 hingga 4.1 kali lebih cepat berbanding M4 (Apple Machine Learning Research).

5Ukur, kemudian manfaatkannya

MLX Bench ialah papan pendahulu terbuka untuk kelajuan MLX pada setiap cip Apple Silicon: token sesaat untuk penjanaan dan prompt, serta memori puncak. Jalankan skrip satu fail pada Mac anda dan lihat kedudukannya.

Apabila anda tidak menggunakan Mac anda, ia boleh menjalankan AI untuk orang lain. MLX Node ialah aplikasi percuma yang menjalankan kerja AI untuk MLX Network pada rangka kerja MLX yang sama dan memperoleh token MLX untuk kerja yang disahkan, dalam had yang anda tetapkan.

6Soalan

Bolehkah MacBook Air menjalankan LLM?

Ya. MacBook Air dengan 16 GB menjalankan model 7B hingga 14B pada 4-bit dengan selesa; dengan 32 GB, model sehingga kira-kira 30B. Ia akan lebih perlahan daripada Mac dengan cip Pro atau Max, yang mempunyai lebar jalur memori yang lebih tinggi.

Adakah MLX lebih pantas daripada Ollama pada Mac?

Selalunya ya, kerana MLX ditulis untuk Apple Silicon. Pratonton Ollama sendiri yang dikuasakan MLX melaporkan peningkatan kelajuan yang besar pada Apple Silicon. Panduan MLX vs Ollama kami membandingkannya secara terperinci.

Bolehkah model tempatan digunakan di luar talian?

Ya. Setelah dimuat turun, model berjalan sepenuhnya pada Mac anda dan prompt anda tidak pernah meninggalkannya.

Berapa banyak memori yang saya perlukan untuk model 70B?

Kira-kira 40 GB untuk pemberatnya pada 4-bit, jadi Mac dengan 64 GB atau lebih. Model mixture-of-experts dengan kualiti serupa mungkin memerlukan lebih banyak memori tetapi berjalan lebih pantas.