Memori pada setiap kepersisan
| Versi | Pemberat | Dengan konteks | Mac terkecil |
|---|---|---|---|
| 8-bit | 595 GB | 643 GB | melebihi mana-mana Mac |
| 6-bit | 455 GB | 491 GB | melebihi mana-mana Mac |
| 4-bit | 315 GB | 340 GB | 512 GB |
| 3-bit kualiti lebih rendah | 245 GB | 265 GB | 512 GB |
| 2-bit kualiti lebih rendah | 175 GB | 189 GB | 256 GB |
Pada setiap cip Apple
Saiz memori terkecil setiap cip yang menjalankan Ling 3.1 Flash, versi terbaik yang muat, dan kelajuan menulis yang boleh anda jangkakan.
| Cip | Perlu | Versi | Token/s |
|---|---|---|---|
| M6 | tiada saiz yang muat | Terlalu besar | – |
| M5 Ultra | 512 GB | 4-bit Berjalan baik | 38–68 |
| M5 Max | tiada saiz yang muat | Terlalu besar | – |
| M5 Pro | tiada saiz yang muat | Terlalu besar | – |
| M5 | tiada saiz yang muat | Terlalu besar | – |
| M4 Max | tiada saiz yang muat | Terlalu besar | – |
| M4 Pro | tiada saiz yang muat | Terlalu besar | – |
| M4 | tiada saiz yang muat | Terlalu besar | – |
| M3 Ultra | 512 GB | 4-bit Berjalan baik | 26–46 |
| M3 Max | tiada saiz yang muat | Terlalu besar | – |
| M3 Pro | tiada saiz yang muat | Terlalu besar | – |
| M3 | tiada saiz yang muat | Terlalu besar | – |
| M2 Ultra | tiada saiz yang muat | Terlalu besar | – |
| M2 Max | tiada saiz yang muat | Terlalu besar | – |
| M2 Pro | tiada saiz yang muat | Terlalu besar | – |
| M2 | tiada saiz yang muat | Terlalu besar | – |
| M1 Ultra | tiada saiz yang muat | Terlalu besar | – |
| M1 Max | tiada saiz yang muat | Terlalu besar | – |
| M1 Pro | tiada saiz yang muat | Terlalu besar | – |
| M1 | tiada saiz yang muat | Terlalu besar | – |
Cara menjalankannya
- Dalam Terminal dengan MLX daripada Apple: Belum ada binaan MLX, dan mlx-lm standard belum boleh menukar pemberat rasmi (bailing_moe_v3.py).
Langkah demi langkah: muat turun dan jalankan LLM pada Mac · cara menggunakan MLX Harness · MLX vs Ollama vs llama.cpp
Tentang Ling 3.1 Flash
| Dibuat oleh | inclusionAI |
|---|---|
| Parameter | 560B jumlah · 25B aktif (mixture of experts) |
| Konteks | 256K token |
| Lesen | MIT |
| Dikeluarkan | 2026-10 |
| Input | Teks |
| Kecerdasan | 41.1 dalam Artificial Analysis Intelligence Index |
| Pemberat | inclusionAI/Ling-3.1-flash |
Soalan
- Berapakah memori yang diperlukan oleh Ling 3.1 Flash?
- Kira-kira 315 GB pemberat pada 4-bit, serta ruang untuk konteks: 340 GB kesemuanya. Pada Mac, ini bermakna 512 GB memori bersatu atau lebih, kerana secara lalai macOS membenarkan GPU menggunakan kira-kira 75% daripadanya.
- Sepantas mana Ling 3.1 Flash pada Mac?
- Kelajuan menulis bergantung pada lebar jalur memori. Mac terpantas untuknya di sini ialah M5 Ultra dengan 512 GB, kira-kira 38–68 token sesaat (4-bit). Mac terkecil yang menjalankannya, dengan 512 GB, mencapai kira-kira 38–68 pada M5 Ultra.
- Mengapakah Ling 3.1 Flash berjalan lebih pantas daripada saiznya?
- Ia model mixture-of-experts: ia menyimpan 560B parameter dalam memori tetapi hanya membaca 25B bagi setiap token, jadi ia menulis sepantas model yang jauh lebih kecil.
Model serupa
Untuk kad model atau README anda
Menunjukkan Mac terkecil yang menjalankan Ling 3.1 Flash dengan baik dan memaut ke sini.
[](https://mlx.app/run/ling-3.1-flash)Cara ia dikira
Memori: parameter model pada 8, 6, 4, 3 atau 2 bit setiap pemberat serta skala kumpulan MLX (setengah bit setiap pemberat), atau format aslinya, dengan ruang untuk konteks di atasnya. Secara lalai macOS membenarkan GPU menggunakan kira-kira 75% memori bersatu. Kelajuan: lebar jalur memori dibahagikan dengan bait yang dibaca bagi setiap token ialah had atas untuk satu perbualan; dalam penanda aras Apple Silicon awam llama.cpp, larian sebenar mencapai kira-kira 45% hingga 80% daripadanya, dan julat itulah yang ditunjukkan. Ini anggaran, bukan ukuran: ukur Mac anda sendiri di MLX Bench. Angka model daripada kad model rasmi setiap model, angka cip daripada Spesifikasi Teknikal Apple. Disemak 2026-10-19. Data yang sama seperti mlx.app/compare.
Data terbuka: mlx.app/data (JSON, CSV)