Kaya bang patakbuhin ng Mac ang Qwen3 0.6B?

Oo, kung may 8 GB na unified memory o higit pa. May 0.6B na parameter ang Qwen3 0.6B; narito ang memory na kailangan nito sa bawat precision at kung gaano ito kabilis sa bawat Apple chip.

Memory sa 4-bit1.8 GBweights 0.3 GB + context
Pinakamaliit na Mac8 GB8-bit · 58 configuration ng Mac
Pinakamabilis na Mac900–1600token/s · M5 Ultra 96 GB (tantiya)

Memory sa bawat precision

BersyonWeightsKasama ang contextPinakamaliit na Mac
8-bit0.6 GB2.1 GB8 GB
6-bit0.5 GB2 GB8 GB
4-bit0.3 GB1.8 GB8 GB
3-bit mas mababang kalidad0.3 GB1.8 GB8 GB
2-bit mas mababang kalidad0.2 GB1.7 GB8 GB

Sa bawat Apple chip

Ang pinakamaliit na memory size ng bawat chip na kaya ang Qwen3 0.6B, ang pinakamagandang bersyong kasya rito, at ang bilis ng pagsusulat na maaasahan mo.

ChipKailanganBersyonToken/s
M616 GB8-bit Maayos115–204
M5 Ultra96 GB8-bit Maayos900–1600
M5 Max36 GB8-bit Maayos345–613
M5 Pro24 GB8-bit Maayos230–409
M516 GB8-bit Maayos115–204
M4 Max36 GB8-bit Maayos308–547
M4 Pro24 GB8-bit Maayos205–364
M416 GB8-bit Maayos90–160
M3 Ultra96 GB8-bit Maayos614–1092
M3 Max36 GB8-bit Maayos225–400
M3 Pro18 GB8-bit Maayos113–200
M38 GB8-bit Maayos75–133
M2 Ultra64 GB8-bit Maayos600–1067
M2 Max32 GB8-bit Maayos300–533
M2 Pro16 GB8-bit Maayos150–267
M28 GB8-bit Maayos75–133
M1 Ultra64 GB8-bit Maayos600–1067
M1 Max32 GB8-bit Maayos300–533
M1 Pro16 GB8-bit Maayos150–267
M18 GB8-bit Maayos51–91

Paano ito patakbuhin

  1. Ang madaling paraan: i-download ang MLX Harness, libre at open source. Hanapin ang Qwen3 0.6B, i-download ang bersyong kasya sa Mac mo, at mag-chat. Ibinibigay rin nito ang model sa iba mo pang app sa pamamagitan ng API na compatible sa OpenAI.I-download ang MLX HarnessLibre · Apple Silicon · macOS 14.5 o mas bago
  2. Sa Terminal gamit ang MLX ng Apple:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3-0.6B-4bitBuild: mlx-community/Qwen3-0.6B-4bit sa Hugging Face. Katabi nito ang ibang precision.

Hakbang-hakbang: mag-download at magpatakbo ng LLM sa Mac · paano gamitin ang MLX Harness · MLX vs Ollama vs llama.cpp

Tungkol sa Qwen3 0.6B

Gawa ngQwen (Alibaba)
Mga parameter0.6B (dense)
Context40K token
LisensyaApache-2.0
Inilabas2025-04
InputText
WeightsQwen/Qwen3-0.6B

Mga tanong

Gaano karaming memory ang kailangan ng Qwen3 0.6B?
Mga 0.3 GB ng weights sa 4-bit, dagdag ang espasyo para sa context: 1.8 GB lahat-lahat. Sa Mac, ibig sabihin nito ay 8 GB na unified memory o higit pa, dahil bilang default, mga 75% nito ang ipinapagamit ng macOS sa GPU.
Gaano kabilis ang Qwen3 0.6B sa Mac?
Nakadepende sa memory bandwidth ang bilis ng pagsusulat. Ang pinakamabilis na Mac para dito ay M5 Ultra na may 96 GB, sa mga 900–1600 token bawat segundo (8-bit). Ang pinakamaliit na Mac na kaya ito, na may 8 GB, ay umaabot sa mga 75–133 sa M3.
Nakakasama ba ang quantization sa Qwen3 0.6B?
Sa 4 bit, nananatiling malapit sa orihinal na kalidad ang karamihan ng model; sa ilalim ng 4 bit, mas mabilis bumaba ang kalidad. Piliin ang pinakamataas na precision na kasya sa Mac mo nang may sobrang espasyo.

Mga katulad na model

Bawat model · Bawat Mac · Ihambing ang Mac mo

Para sa model card o README mo

Runs on a Mac: Qwen3 0.6B Ipinapakita ang pinakamaliit na Mac na maayos na nagpapatakbo ng Qwen3 0.6B at nagli-link dito.

[![Runs on a Mac](https://mlx.app/badge/run/qwen3-0.6b.svg)](https://mlx.app/run/qwen3-0.6b)

Paano ito kinuwenta

Memory: ang mga parameter ng model sa 8, 6, 4, 3 o 2 bit kada weight dagdag ang group scales ng MLX (kalahating bit kada weight), o ang native format nito, at may espasyo pa para sa context. Bilang default, mga 75% ng unified memory ang ipinapagamit ng macOS sa GPU. Bilis: ang memory bandwidth na hinati sa mga byte na binabasa kada token ang pinakamataas na posible para sa isang usapan; sa mga pampublikong benchmark ng llama.cpp sa Apple Silicon, umaabot ang totoong takbo sa mga 45% hanggang 80% nito, at iyon ang range na ipinapakita. Mga tantiya ito, hindi sukat: sukatin ang sarili mong Mac sa MLX Bench. Ang mga numero ng model ay mula sa opisyal na model card ng bawat isa, at ang sa chip ay mula sa Tech Specs ng Apple. Sinuri noong 2026-10-19. Parehong data ng mlx.app/compare.

Kaya ba ng Mac ang Qwen3 0.6B? Memory at bilis