MLX Builders · data huria

MLX Bench

Name: MLX Bench: MLX inference speed on Apple Silicon
Creator: MLX

Kila Mac huendesha kila modeli kwa kasi gani? Tokeni kwa sekunde na kumbukumbu ya juu kwa modeli huria kwenye mfumo wa MLX wa Apple, zimepimwa kwenye Mac halisi na kuchapishwa kwa kila mtu. Ni sehemu ya MLX Builders.

Ongeza Mac yako

Amri mbili kwenye Terminal ya Mac yoyote yenye Apple Silicon. Huchagua modeli inayotosha kwenye kumbukumbu yako, huipima kwa mlx-lm, na kushiriki tarakimu hapa.

Ongeza --model mlx-community/… kujaribu modeli nyingine, --context 8192 au 65536 kwa maagizo marefu, --wallet you.mlx kuhesabu uendeshaji kwenye pochi yako, au --dry-run kuubakiza kwenye kifaa. Makundi ya Mac Studio huiendesha kwa mlx.launch --backend jaccl. Hati ni fupi, kwa hiyo isome kwanza: bench.py.

Kasi ya uzalishaji

Mac	Uzalishaji	Tokeni ya kwanza	Agizo	Kumbukumbu ya juu	Uendeshaji
M1 ProGPU ya viini 16 · 16 GB	35.7 tok/s	29.91 s	274 tok/s	6.2 GB	1siku 3 zilizopita

Wastani wa kati wa uendeshaji wa jumuiya, 5 hadi sasa, kwa maagizo ya tokeni 8,192 na tokeni mpya 128. Makundi ni Mac 2 hadi 4 zilizounganishwa kwa Thunderbolt 5 na kuendeshwa kwa mlx.launch; uendeshaji wa muktadha mrefu hufuata mbinu ya Apple. Matokeo yameripotiwa na watumiaji wenyewe hadi Mac zinazoendesha MLX Node ziyaendeshe upya. Data huria: /api/bench.