લૉગ ઇનવૉલેટ બનાવો

લોકલ AI માટે M1.

M1માં 16 GB સુધી યુનિફાઇડ મેમરી છે, જે 68 GB/s સુધીની ઝડપે વંચાય છે. આવા Mac પર લેંગ્વેજ મૉડલ ચલાવવા માટે તેનો શો અર્થ છે, તે અહીં Appleના પોતાના આંકડા પરથી ગણ્યું છે.

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી16 GB
મેમરી બૅન્ડવિડ્થ68 GB/s
કયા Macમાં છેMacBook Air (2020), 13-inch MacBook Pro (2020), Mac mini (2020), iMac (2021)
તેના માટે સમર્પિત સીટCore સીટ: દિવસે 20 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 16 GB સાથે M1 આશરે 21 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલજોઈતી મેમરીM1 પર સમાય છે
8B મૉડલ4.5 GBહા
14B મૉડલ7.9 GBહા
32B મૉડલ18 GBના
70B મૉડલ39.4 GBના
gpt-oss-120b, mixture-of-experts65 GBના
Qwen3.5-397B-A17B, mixture-of-experts223.3 GBના
DeepSeek-V4.1-Flash, mixture-of-experts316 GBના

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M1ની 68 GB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલદર ટોકને વંચાયએક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ4.5 GBસેકન્ડે 15 ટોકન
14B મૉડલ7.9 GBસેકન્ડે 9 ટોકન

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M1 70B મૉડલ ચલાવી શકે?
આરામથી નહીં. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M1માં વધુમાં વધુ 16 GB છે. આશરે 21B પૅરામીટર સુધીનાં મૉડલ સારી રીતે સમાય છે.
M1 સેકન્ડે કેટલા ટોકન આપે છે?
4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 15 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M1 AI માટે સારી છે?
મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M1માં 68 GB/s પર 16 GB સુધી મેમરી છે, જે આશરે 21 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

  1. Apple: M1apple.com
  2. llama.cpp: Apple Silicon benchmarksgithub.com
લોકલ LLM માટે M1: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે | MLX