શું M2 70B મૉડલ ચલાવી શકે?

આરામથી નહીં. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M2માં વધુમાં વધુ 24 GB છે. આશરે 32B પૅરામીટર સુધીનાં મૉડલ સારી રીતે સમાય છે.

M2 સેકન્ડે કેટલા ટોકન આપે છે?

4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 22 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.

શું M2 AI માટે સારી છે?

મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M2માં 100 GB/s પર 24 GB સુધી મેમરી છે, જે આશરે 32 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

લોકલ LLM માટે M2: મેમરી, ઝડપ અને કયાં મૉડલ ચાલે

1AI માટે મહત્ત્વના સ્પેક્સ

યુનિફાઇડ મેમરી	24 GB
મેમરી બૅન્ડવિડ્થ	100 GB/s
કયા Macમાં છે	MacBook Air (2022, 2023), 13-inch MacBook Pro (2022), Mac mini (2023)
તેના માટે સમર્પિત સીટ	Core સીટ: દિવસે 20 MLX સુધી માઇન કરે છે

2કયાં મૉડલ સમાય છે

દરેક વેઇટ દીઠ 4 બિટ પર મૉડલને દર અબજ પૅરામીટરે અડધા ગીગાબાઇટથી થોડી વધુ મેમરી જોઈએ, ઉપરાંત તેના કૉન્ટેક્સ્ટ અને macOS માટે જગ્યા. 24 GB સાથે M2 આશરે 32 અબજ પૅરામીટર સુધીનાં મૉડલ આરામથી સમાવે છે.

4-બિટ પર મૉડલ	જોઈતી મેમરી	M2 પર સમાય છે
8B મૉડલ	4.5 GB	હા
14B મૉડલ	7.9 GB	હા
32B મૉડલ	18 GB	હા
70B મૉડલ	39.4 GB	ના
gpt-oss-120b, mixture-of-experts	65 GB	ના
Qwen3.5-397B-A17B, mixture-of-experts	223.3 GB	ના
DeepSeek-V4.1-Flash, mixture-of-experts	316 GB	ના

3તે કેટલી ઝડપે ચાલે છે

ટેક્સ્ટ લખવાની ઝડપ મેમરી બૅન્ડવિડ્થથી મર્યાદિત છે: દરેક નવો ટોકન મૉડલના સક્રિય વેઇટ એક વાર વાંચે છે. M2ની 100 GB/sને દર ટોકને વંચાતા બાઇટથી ભાગતાં નીચેની ટોચમર્યાદા મળે છે. વાસ્તવિક રન સામાન્ય રીતે તેના આશરે 45% થી 80% સુધી પહોંચે છે (llama.cpp બેન્ચમાર્ક).

4-બિટ પર મૉડલ	દર ટોકને વંચાય	એક ચૅટ માટે ટોચમર્યાદા
8B મૉડલ	4.5 GB	સેકન્ડે 22 ટોકન
14B મૉડલ	7.9 GB	સેકન્ડે 13 ટોકન
32B મૉડલ	18 GB	સેકન્ડે 6 ટોકન

તમારા M2 Mac વડે કમાઓ

MLX Node તમે નક્કી કરેલી મર્યાદાઓમાં MLX Network માટે AIનું કામ ચલાવે છે અને MLX ટોકન કમાય છે. M2વાળું Mac Core સીટ પૂરા દરે ચલાવે છે, અને ત્યાં એક સીટ દિવસે 20 MLX સુધી માઇન કરે છે; મફત સીટ પર Mac દિવસે 1 MLX સુધી માઇન કરે છે. માઇન કરેલું MLX ફ્રી સીટ પર 30 દિવસ અને ડેડિકેટેડ સીટ સાથે 3 થી 20 દિવસ લૉક રહે છે. સમર્પિત સીટ અને જોખમો જુઓ.

MLX Node ડાઉનલોડ કરો

5બીજી ચિપ સાથે સરખાવો

6પ્રશ્નો

શું M2 70B મૉડલ ચલાવી શકે?: આરામથી નહીં. 4-બિટ પર 70B મૉડલને આશરે 40 GB જોઈએ, અને M2માં વધુમાં વધુ 24 GB છે. આશરે 32B પૅરામીટર સુધીનાં મૉડલ સારી રીતે સમાય છે.
M2 સેકન્ડે કેટલા ટોકન આપે છે?: 4-બિટ પર 8B મૉડલ માટે ટોચમર્યાદા સેકન્ડે આશરે 22 ટોકન છે, અને વાસ્તવિક રન તેના આશરે અડધાથી ચાર-પંચમાંશ સુધી પહોંચે છે. મોટાં મૉડલ એ જ પ્રમાણમાં ધીમાં ચાલે છે.
શું M2 AI માટે સારી છે?: મૉડલ લોકલી ચલાવવા માટે મેમરી અને બૅન્ડવિડ્થ સૌથી વધુ મહત્ત્વનાં છે. M2માં 100 GB/s પર 24 GB સુધી મેમરી છે, જે આશરે 32 અબજ પૅરામીટર સુધીનાં મૉડલ માટે પૂરતી છે. તે MLX Node વડે MLX Network માટે AIનું કામ ચલાવીને કમાઈ પણ શકે છે.

સ્રોત

Apple: M2apple.com
llama.cpp: Apple Silicon benchmarksgithub.com