লগ ইনওয়ালেট তৈরি করুন

Mac কি Llama 3.2 1B Instruct চালাতে পারে?

হ্যাঁ, 8 GB বা তার বেশি ইউনিফায়েড মেমরি থাকলে। Llama 3.2 1B Instruct-এ 1.23B প্যারামিটার আছে; এখানে দেখুন প্রতিটি প্রিসিশনে এর কত মেমরি লাগে আর প্রতিটি Apple চিপ এটি কত দ্রুত চালায়।

4-bit-এ মেমরি2.2 GBওয়েট 0.7 GB + কনটেক্সট
সবচেয়ে ছোট Mac8 GB8-bit · 58টি Mac কনফিগারেশন
সবচেয়ে দ্রুত Mac415–738টোকেন/সেকেন্ড · M5 Ultra 96 GB (আনুমানিক)

প্রতিটি প্রিসিশনে মেমরি

ভার্সনওয়েটকনটেক্সটসহসবচেয়ে ছোট Mac
8-bit1.3 GB2.8 GB8 GB
6-bit1 GB2.5 GB8 GB
4-bit0.7 GB2.2 GB8 GB
3-bit কম মান0.5 GB2 GB8 GB
2-bit কম মান0.4 GB1.9 GB8 GB

প্রতিটি Apple চিপে

প্রতিটি চিপের যে সবচেয়ে ছোট মেমরি সাইজ Llama 3.2 1B Instruct চালায়, তাতে ধরে এমন সেরা ভার্সন, আর লেখার আনুমানিক গতি।

চিপলাগেভার্সনটোকেন/সেকেন্ড
M616 GB8-bit ভালো চলে53–94
M5 Ultra96 GB8-bit ভালো চলে415–738
M5 Max36 GB8-bit ভালো চলে159–283
M5 Pro24 GB8-bit ভালো চলে106–189
M516 GB8-bit ভালো চলে53–94
M4 Max36 GB8-bit ভালো চলে142–252
M4 Pro24 GB8-bit ভালো চলে95–168
M416 GB8-bit ভালো চলে42–74
M3 Ultra96 GB8-bit ভালো চলে284–504
M3 Max36 GB8-bit ভালো চলে104–185
M3 Pro18 GB8-bit ভালো চলে52–92
M38 GB8-bit ভালো চলে35–62
M2 Ultra64 GB8-bit ভালো চলে277–492
M2 Max32 GB8-bit ভালো চলে138–246
M2 Pro16 GB8-bit ভালো চলে69–123
M28 GB8-bit ভালো চলে35–62
M1 Ultra64 GB8-bit ভালো চলে277–492
M1 Max32 GB8-bit ভালো চলে138–246
M1 Pro16 GB8-bit ভালো চলে69–123
M18 GB8-bit ভালো চলে24–42

কীভাবে চালাবেন

  1. সহজ উপায়: MLX Harness ডাউনলোড করুন, এটি বিনামূল্যে ও ওপেন সোর্স। Llama 3.2 1B Instruct খুঁজুন, আপনার Mac-এ ধরে এমন ভার্সন ডাউনলোড করুন, আর চ্যাট করুন। এটি OpenAI-compatible API দিয়ে মডেলটি আপনার অন্য অ্যাপকেও দেয়।MLX Harness ডাউনলোড করুনবিনামূল্যে · Apple Silicon · macOS 14.5 বা নতুন
  2. Terminal-এ Apple-এর MLX দিয়ে:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.2-1B-Instruct-4bitবিল্ড: Hugging Face-এ mlx-community/Llama-3.2-1B-Instruct-4bit। অন্য প্রিসিশনগুলো তার পাশেই আছে।

ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান · MLX Harness কীভাবে ব্যবহার করবেন · MLX বনাম Ollama বনাম llama.cpp

Llama 3.2 1B Instruct সম্পর্কে

নির্মাতাMeta
প্যারামিটার1.23B (ডেন্স)
কনটেক্সট128K টোকেন
লাইসেন্সLlama 3.2 Community License
প্রকাশ2024-09
ইনপুটটেক্সট
ওয়েটmeta-llama/Llama-3.2-1B-Instruct

প্রশ্ন

Llama 3.2 1B Instruct-এর কত মেমরি লাগে?
4-bit-এ প্রায় 0.7 GB ওয়েট, সঙ্গে কনটেক্সটের জায়গা: সব মিলিয়ে 2.2 GB। Mac-এ এর মানে 8 GB বা তার বেশি ইউনিফায়েড মেমরি, কারণ ডিফল্টভাবে macOS GPU-কে তার প্রায় 75% ব্যবহার করতে দেয়।
Mac-এ Llama 3.2 1B Instruct কত দ্রুত চলে?
লেখার গতি নির্ভর করে মেমরি ব্যান্ডউইথের ওপর। এখানে এর জন্য সবচেয়ে দ্রুত Mac হলো 96 GB-এর M5 Ultra, সেকেন্ডে প্রায় 415–738 টোকেন (8-bit)। যে সবচেয়ে ছোট Mac এটি চালায়, 8 GB-এর M3, সেটি প্রায় 35–62 পর্যন্ত পৌঁছায়।
কোয়ান্টাইজেশনে কি Llama 3.2 1B Instruct-এর মান কমে?
4 bit-এ বেশিরভাগ মডেল আসল মানের কাছাকাছি থাকে; 4 bit-এর নিচে মান দ্রুত কমে। আপনার Mac-এ জায়গা রেখে ধরে এমন সবচেয়ে উঁচু প্রিসিশন বেছে নিন।

একই ধরনের মডেল

সব মডেল · সব Mac · আপনার Mac তুলনা করুন

আপনার মডেল কার্ড বা README-এর জন্য

Runs on a Mac: Llama 3.2 1B Instruct Llama 3.2 1B Instruct ভালোভাবে চালায় এমন সবচেয়ে ছোট Mac দেখায় আর এখানে লিংক করে।

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.2-1b.svg)](https://mlx.app/run/llama-3.2-1b)

হিসাব কীভাবে করা হয়েছে

মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।

Mac কি Llama 3.2 1B Instruct চালাতে পারে? মেমরি ও গতি