লগ ইনওয়ালেট তৈরি করুন

Mac কি Llama 3.3 70B Instruct চালাতে পারে?

হ্যাঁ, 64 GB বা তার বেশি ইউনিফায়েড মেমরি থাকলে। Llama 3.3 70B Instruct-এ 70B প্যারামিটার আছে; এখানে দেখুন প্রতিটি প্রিসিশনে এর কত মেমরি লাগে আর প্রতিটি Apple চিপ এটি কত দ্রুত চালায়।

4-bit-এ মেমরি42.6 GBওয়েট 39.4 GB + কনটেক্সট
সবচেয়ে ছোট Mac64 GB4-bit · 39টি Mac কনফিগারেশন
সবচেয়ে দ্রুত Mac14–24টোকেন/সেকেন্ড · M5 Ultra 96 GB (আনুমানিক)

প্রতিটি প্রিসিশনে মেমরি

ভার্সনওয়েটকনটেক্সটসহসবচেয়ে ছোট Mac
8-bit74.4 GB80.4 GB128 GB
6-bit56.9 GB61.5 GB96 GB
4-bit39.4 GB42.6 GB64 GB
3-bit কম মান30.6 GB33 GB48 GB
2-bit কম মান21.9 GB23.7 GB32 GB

প্রতিটি Apple চিপে

প্রতিটি চিপের যে সবচেয়ে ছোট মেমরি সাইজ Llama 3.3 70B Instruct চালায়, তাতে ধরে এমন সেরা ভার্সন, আর লেখার আনুমানিক গতি।

চিপলাগেভার্সনটোকেন/সেকেন্ড
M632 GB2-bit ধীর3–6
M5 Ultra96 GB4-bit ভালো চলে14–24
M5 Max64 GB4-bit ধীর7–12
M5 Pro64 GB4-bit ধীর4–6
M532 GB2-bit ধীর3–6
M4 Max64 GB4-bit ধীর6–11
M4 Pro64 GB4-bit ধীর3–6
M432 GB2-bit ধীর2–4
M3 Ultra96 GB6-bit ধীর6–12
M3 Max64 GB4-bit ধীর5–8
M3 Pro36 GB2-bit ধীর3–5
M3কোনো সাইজে ধরে নাখুব বড়–
M2 Ultra64 GB4-bit ধীর9–16
M2 Max64 GB4-bit ধীর5–8
M2 Pro32 GB2-bit ধীর4–7
M2কোনো সাইজে ধরে নাখুব বড়–
M1 Ultra64 GB4-bit ধীর9–16
M1 Max64 GB4-bit ধীর5–8
M1 Pro32 GB2-bit ধীর4–7
M1কোনো সাইজে ধরে নাখুব বড়–

কীভাবে চালাবেন

  1. সহজ উপায়: MLX Harness ডাউনলোড করুন, এটি বিনামূল্যে ও ওপেন সোর্স। Llama 3.3 70B Instruct খুঁজুন, আপনার Mac-এ ধরে এমন ভার্সন ডাউনলোড করুন, আর চ্যাট করুন। এটি OpenAI-compatible API দিয়ে মডেলটি আপনার অন্য অ্যাপকেও দেয়।MLX Harness ডাউনলোড করুনবিনামূল্যে · Apple Silicon · macOS 14.5 বা নতুন
  2. Terminal-এ Apple-এর MLX দিয়ে:pip install mlx-lmmlx_lm.chat --model mlx-community/Llama-3.3-70B-Instruct-4bitবিল্ড: Hugging Face-এ mlx-community/Llama-3.3-70B-Instruct-4bit। অন্য প্রিসিশনগুলো তার পাশেই আছে।

ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান · MLX Harness কীভাবে ব্যবহার করবেন · MLX বনাম Ollama বনাম llama.cpp

Llama 3.3 70B Instruct সম্পর্কে

নির্মাতাMeta
প্যারামিটার70B (ডেন্স)
কনটেক্সট128K টোকেন
লাইসেন্সLlama 3.3 Community License
প্রকাশ2024-12
ইনপুটটেক্সট
ওয়েটmeta-llama/Llama-3.3-70B-Instruct

প্রশ্ন

Llama 3.3 70B Instruct-এর কত মেমরি লাগে?
4-bit-এ প্রায় 39.4 GB ওয়েট, সঙ্গে কনটেক্সটের জায়গা: সব মিলিয়ে 42.6 GB। Mac-এ এর মানে 64 GB বা তার বেশি ইউনিফায়েড মেমরি, কারণ ডিফল্টভাবে macOS GPU-কে তার প্রায় 75% ব্যবহার করতে দেয়।
Mac-এ Llama 3.3 70B Instruct কত দ্রুত চলে?
লেখার গতি নির্ভর করে মেমরি ব্যান্ডউইথের ওপর। এখানে এর জন্য সবচেয়ে দ্রুত Mac হলো 96 GB-এর M5 Ultra, সেকেন্ডে প্রায় 14–24 টোকেন (4-bit)। যে সবচেয়ে ছোট Mac এটি চালায়, 64 GB-এর M2 Ultra, সেটি প্রায় 9–16 পর্যন্ত পৌঁছায়।
কোয়ান্টাইজেশনে কি Llama 3.3 70B Instruct-এর মান কমে?
4 bit-এ বেশিরভাগ মডেল আসল মানের কাছাকাছি থাকে; 4 bit-এর নিচে মান দ্রুত কমে। আপনার Mac-এ জায়গা রেখে ধরে এমন সবচেয়ে উঁচু প্রিসিশন বেছে নিন।

একই ধরনের মডেল

সব মডেল · সব Mac · আপনার Mac তুলনা করুন

আপনার মডেল কার্ড বা README-এর জন্য

Runs on a Mac: Llama 3.3 70B Instruct Llama 3.3 70B Instruct ভালোভাবে চালায় এমন সবচেয়ে ছোট Mac দেখায় আর এখানে লিংক করে।

[![Runs on a Mac](https://mlx.app/badge/run/llama-3.3-70b.svg)](https://mlx.app/run/llama-3.3-70b)

হিসাব কীভাবে করা হয়েছে

মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।

Mac কি Llama 3.3 70B Instruct চালাতে পারে? মেমরি ও গতি