লগ ইনওয়ালেট তৈরি করুন

Mac কি Qwen3.5 397B A17B চালাতে পারে?

হ্যাঁ, 512 GB বা তার বেশি ইউনিফায়েড মেমরি থাকলে। Qwen3.5 397B A17B-এ 397B প্যারামিটার আছে, যার মধ্যে প্রতি টোকেনে 17B সক্রিয় থাকে; এখানে দেখুন প্রতিটি প্রিসিশনে এর কত মেমরি লাগে আর প্রতিটি Apple চিপ এটি কত দ্রুত চালায়।

4-bit-এ মেমরি241 GBওয়েট 223 GB + কনটেক্সট
সবচেয়ে ছোট Mac512 GB6-bit · 5টি Mac কনফিগারেশন
সবচেয়ে দ্রুত Mac39–70টোকেন/সেকেন্ড · M5 Ultra 512 GB (আনুমানিক)

প্রতিটি প্রিসিশনে মেমরি

ভার্সনওয়েটকনটেক্সটসহসবচেয়ে ছোট Mac
8-bit422 GB456 GBযেকোনো Mac-এর চেয়ে বেশি
6-bit323 GB348 GB512 GB
4-bit223 GB241 GB512 GB
3-bit কম মান174 GB188 GB256 GB
2-bit কম মান124 GB134 GB192 GB

প্রতিটি Apple চিপে

প্রতিটি চিপের যে সবচেয়ে ছোট মেমরি সাইজ Qwen3.5 397B A17B চালায়, তাতে ধরে এমন সেরা ভার্সন, আর লেখার আনুমানিক গতি।

চিপলাগেভার্সনটোকেন/সেকেন্ড
M6কোনো সাইজে ধরে নাখুব বড়–
M5 Ultra512 GB6-bit ভালো চলে39–70
M5 Maxকোনো সাইজে ধরে নাখুব বড়–
M5 Proকোনো সাইজে ধরে নাখুব বড়–
M5কোনো সাইজে ধরে নাখুব বড়–
M4 Maxকোনো সাইজে ধরে নাখুব বড়–
M4 Proকোনো সাইজে ধরে নাখুব বড়–
M4কোনো সাইজে ধরে নাখুব বড়–
M3 Ultra512 GB6-bit ভালো চলে27–47
M3 Maxকোনো সাইজে ধরে নাখুব বড়–
M3 Proকোনো সাইজে ধরে নাখুব বড়–
M3কোনো সাইজে ধরে নাখুব বড়–
M2 Ultra192 GB2-bit ভালো চলে68–121
M2 Maxকোনো সাইজে ধরে নাখুব বড়–
M2 Proকোনো সাইজে ধরে নাখুব বড়–
M2কোনো সাইজে ধরে নাখুব বড়–
M1 Ultraকোনো সাইজে ধরে নাখুব বড়–
M1 Maxকোনো সাইজে ধরে নাখুব বড়–
M1 Proকোনো সাইজে ধরে নাখুব বড়–
M1কোনো সাইজে ধরে নাখুব বড়–

কীভাবে চালাবেন

  1. সহজ উপায়: MLX Harness ডাউনলোড করুন, এটি বিনামূল্যে ও ওপেন সোর্স। Qwen3.5 397B A17B খুঁজুন, আপনার Mac-এ ধরে এমন ভার্সন ডাউনলোড করুন, আর চ্যাট করুন। এটি OpenAI-compatible API দিয়ে মডেলটি আপনার অন্য অ্যাপকেও দেয়।MLX Harness ডাউনলোড করুনবিনামূল্যে · Apple Silicon · macOS 14.5 বা নতুন
  2. Terminal-এ Apple-এর MLX দিয়ে:pip install mlx-lmmlx_lm.chat --model mlx-community/Qwen3.5-397B-A17B-4bitবিল্ড: Hugging Face-এ mlx-community/Qwen3.5-397B-A17B-4bit। অন্য প্রিসিশনগুলো তার পাশেই আছে।

ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান · MLX Harness কীভাবে ব্যবহার করবেন · MLX বনাম Ollama বনাম llama.cpp

Qwen3.5 397B A17B সম্পর্কে

নির্মাতাQwen (Alibaba)
প্যারামিটারমোট 397B · সক্রিয় 17B (mixture of experts)
কনটেক্সট256K টোকেন
লাইসেন্সApache-2.0
প্রকাশ2026-02
ইনপুটটেক্সট ও ছবি
ইন্টেলিজেন্সArtificial Analysis Intelligence Index-এ 18.4
ওয়েটQwen/Qwen3.5-397B-A17B

প্রশ্ন

Qwen3.5 397B A17B-এর কত মেমরি লাগে?
4-bit-এ প্রায় 223 GB ওয়েট, সঙ্গে কনটেক্সটের জায়গা: সব মিলিয়ে 241 GB। Mac-এ এর মানে 512 GB বা তার বেশি ইউনিফায়েড মেমরি, কারণ ডিফল্টভাবে macOS GPU-কে তার প্রায় 75% ব্যবহার করতে দেয়।
Mac-এ Qwen3.5 397B A17B কত দ্রুত চলে?
লেখার গতি নির্ভর করে মেমরি ব্যান্ডউইথের ওপর। এখানে এর জন্য সবচেয়ে দ্রুত Mac হলো 512 GB-এর M5 Ultra, সেকেন্ডে প্রায় 39–70 টোকেন (6-bit)। যে সবচেয়ে ছোট Mac এটি চালায়, 512 GB-এর M5 Ultra, সেটি প্রায় 39–70 পর্যন্ত পৌঁছায়।
Qwen3.5 397B A17B তার সাইজের তুলনায় দ্রুত চলে কেন?
এটি একটি mixture-of-experts মডেল: মেমরিতে 397B প্যারামিটার রাখে, কিন্তু প্রতি টোকেনে পড়ে শুধু 17B, তাই এটি অনেক ছোট মডেলের গতিতে লেখে।

একই ধরনের মডেল

সব মডেল · সব Mac · আপনার Mac তুলনা করুন

আপনার মডেল কার্ড বা README-এর জন্য

Runs on a Mac: Qwen3.5 397B A17B Qwen3.5 397B A17B ভালোভাবে চালায় এমন সবচেয়ে ছোট Mac দেখায় আর এখানে লিংক করে।

[![Runs on a Mac](https://mlx.app/badge/run/qwen3.5-397b-a17b.svg)](https://mlx.app/run/qwen3.5-397b-a17b)

হিসাব কীভাবে করা হয়েছে

মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।

Mac কি Qwen3.5 397B A17B চালাতে পারে? মেমরি ও গতি