লগ ইনওয়ালেট তৈরি করুন

Mac কি Inkling চালাতে পারে?

হ্যাঁ, 512 GB বা তার বেশি ইউনিফায়েড মেমরি থাকলে। Inkling-এ 975B প্যারামিটার আছে, যার মধ্যে প্রতি টোকেনে 41B সক্রিয় থাকে; এখানে দেখুন প্রতিটি প্রিসিশনে এর কত মেমরি লাগে আর প্রতিটি Apple চিপ এটি কত দ্রুত চালায়।

4-bit-এ মেমরি592 GBওয়েট 548 GB + কনটেক্সট
সবচেয়ে ছোট Mac512 GB2-bit · 2টি Mac কনফিগারেশন
সবচেয়ে দ্রুত Mac42–75টোকেন/সেকেন্ড · M5 Ultra 512 GB (আনুমানিক)

প্রতিটি প্রিসিশনে মেমরি

ভার্সনওয়েটকনটেক্সটসহসবচেয়ে ছোট Mac
8-bit1 TB1.1 TBযেকোনো Mac-এর চেয়ে বেশি
6-bit792 GB856 GBযেকোনো Mac-এর চেয়ে বেশি
4-bit548 GB592 GBযেকোনো Mac-এর চেয়ে বেশি
3-bit কম মান427 GB461 GBযেকোনো Mac-এর চেয়ে বেশি
2-bit কম মান305 GB329 GB512 GB

প্রতিটি Apple চিপে

প্রতিটি চিপের যে সবচেয়ে ছোট মেমরি সাইজ Inkling চালায়, তাতে ধরে এমন সেরা ভার্সন, আর লেখার আনুমানিক গতি।

চিপলাগেভার্সনটোকেন/সেকেন্ড
M6কোনো সাইজে ধরে নাখুব বড়–
M5 Ultra512 GB2-bit ভালো চলে42–75
M5 Maxকোনো সাইজে ধরে নাখুব বড়–
M5 Proকোনো সাইজে ধরে নাখুব বড়–
M5কোনো সাইজে ধরে নাখুব বড়–
M4 Maxকোনো সাইজে ধরে নাখুব বড়–
M4 Proকোনো সাইজে ধরে নাখুব বড়–
M4কোনো সাইজে ধরে নাখুব বড়–
M3 Ultra512 GB2-bit ভালো চলে29–51
M3 Maxকোনো সাইজে ধরে নাখুব বড়–
M3 Proকোনো সাইজে ধরে নাখুব বড়–
M3কোনো সাইজে ধরে নাখুব বড়–
M2 Ultraকোনো সাইজে ধরে নাখুব বড়–
M2 Maxকোনো সাইজে ধরে নাখুব বড়–
M2 Proকোনো সাইজে ধরে নাখুব বড়–
M2কোনো সাইজে ধরে নাখুব বড়–
M1 Ultraকোনো সাইজে ধরে নাখুব বড়–
M1 Maxকোনো সাইজে ধরে নাখুব বড়–
M1 Proকোনো সাইজে ধরে নাখুব বড়–
M1কোনো সাইজে ধরে নাখুব বড়–

কীভাবে চালাবেন

  1. সহজ উপায়: MLX Harness ডাউনলোড করুন, এটি বিনামূল্যে ও ওপেন সোর্স। Inkling খুঁজুন, আপনার Mac-এ ধরে এমন ভার্সন ডাউনলোড করুন, আর চ্যাট করুন। এটি OpenAI-compatible API দিয়ে মডেলটি আপনার অন্য অ্যাপকেও দেয়।MLX Harness ডাউনলোড করুনবিনামূল্যে · Apple Silicon · macOS 14.5 বা নতুন
  2. Terminal-এ Apple-এর MLX দিয়ে:pip install mlx-lmmlx_lm.chat --model mlx-community/Inkling-mlx-4bitবিল্ড: Hugging Face-এ mlx-community/Inkling-mlx-4bit। অন্য প্রিসিশনগুলো তার পাশেই আছে।

ধাপে ধাপে: Mac-এ LLM ডাউনলোড করে চালান · MLX Harness কীভাবে ব্যবহার করবেন · MLX বনাম Ollama বনাম llama.cpp

Inkling সম্পর্কে

নির্মাতাThinking Machines Lab
প্যারামিটারমোট 975B · সক্রিয় 41B (mixture of experts)
লাইসেন্সApache-2.0
প্রকাশ2026-07
ইনপুটটেক্সট ও ছবি
ইন্টেলিজেন্সArtificial Analysis Intelligence Index-এ 25
ওয়েটthinkingmachines/Inkling

প্রশ্ন

Inkling-এর কত মেমরি লাগে?
4-bit-এ প্রায় 548 GB ওয়েট, সঙ্গে কনটেক্সটের জায়গা: সব মিলিয়ে 592 GB। আজকের কোনো Mac-এ এত মেমরি নেই।
Mac-এ Inkling কত দ্রুত চলে?
লেখার গতি নির্ভর করে মেমরি ব্যান্ডউইথের ওপর। এখানে এর জন্য সবচেয়ে দ্রুত Mac হলো 512 GB-এর M5 Ultra, সেকেন্ডে প্রায় 42–75 টোকেন (2-bit)। যে সবচেয়ে ছোট Mac এটি চালায়, 512 GB-এর M5 Ultra, সেটি প্রায় 42–75 পর্যন্ত পৌঁছায়।
Inkling তার সাইজের তুলনায় দ্রুত চলে কেন?
এটি একটি mixture-of-experts মডেল: মেমরিতে 975B প্যারামিটার রাখে, কিন্তু প্রতি টোকেনে পড়ে শুধু 41B, তাই এটি অনেক ছোট মডেলের গতিতে লেখে।

একই ধরনের মডেল

সব মডেল · সব Mac · আপনার Mac তুলনা করুন

আপনার মডেল কার্ড বা README-এর জন্য

Runs on a Mac: Inkling Inkling ভালোভাবে চালায় এমন সবচেয়ে ছোট Mac দেখায় আর এখানে লিংক করে।

[![Runs on a Mac](https://mlx.app/badge/run/inkling.svg)](https://mlx.app/run/inkling)

হিসাব কীভাবে করা হয়েছে

মেমরি: মডেলের প্যারামিটার প্রতি ওয়েটে 8, 6, 4, 3 বা 2 bit-এ, সঙ্গে MLX-এর গ্রুপ স্কেল (প্রতি ওয়েটে আধা bit), অথবা তার নেটিভ ফরম্যাট, আর তার ওপর কনটেক্সটের জায়গা। ডিফল্টভাবে macOS GPU-কে ইউনিফায়েড মেমরির প্রায় 75% ব্যবহার করতে দেয়। গতি: মেমরি ব্যান্ডউইথকে প্রতি টোকেনে পড়া বাইট দিয়ে ভাগ করলে একটি কথোপকথনের সর্বোচ্চ সীমা পাওয়া যায়; llama.cpp-এর পাবলিক Apple Silicon বেঞ্চমার্কে আসল রান এর প্রায় 45% থেকে 80% পর্যন্ত পৌঁছায়, আর সেই রেঞ্জটাই দেখানো হয়েছে। এগুলো অনুমান, মাপা ফল নয়: MLX Bench-এ আপনার নিজের Mac মাপুন। মডেলের তথ্য প্রতিটি অফিশিয়াল মডেল কার্ড থেকে, চিপের তথ্য Apple-এর Tech Specs থেকে। যাচাই করা হয়েছে 2026-10-19। mlx.app/compare-এর একই ডেটা।

Mac কি Inkling চালাতে পারে? মেমরি ও গতি