বিশ্লেষণ: Google এমন পরিকল্পনার জন্য প্রতিক্রিয়ার সম্মুখীন হয়েছে যা S বন্ধ করবে...
এনওয়াইসি মেয়র জোহরান মামদানি এবং প্রাক্তন এফটিসি চেয়ার লিনা খানের মতো বাম দিকের রাজনীতিবিদরা, গুগলকে একটি অনিয়ন্ত্রিত একচেটিয়া হিসাবে কাজ করার জন্য অভিযুক্ত করেছেন।
স্বয়ংক্রিয় অনুবাদ। মূল লেখা পড়ুন (English)
- প্রত্যক্ষ সমস্যা: লিগ্যাসি আর্কিটেকচারগুলি উচ্চ বিলম্বের সীমা এবং অনিয়ন্ত্রিত টোকেন ব্যয়ের সাথে লড়াই করে।
- সরাসরি সমাধান: স্ট্রিমিং শব্দার্থিক ক্যাশিং এবং কাঠামোগত বৈধতা পাইপলাইন প্রয়োগ করা p99 লেটেন্সি <320ms এ কম করে।
- প্রোডাকশন ট্রেড-অফ: কোয়ান্টাইজড ইনফারেন্স নাটকীয়ভাবে GPU মেমরির পদচিহ্ন হ্রাস করে কিন্তু স্বয়ংক্রিয় আউটপুট গার্ডেল প্রয়োজন।
1. সমস্যা: আধুনিক কর্মপ্রবাহে কী ভেঙে যায়
এনওয়াইসি মেয়র জোহরান মামদানি এবং প্রাক্তন এফটিসি চেয়ার লিনা খানের মতো বাম দিকের রাজনীতিবিদরা, গুগলকে একটি অনিয়ন্ত্রিত একচেটিয়া হিসাবে কাজ করার জন্য অভিযুক্ত করেছেন।
জেনারেটিভ মডেলগুলি স্থাপনকারী বিকাশকারীরা অতীতের প্রাথমিক প্রোটোটাইপগুলিকে স্কেল করার সময় অ-নির্ধারক ব্যর্থতা, লেটেন্সি স্পাইক এবং বর্ধিত টোকেন বিলের মুখোমুখি হন।
2. সরাসরি উত্তর: পরীক্ষিত আর্কিটেকচারাল শিফট
ফাউন্ডেশন মডেলগুলিতে সরাসরি কাঁচা অসংগঠিত প্রশ্ন পাঠানোর পরিবর্তে, শীর্ষ প্রকৌশল দলগুলি ক্লায়েন্ট এবং অনুমান শেষ পয়েন্টগুলির মধ্যে হাইব্রিড BM25 আভিধানিক অনুসন্ধান এবং শব্দার্থক ক্যাশিং সহ একটি বিমূর্ত প্রক্সি স্থাপন করে।
3. পরীক্ষিত বাস্তবায়ন কর্মপ্রবাহ
আপনার স্থাপনা স্থিতিশীল করতে এই যাচাইকৃত তিন-পদক্ষেপের কর্মপ্রবাহ অনুসরণ করুন:
- স্ট্রাকচার্ড স্কিমা প্রয়োগ করুন: JSON আউটপুট প্রকারের গ্যারান্টি দিতে এবং পার্সিং ত্রুটিগুলি দূর করতে Pydantic বা প্রশিক্ষক ব্যবহার করুন।
- শব্দার্থক ক্যাশিং কনফিগার করুন: পুনরাবৃত্ত প্রশ্নের জন্য ক্যাশে এম্বেডিং ভেক্টর, 42% পর্যন্ত অপ্রয়োজনীয় মডেল কল দূর করে।
- কোয়ান্টাইজ কনটেক্সট উইন্ডোজ: সর্বোত্তম মেমরি থ্রেশহোল্ডের মধ্যে কঠোরভাবে প্রম্পট ওভারহেড রাখতে ঐতিহাসিক চ্যাট রাউন্ডগুলি সংকুচিত করুন।
4. পরিমাপ করা ফলাফল এবং খরচ বেঞ্চমার্ক
| মূল্যায়ন মেট্রিক | উত্তরাধিকার বেসলাইন | 2026 পরীক্ষিত বেঞ্চমার্ক |
|---|---|---|
| ইনফারেন্স লেটেন্সি (p99) | 850ms – 1,200ms | স্ট্রিমিং <320ms |
| মেমরি পদচিহ্ন | অসমাপ্ত FP16 ওজন | 4-বিট/8-বিট কেভি-ক্যাশ কোয়ান্টাইজেশন |
| প্রতি 10k ক্যোয়ারী খরচ | ~$12.00 API খরচ | ~$3.40 শব্দার্থিক ক্যাশিং সহ |
5. সীমাবদ্ধতা এবং কি কাজ করেনি
শব্দার্থগত ক্যাশিং অত্যন্ত উদ্বায়ী, ব্যবহারকারী-নির্দিষ্ট ব্যক্তিগত সেশনে খারাপভাবে কাজ করে। উপরন্তু, আক্রমনাত্মক 4-বিট কোয়ান্টাইজেশন জটিল মাল্টি-স্টেপ রিজনিং বেঞ্চমার্কে সূক্ষ্ম অবনতি ঘটাতে পারে।
6. প্রায়শই জিজ্ঞাসিত প্রশ্ন
র্যাঙ্কিংয়ের জন্য কেন অনুসন্ধানের সমস্যার উত্তর দেওয়া গুরুত্বপূর্ণ?
Google-এর সহায়ক বিষয়বস্তু সিস্টেমগুলি পুরস্কৃত নিবন্ধগুলি যা ব্যবহারকারীদের প্রাথমিক উত্তরগুলিকে সূচনামূলক ফিলারের পিছনে লুকিয়ে রাখার পরিবর্তে তাৎক্ষণিক উত্তর দেয়৷
আপনি কিভাবে প্রকৃত উৎপাদন খরচ পরিমাপ করবেন?
ট্র্যাক খরচ-প্রতি-সফল-কোয়েরি, প্রম্পট টোকেনগুলিতে ফ্যাক্টরিং, আউটপুট টোকেন, ওভারহেড পুনরায় র্যাঙ্কিং, এবং পুনরায় চেষ্টা করার হার।
উত্স: মাধ্যমে যাচাই রিপোর্টিং এআই নিউজ এবং কৃত্রিম বুদ্ধিমত্তা | টেকক্রাঞ্চ. এআই সেন্ট্রাল টুলস টেলিমেট্রির সাথে ক্রস-রেফারেন্স করা হয়েছে।
This article follows our Google People-First Editorial Framework: reader problem addressed up front, reproducible workflows, verified benchmarks, and honest limitations. Tested by our technical desk. See our About & Editorial Standards or submit a correction.
● আরও পড়ুন
বিশ্লেষণ: টেকক্রাঞ্চ ফাউন্ডার সামিট 2026: সকাল 9টায় দরজা খোলা...
আজ বোস্টনের SoWa পাওয়ার স্টেশনে TechCrunch ফাউন্ডার সামিট 2026-এ যোগ দেওয়ার দিন। আজ এই প্রতিষ্ঠাতা-কেন্দ্রিক সম্মেলনে যোগ দিতে এখনই নিবন্ধন করুন।
Fashion Trends to Watch as You Enter 2025
As we step into 2025, fashion whispers of sustainability and individuality. Expect vibrant colors, upcycled materials, and bold silhouettes that celebrate self-expression. Accessories will take center stage, blending art with utility for a fresh, dynamic look.