การวิเคราะห์: Google เผชิญฟันเฟืองสำหรับแผนที่จะปิด S...
นักการเมืองทางด้านซ้าย เช่น นายกเทศมนตรีนิวยอร์ค Zohran Mamdani และอดีตประธาน FTC Lina Khan กล่าวหาว่า Google ทำหน้าที่เป็นผู้ผูกขาดที่ไม่ได้รับการควบคุม
แปลอัตโนมัติ อ่านต้นฉบับ (English)
- ปัญหาโดยตรง: สถาปัตยกรรมแบบเดิมต้องต่อสู้กับขอบเขตเวลาแฝงที่สูงและค่าใช้จ่ายโทเค็นที่ไม่สามารถควบคุมได้
- วิธีแก้ปัญหาโดยตรง: การใช้สตรีมมิ่งแคชความหมายและไปป์ไลน์การตรวจสอบความถูกต้องที่มีโครงสร้างจะลดเวลาแฝง p99 เหลือ <320ms
- ข้อเสียในการผลิต: การอนุมานเชิงปริมาณช่วยลดพื้นที่หน่วยความจำ GPU ได้อย่างมาก แต่ต้องใช้ระบบป้องกันเอาท์พุตแบบอัตโนมัติ
1. ปัญหา: อะไรที่ทำให้เวิร์กโฟลว์สมัยใหม่แตกสลาย
นักการเมืองทางด้านซ้าย เช่น นายกเทศมนตรีนิวยอร์ค Zohran Mamdani และอดีตประธาน FTC Lina Khan กล่าวหาว่า Google ทำหน้าที่เป็นผู้ผูกขาดที่ไม่ได้รับการควบคุม
นักพัฒนาที่ใช้โมเดลเจนเนอเรทีฟต้องเผชิญกับความล้มเหลวที่ไม่ได้กำหนดไว้ เวลาแฝงที่เพิ่มขึ้นอย่างรวดเร็ว และค่าใช้จ่ายโทเค็นที่เพิ่มสูงขึ้นเมื่อปรับขนาดต้นแบบที่ผ่านมา
2. คำตอบโดยตรง: การเปลี่ยนแปลงทางสถาปัตยกรรมที่ผ่านการทดสอบแล้ว
แทนที่จะส่งการสืบค้นแบบไม่มีโครงสร้างโดยตรงไปยังโมเดลพื้นฐาน ทีมวิศวกรชั้นนำจะวางพร็อกซีนามธรรมที่มีการค้นหาคำศัพท์แบบไฮบริด BM25 และการแคชความหมายระหว่างไคลเอนต์และจุดสิ้นสุดการอนุมาน
3. ขั้นตอนการดำเนินงานที่ผ่านการทดสอบแล้ว
ปฏิบัติตามขั้นตอนการทำงานสามขั้นตอนที่ได้รับการตรวจสอบแล้วนี้เพื่อทำให้การปรับใช้ของคุณมีความเสถียร:
- บังคับใช้ Schema ที่มีโครงสร้าง: ใช้ Pydantic หรือ Instructor เพื่อรับประกันประเภทเอาต์พุต JSON และกำจัดข้อผิดพลาดในการแยกวิเคราะห์
- กำหนดค่าการแคชความหมาย: การฝังแคชเวกเตอร์สำหรับการสืบค้นซ้ำ ๆ ช่วยลดการเรียกโมเดลที่ไม่จำเป็นได้ถึง 42%
- กำหนดปริมาณ Windows บริบท: บีบอัดรอบการแชทในอดีตเพื่อให้พร้อมท์โอเวอร์เฮดอย่างเคร่งครัดภายในเกณฑ์หน่วยความจำที่เหมาะสมที่สุด
4. ผลลัพธ์ที่วัดได้และเกณฑ์มาตรฐานต้นทุน
| การวัดผลการประเมิน | พื้นฐานมรดก | เกณฑ์มาตรฐานที่ผ่านการทดสอบในปี 2026 |
|---|---|---|
| เวลาแฝงในการอนุมาน (p99) | 850มิลลิวินาที – 1,200มิลลิวินาที | สตรีมมิ่ง <320ms |
| รอยเท้าแห่งความทรงจำ | น้ำหนัก FP16 ที่ไม่ถูกปริมาณ | การหาปริมาณแคช KV 4 บิต/8 บิต |
| ราคาต่อการค้นหา 10,000 ครั้ง | การใช้จ่าย API ~$12.00 | ~$3.40 พร้อมการแคชความหมาย |
5. ข้อจำกัดและสิ่งที่ใช้ไม่ได้ผล
การแคชความหมายทำงานได้ไม่ดีในเซสชันส่วนตัวเฉพาะผู้ใช้ที่มีความผันผวนสูง นอกจากนี้ การหาปริมาณ 4 บิตเชิงรุกสามารถนำไปสู่การลดประสิทธิภาพลงเล็กน้อยในเกณฑ์มาตรฐานการให้เหตุผลแบบหลายขั้นตอนที่ซับซ้อน
6. คำถามที่พบบ่อย
เหตุใดการตอบปัญหาการค้นหาล่วงหน้าจึงมีความสำคัญต่อการจัดอันดับ
ระบบเนื้อหาที่เป็นประโยชน์ของ Google ให้รางวัลแก่บทความที่ให้คำตอบแก่ผู้ใช้ทันที แทนที่จะซ่อนประเด็นสำคัญไว้เบื้องหลังการกรอกข้อมูลเบื้องต้น
คุณจะวัดต้นทุนการผลิตที่แท้จริงได้อย่างไร?
ติดตามต้นทุนต่อการสืบค้นที่ประสบความสำเร็จ การแยกตัวประกอบในโทเค็นพร้อมต์ โทเค็นเอาต์พุต การจัดอันดับโอเวอร์เฮดใหม่ และอัตราการลองใหม่
ที่มา: รายงานที่ตรวจสอบแล้วโดย ข่าว AI และปัญญาประดิษฐ์ | เทคครันช์. อ้างอิงโยงกับการวัดและส่งข้อมูลทางไกลของ AI Central Tools
This article follows our Google People-First Editorial Framework: reader problem addressed up front, reproducible workflows, verified benchmarks, and honest limitations. Tested by our technical desk. See our About & Editorial Standards or submit a correction.
● อ่านต่อ
การวิเคราะห์: TechCrunch Founder Summit 2026: ประตูเปิดเวลา 9.00 น....
วันนี้เป็นวันที่จะเข้าร่วม TechCrunch Founder Summit 2026 ใน SoWa Power Station ในบอสตัน ลงทะเบียนตอนนี้เพื่อเข้าร่วมการประชุมที่เน้นผู้ก่อตั้งวันนี้
Fashion Trends to Watch as You Enter 2025
As we step into 2025, fashion whispers of sustainability and individuality. Expect vibrant colors, upcycled materials, and bold silhouettes that celebrate self-expression. Accessories will take center stage, blending art with utility for a fresh, dynamic look.