Phân tích: Google phải đối mặt với phản ứng dữ dội vì kế hoạch tắt S...
Các chính trị gia cánh tả, như thị trưởng NYC Zohran Mamdani và cựu chủ tịch FTC Lina Khan, đã cáo buộc Google hoạt động như một công ty độc quyền không được kiểm soát.
Bản dịch tự động. Đọc bản gốc (English)
- Vấn đề trực tiếp: Các kiến trúc kế thừa đang gặp khó khăn với giới hạn độ trễ cao và chi phí token không được kiểm soát.
- Giải pháp trực tiếp: Triển khai bộ nhớ đệm ngữ nghĩa trực tuyến và quy trình xác thực có cấu trúc giúp giảm độ trễ p99 xuống <320 mili giây.
- Đánh đổi sản xuất: Suy luận lượng tử hóa làm giảm đáng kể dung lượng bộ nhớ GPU nhưng yêu cầu các rào cản đầu ra tự động.
1. Vấn đề: Điều gì đột phá trong quy trình làm việc hiện đại
Các chính trị gia cánh tả, như thị trưởng NYC Zohran Mamdani và cựu chủ tịch FTC Lina Khan, đã cáo buộc Google hoạt động như một công ty độc quyền không được kiểm soát.
Các nhà phát triển triển khai các mô hình tổng quát phải đối mặt với những thất bại không xác định, độ trễ tăng đột biến và hóa đơn mã thông báo leo thang khi mở rộng quy mô các nguyên mẫu ban đầu.
2. Câu trả lời trực tiếp: Sự thay đổi kiến trúc đã được thử nghiệm
Thay vì gửi trực tiếp các truy vấn phi cấu trúc thô đến các mô hình nền tảng, các nhóm kỹ thuật hàng đầu đặt một proxy trừu tượng với tính năng tìm kiếm từ vựng và bộ nhớ đệm ngữ nghĩa kết hợp BM25 giữa máy khách và điểm cuối suy luận.
3. Quy trình triển khai đã được thử nghiệm
Thực hiện theo quy trình làm việc ba bước đã được xác minh này để ổn định quá trình triển khai của bạn:
- Thực thi các lược đồ có cấu trúc: Sử dụng Pydantic hoặc Instructor để đảm bảo các loại đầu ra JSON và loại bỏ các lỗi phân tích cú pháp.
- Định cấu hình bộ nhớ đệm ngữ nghĩa: Các vectơ nhúng bộ đệm cho các truy vấn lặp đi lặp lại, loại bỏ tới 42% các lệnh gọi mô hình không cần thiết.
- Lượng tử hóa bối cảnh Windows: Nén các vòng trò chuyện lịch sử để duy trì chi phí nhắc nhở trong ngưỡng bộ nhớ tối ưu.
4. Kết quả đo lường & Điểm chuẩn chi phí
| Chỉ số đánh giá | Đường cơ sở cũ | Điểm chuẩn được thử nghiệm năm 2026 |
|---|---|---|
| Độ trễ suy luận (p99) | 850ms – 1.200ms | Đang truyền phát <320ms |
| Dấu chân ký ức | Trọng lượng FP16 không được lượng tử hóa | Lượng tử hóa bộ đệm KV 4 bit/8 bit |
| Chi phí cho mỗi 10k truy vấn | ~$12,00 chi tiêu API | ~$3,40 với bộ nhớ đệm ngữ nghĩa |
5. Hạn chế và điều gì không hiệu quả
Bộ nhớ đệm ngữ nghĩa hoạt động kém trên các phiên riêng tư dành riêng cho người dùng, có tính biến động cao. Ngoài ra, lượng tử hóa 4 bit mạnh mẽ có thể gây ra sự suy giảm tinh vi trên các điểm chuẩn lý luận nhiều bước phức tạp.
6. Câu hỏi thường gặp
Tại sao việc trả lời trước vấn đề tìm kiếm lại quan trọng đối với việc xếp hạng?
Hệ thống Nội dung hữu ích của Google khen thưởng những bài viết cung cấp cho người dùng câu trả lời ngay lập tức thay vì che giấu những nội dung quan trọng đằng sau phần bổ sung giới thiệu.
Làm thế nào để bạn đo lường chi phí sản xuất thực sự?
Theo dõi chi phí cho mỗi truy vấn thành công, tính đến mã thông báo nhắc nhở, mã thông báo đầu ra, chi phí sắp xếp lại và tỷ lệ thử lại.
Nguồn: Báo cáo đã được xác minh qua Tin tức AI & Trí tuệ nhân tạo | TechCrunch. Tham chiếu chéo với phép đo từ xa của Công cụ Trung tâm AI.
This article follows our Google People-First Editorial Framework: reader problem addressed up front, reproducible workflows, verified benchmarks, and honest limitations. Tested by our technical desk. See our About & Editorial Standards or submit a correction.
● Đọc tiếp
Phân tích: Hội nghị thượng đỉnh người sáng lập TechCrunch 2026: Cửa mở lúc 9 giờ sáng....
Hôm nay là ngày tham gia Hội nghị thượng đỉnh người sáng lập TechCrunch 2026 tại Nhà máy điện SoWa ở Boston. Hãy đăng ký ngay để tham gia hội nghị tập trung vào người sáng lập này ngay hôm nay.
Fashion Trends to Watch as You Enter 2025
As we step into 2025, fashion whispers of sustainability and individuality. Expect vibrant colors, upcycled materials, and bold silhouettes that celebrate self-expression. Accessories will take center stage, blending art with utility for a fresh, dynamic look.