Khi thiết kế hệ thống machine learning prediction API, bạn tổ chức model serving như thế nào?
Khi thiết kế hệ thống machine learning prediction API, bạn tổ chức model serving như thế nào?
ML prediction API / model serving:
Client → API Gateway → Inference service (autoscale, GPU/CPU) → Model (nạp sẵn) ↔ Feature store
↑ A/B, canary theo phiên bản model ↓ log dự đoán → giám sát drift
Đăng nhập để tham gia thảo luận cùng mọi người.
Chưa có bình luận nào
Hãy là người đầu tiên chia sẻ suy nghĩ của bạn.