Làm sao để thiết kế hệ thống xử lý high write throughput?
Làm sao để thiết kế hệ thống xử lý high write throughput?
High write throughput nghĩa là hệ phải nuốt một lượng ghi lớn, bền, và không tự khóa mình. Điểm xuất phát là giảm tranh chấp: ưu tiên ghi tuần tự, append-only, cấu trúc kiểu LSM-tree (Cassandra, Kafka log, ClickHouse, RocksDB) thay vì cập nhật tại chỗ kiểu B-tree nếu mẫu ghi rất dày.
Phân mảnh theo khóa để nhiều partition/shard ghi song song. Khóa phải phân phối đều; hot key (một user, một mã cổ phiếu, một “hot post”) sẽ dồn mọi ghi vào một phân vùng — cần salting, tách key, hoặc hàng đợi riêng. Batch/pipeline: gom nhiều bản ghi một lần fsync, nén, dùng bulk insert; điều chỉnh batch size theo đo, không đoán. Hàng đợi đệm (Kafka) tách producer khỏi hệ lưu trữ: đỉnh tải nằm trên log, consumer ghi xuống DB với backpressure khi xuống chậm. CQRS / view bất đồng bộ để đường đọc không cầm khóa trên đường ghi.
Đăng nhập để tham gia thảo luận cùng mọi người.
Chưa có bình luận nào
Hãy là người đầu tiên chia sẻ suy nghĩ của bạn.