Case study · Hybrid & DR

Hai datacenter tại Việt Nam. Chi phí giảm ≈70% so với GCP.

Funtap, nền tảng game di động, chuyển từ Google Cloud về Private Cloud OpenStack và Ceph từ năm 2024. Khi một datacenter gặp sự cố, datacenter còn lại tiếp quản trong dưới 15 phút. GCP chỉ còn dùng cho những đợt tải đột biến.

46node
máy chủ vật lý trên hai datacenter
2DC
primary và dự phòng nóng, đều tại Việt Nam
2024
năm bắt đầu rời GCP
Diễn tập sự cố · minh họa
DC1 · PrimaryĐang phục vụOpenStack · Ceph
DC2 · Dự phòngDự phòng nóngOpenStack · Ceph

Bình thường: DC1 phục vụ người chơi, dữ liệu Ceph liên tục được nhân bản sang DC2.

Kết quả

Rẻ hơn, và chịu được mất cả một datacenter.

Chi phí so sánh là chi phí cloud hằng tháng: trước đây chạy toàn bộ trên GCP, nay là Private Cloud cộng phần GCP dùng khi tải đột biến.

≈70%

chi phí cloud hằng tháng giảm so với chạy toàn bộ trên GCP

Chi phí tháng: vài tỷ VNĐ trên GCP, còn ≈30% với mô hình hybrid

  • 99,95%

    uptime của hạ tầng hai datacenter

  • <5phút

    RPO: dữ liệu mất tối đa khi một datacenter gặp sự cố

  • <15phút

    RTO: thời gian đưa dịch vụ sang datacenter còn lại

Funtap · kiến trúc HA/DR hai datacenter

Bối cảnh

Game tăng trưởng, hóa đơn GCP tăng nhanh hơn.

  • Hóa đơn GCP lên vài tỷ VNĐ mỗi tháng

    Năm 2024, số game phát hành tăng nhanh. Chi phí chủ yếu đến từ máy ảo chạy game server, lưu trữ tài nguyên game và dữ liệu người chơi, cùng mạng và cân bằng tải.

  • Tải biến động, chi phí phải dự báo được

    Lượng người chơi tăng vọt khi ra game mới hoặc chạy sự kiện. Hạ tầng phải co giãn được, nhưng ngân sách thì phải ổn định để bộ phận tài chính lập kế hoạch dài hạn.

  • Không được phép ngừng dịch vụ

    Với game online, mỗi phút gián đoạn là người chơi rời đi ngay. Kiến trúc dự phòng và khôi phục phải có từ đầu, không bổ sung về sau.

Kiến trúc hiện tại

46 node, hai datacenter, một đám mây dự phòng tải.

Hai cụm Private Cloud đầy đủ tại hai datacenter ở Việt Nam. Google Cloud chỉ còn là nơi gánh thêm khi lưu lượng tăng đột biến.

Node vật lý · tổng hai DC46
  • ControllerMặt điều khiển OpenStack, ở cả hai DC6
  • ComputeMáy ảo chạy game server28
  • Ceph storageBlock storage cho máy ảo, nhân bản giữa hai DC12
  • DC1 · Primary

    Việt Nam

    Cụm OpenStack đầy đủ, compute mở rộng và cụm Ceph. Phục vụ phần lớn workload.

  • DC2 · Dự phòng

    Việt Nam

    Cụm OpenStack đầy đủ ở chế độ dự phòng nóng, nhận bản sao dữ liệu Ceph từ DC1.

  • Google Cloud

    Public cloud

    Chỉ dùng khi tải đột biến và cho bản sao lưu. Cân bằng tải phân phối lưu lượng giữa hai nơi.

Hành trình

Từ 13 node ở một nơi đến 46 node ở hai nơi.

Funtap không chuyển hết trong một lần. Hybrid là giai đoạn kiểm chứng: game server lõi về trước, phần còn lại theo sau khi hiệu năng và độ ổn định đã được xác nhận.

  1. Q1 · 202413 node

    Khởi đầu ở một datacenter

    3 controller, 5 compute chạy game server, 5 node Ceph RBD cho block storage.

  2. HybridChuyển dần

    Game server lõi về Việt Nam

    Chuyển workload theo từng phần. GCP giữ lại cho tải đột biến và sao lưu.

  3. Hiện tại46 node

    Hai datacenter, dự phòng nóng

    6 controller, 28 compute, 12 node Ceph. DC2 sẵn sàng tiếp quản khi DC1 gặp sự cố.

Bài học

Điều đội game nào cũng nên biết trước khi rời public cloud.

  • Hybrid hợp với game

    Private Cloud gánh tải nền, public cloud chỉ dùng khi lưu lượng tăng đột biến. Chi phí nền ổn định mà vẫn co giãn được.

  • HA/DR là điều kiện bắt buộc

    Dựng kiến trúc hai datacenter ngay từ đầu giúp giữ uptime, và đội vận hành yên tâm trong những sự kiện lớn.

  • Chuyển từ từ

    Chạy hybrid, kiểm chứng hiệu năng và độ ổn định trước khi chuyển hết. Không dồn toàn bộ vào một lần cutover.

  • Giám sát từ ngày đầu

    Với game, sự cố phải được phát hiện và xử lý trong vài phút. Giám sát và cảnh báo được dựng cùng lúc với hạ tầng.

Bài toán của bạn

Dịch vụ của bạn cũng không được phép ngừng?

Kể cho chúng tôi về tải, mức RPO và RTO bạn cần. Kỹ sư của CloudMaster sẽ cùng bạn phác thảo phương án hai datacenter phù hợp.

Liên hệ

Bắt đầu bằng một cuộc trao đổi với kỹ sư.

Tư vấn 1:1 miễn phí. Chúng tôi liên hệ lại trong 24 giờ.

Bạn đang chạy trên
Quy mô hiện tại
Thời điểm dự kiến

Thông tin chỉ dùng để liên hệ tư vấn.