Thời gian có thể được mua bằng hàng đợi, nhưng thông lượng thì không.
Đặt một hàng đợi trước một dịch vụ đang quá tải thường tạo cảm giác như đã giải quyết được vấn đề. API không còn hết thời gian chờ, cơ sở dữ liệu không còn sập, biểu đồ lỗi trở nên phẳng hơn. Mẫu thiết kế này thậm chí còn có một cái tên rất dễ tạo cảm giác an tâm: Queue-Based Load Leveling.
Và nó thực hiện đúng như tên gọi: san bằng tải, nhưng không làm giảm tải.
Sự khác biệt này thường không dễ nhận ra vào ngày bạn thêm hàng đợi. Nó chỉ lộ rõ vài tuần sau, khi hàng đợi mỗi sáng lại dài hơn buổi sáng trước đó và không ai biết tình trạng này bắt đầu từ khi nào.
Mục lục
Một bộ giảm chấn, không phải máy bơm
Hãy hình dung một căn bếp có thể nấu 60 món mỗi giờ. Vào 20 giờ tối thứ Sáu, có 100 đơn hàng đến trong một giờ. Phiếu gọi món chất đống, đầu bếp vẫn làm việc với tốc độ cũ, còn khách phải chờ lâu hơn một chút. Sau 21 giờ, số đơn giảm xuống còn 30 mỗi giờ. Đến 22 giờ 30, toàn bộ chồng phiếu đã được xử lý và căn bếp đóng cửa đúng giờ.
Bây giờ hãy giả sử có 70 đơn mỗi giờ trong suốt buổi tối. Chồng phiếu không bao giờ biến mất. Đến 23 giờ, có 40 đơn đang chờ; mỗi đơn mới phải chờ 40 phút, và mỗi giờ lại có thêm 10 đơn tồn đọng.
Trong cả hai trường hợp, chồng phiếu đều làm cùng một việc: giữ đơn hàng cho đến khi đầu bếp xử lý. Đó là tất cả những gì một hàng đợi làm. Nó lưu trữ phần công việc dư thừa rồi phân phối phần đó muộn hơn, giống như một bộ giảm chấn. Đợt tăng tải vẫn tồn tại, chỉ được trải ra theo thời gian. Nếu các consumer không thể theo kịp về trung bình, hàng đợi sẽ biến phần công việc dư thừa thành thời gian chờ, và thời gian chờ sẽ tiếp tục tăng.
Số học của một đợt tăng tải
Hãy đặt các con số vào một ví dụ về messaging. Các consumer của bạn xử lý được 600 message mỗi giây. Một đợt tăng tải gửi 1.000 message mỗi giây trong 10 phút, sau đó lưu lượng trở lại mức bình thường là 300 message mỗi giây.
Trong thời gian tăng tải: 1.000 vào, 600 ra, trong 600 giây<br>Backlog: (1.000 - 600) x 600 = 240.000 message<br>Message cuối cùng phải chờ: 240.000 / 600 = 400 giây (6 phút 40 giây)<br><br>Sau đợt tăng tải: 300 vào, 600 ra -> xử lý backlog với tốc độ 300 message/giây<br>Thời gian xử lý hết: 240.000 / 300 = 800 giây (13 phút 20 giây)
Một đợt tăng tải kéo dài 10 phút khiến độ trễ tăng cao trong 23 phút 20 giây. Thời gian xử lý hết backlog còn dài hơn chính đợt tăng tải.
Điều quyết định tốc độ xử lý backlog là headroom, tức năng lực còn dư sau khi trừ lưu lượng bình thường. Với headroom 300 message mỗi giây, 240.000 message cần 13 phút để xử lý hết. Nếu lưu lượng bình thường là 550 thay vì 300, headroom giảm xuống còn 50, và cùng lượng backlog đó cần 80 phút mới được xử lý. Nếu một đợt tăng tải khác xảy ra trước thời điểm ấy, bạn sẽ bước vào đợt mới với một phần backlog có sẵn.
Lập luận thường được đưa ra để sử dụng hàng đợi là bạn có thể cấp tài nguyên cho consumer theo tải trung bình thay vì tải đỉnh. Điều đó đúng, nhưng điểm cần chú ý nằm ở từ trung bình. Trong một giờ đó, mức trung bình là (600.000 + 900.000) / 3.600, tức khoảng 417 message mỗi giây. Con số này thấp hơn đáng kể so với 600, vì vậy hàng đợi hoàn thành nhiệm vụ. Tuy nhiên, giá trị trung bình đã bao gồm cả đợt tăng tải, còn năng lực của bạn vẫn phải có khoảng dư phía trên mức đó để xử lý backlog trước khi đợt tiếp theo đến.
Khi chính mức trung bình trở thành vấn đề
Hãy thay đổi một con số. Lưu lượng duy trì ổn định ở mức 700 message mỗi giây, trong khi năng lực vẫn là 600.
Điều đó tạo ra thêm 100 message mỗi giây, tương đương 360.000 message mỗi giờ. Mỗi giờ lưu lượng làm thời gian chờ tăng thêm 10 phút. Sau một ngày, bạn có 8,64 triệu message và message mới nhất phải chờ bốn giờ. Không có gì được xử lý hết vì không có khoảng thời gian yên ắng để xử lý backlog.
Hàng đợi không thể giải quyết tình trạng này. Một hàng đợi lớn hơn cũng không. Như tôi đã nói trong bài viết về backpressure: hàng đợi không giới hạn là những sự cố bị trì hoãn.
Hãy lấy Azure Service Bus làm ví dụ. Cuối cùng, nó sẽ từ chối thay bạn, vì khi hàng đợi đạt giới hạn kích thước, thao tác gửi sẽ bị từ chối với lỗi QuotaExceeded. Đó là thời điểm tồi tệ nhất và cũng là nơi tồi tệ nhất để phát hiện ra vấn đề.
Vì vậy, hãy theo dõi xu hướng thay vì một ngưỡng cố định. Độ sâu 50.000 message trong một đợt khuyến mãi có thể hoàn toàn ổn. Nhưng nếu độ sâu vào cuối mỗi ngày đều cao hơn đầu ngày thì đó là vấn đề. Tùy công cụ đang sử dụng, bạn cũng có thể đo trực tiếp độ cũ của message. ServiceBusReceivedMessage.EnqueuedTime cho consumer biết mỗi message đã phải chờ bao lâu, và con số đó phản ánh trực tiếp cảm nhận của người dùng.
Khi mức trung bình quá cao, bạn có hai lựa chọn thực tế: bổ sung năng lực xử lý thật sự, hoặc loại bỏ bớt công việc ở phía producer trước khi công việc đi vào hàng đợi. Một phản hồi 503 kèm Retry-After ngay tại cổng vào sẽ tử tế hơn việc bắt người gọi chờ bốn giờ mà không hề thông báo.
Mở rộng consumer có thể chuyển chỗ quá tải
Cách sửa rõ ràng nhất là mở rộng consumer dựa trên độ sâu của hàng đợi: thêm instance đọc từ cùng một hàng đợi, mỗi instance nhận message tiếp theo. Đây là mẫu Competing Consumers.
Azure Functions hỗ trợ việc này sẵn. Với cơ chế mở rộng dựa trên mục tiêu cho trigger Service Bus, số instance mong muốn được tính bằng độ dài hàng đợi chia cho maxConcurrentCalls, mặc định là 16.
Hãy áp dụng công thức đó cho backlog 240.000 message. Công thức yêu cầu 15.000 instance. Trên gói Flex Consumption, giới hạn mặc định là 100 instance, nên bạn chỉ nhận được 100. Con số này tương đương 1.600 handler chạy đồng thời; trên các gói nhiều lõi, số lượng còn cao hơn vì maxConcurrentCalls được nhân với số lõi. Tất cả handler đó giờ đây đều truy cập vào cơ sở dữ liệu mà bạn đặt hàng đợi phía trước để bảo vệ.
Hàng đợi lại rỗng, nhưng tình trạng quá tải đã di chuyển xuống một tầng khác. Con số quan trọng là số instance nhân với mức đồng thời trên mỗi instance, và con số này phải xuất phát từ khả năng chịu tải của hệ thống phía sau.
Trong Azure Functions, điều đó có nghĩa là phải giới hạn cả hai giá trị. maxConcurrentCalls trong host.json thiết lập số handler trên mỗi instance. Tham số --maximum-instance-count trên Flex Consumption, hoặc functionAppScaleLimit trên Consumption và Premium, thiết lập số instance tối đa. Hãy nhân hai giá trị này với nhau trước khi tin tưởng bất kỳ giá trị nào.
Message bị cũ
Một số message có thể chậm mà vẫn ổn. Email hóa đơn được gửi muộn 20 phút thường không sao. Nhưng thông báo đẩy kiểu “tài xế của bạn còn cách hai phút” mà đến muộn 20 phút thì chẳng còn ích lợi gì.
Hãy nhớ con số 6 phút 40 giây trong ví dụ về đợt tăng tải. Nếu dữ liệu bên trong message có thời hạn sử dụng ngắn hơn thời gian xử lý backlog tồi tệ nhất, việc xử lý nó quá muộn là công việc lãng phí. Tệ hơn, nó còn làm chậm quá trình xử lý các message vẫn còn có giá trị.
Nhiều framework cho phép chỉ định TimeToLive; Azure Service Bus cũng vậy.
var message = new ServiceBusMessage(payload)<br>{<br> TimeToLive = TimeSpan.FromMinutes(5)<br>};<br>await sender.SendMessageAsync(message);
Trên Standard và Premium, TTL về cơ bản là vô hạn, nên message sẽ không hết hạn trừ khi bạn yêu cầu. Message hết hạn sẽ bị loại bỏ, trừ khi hàng đợi bật DeadLetteringOnMessageExpiration. Hãy bật tùy chọn này, rồi xử lý những gì đi vào dead-letter queue: thông báo cho người dùng rằng tác vụ mất nhiều thời gian hơn bình thường, hoặc chuyển công việc sang một tuyến chậm hơn, chẳng hạn gửi email thay vì thông báo đẩy.
Việc hết hạn cũng diễn ra theo kiểu trì hoãn. Broker có thể xóa message hết hạn vào một thời điểm sau đó, và một message đã bị consumer khóa vẫn sẽ được xử lý. Hãy xem TTL là một quy tắc dọn dẹp. Nếu cần một hạn chót cứng, hãy kiểm tra thời hạn ngay trong handler.
Khi hàng đợi là câu trả lời sai
Nếu bên gọi cần câu trả lời đồng bộ, hàng đợi không giúp được gì. Bên gọi vẫn phải chờ cùng backlog như mọi người khác. Chậm 6 phút 40 giây sau một đợt tăng tải có thể chấp nhận được với email, nhưng là khoảng thời gian vô tận đối với một request HTTP mà người dùng đang nhìn chờ.
Hàng đợi cũng chỉ san bằng tải nếu bộ đệm còn tồn tại. Nếu broker không lưu message bền vững, một sự cố sẽ cuốn theo toàn bộ backlog; trong ví dụ của chúng ta là 240.000 message. Còn nếu lưu lượng thấp và phẳng, hàng đợi chẳng san bằng được gì. Bạn chỉ có thêm một broker phải vận hành và thêm một bước cần điều tra khi có lỗi.
Điều này có ý nghĩa gì trong thực tế
Trước khi thêm hàng đợi để san bằng tải, hãy tính một vài con số:
- Tốc độ message đến trung bình, trên một khoảng thời gian có bao gồm các đợt tăng tải. Nếu con số này bằng hoặc cao hơn thông lượng consumer duy trì được, hãy dừng lại. Hàng đợi sẽ không giúp ích.
- Headroom, tức năng lực xử lý trừ lưu lượng bình thường. Lấy backlog lớn nhất dự kiến chia cho headroom để có thời gian xử lý hết.
- Giới hạn của hệ thống phía sau. Giới hạn tích số giữa số instance và mức đồng thời trên mỗi instance ở dưới giới hạn đó.
- Thời hạn sử dụng. Đặt
TimeToLivecho mọi thứ sẽ trở nên lỗi thời, đồng thời bật dead-lettering khi hết hạn.
Sau đó, hãy cảnh báo dựa trên xu hướng của độ sâu hàng đợi và độ cũ của message trong nhiều giờ. Đồng thời, quyết định trước producer sẽ làm gì khi hàng đợi quá sâu. Đưa ra quyết định vào một buổi chiều thứ Ba bình thường dễ dàng hơn nhiều so với lúc đang xảy ra sự cố.
Kết luận
Hàng đợi là một lời hứa sẽ thực hiện công việc vào lúc khác. Mẫu thiết kế này chỉ phù hợp khi “lúc khác” chắc chắn sẽ đến; nghĩa là đợt tăng tải kết thúc và consumer còn đủ năng lực để bắt kịp. Khi mức trung bình quá cao, hàng đợi sẽ tiếp tục thu thập những lời hứa mà bạn không thể thực hiện.
Tái bút: Bạn đã từng gặp một hàng đợi không bao giờ xử lý hết chưa? Dấu hiệu nào giúp bạn nhận ra điều đó?
Chủ đề: queue-based load leveling, cloud design patterns, Azure Service Bus, Azure Functions, backpressure, .NET



