Pipeline thị trường điện thời gian thực trên AWS

Thách thức

AEMO phát hành báo cáo điều độ điện mới dưới dạng file CSV nén mỗi 5 phút. Một nhóm phân tích thị trường năng lượng cần thu thập, lưu trữ và truy vấn gần như theo thời gian thực mọi báo cáo trên cả năm vùng của Thị trường Điện Quốc gia Úc (NEM).

Bối cảnh

Thị trường Điện Quốc gia Úc gồm năm vùng: New South Wales, Queensland, South Australia, Tasmania và Victoria. AEMO công bố từng kỳ điều độ 5 phút trên NEMWeb dưới dạng file CSV nén, nên một nhóm nghiên cứu giá, nhu cầu và trao đổi điện ròng giữa các vùng phải thu thập một file mới mỗi 5 phút và giữ lại tất cả.

Chúng tôi đã xây gì

Một hàm AWS Lambda, được CloudWatch kích hoạt mỗi 5 phút, lấy file zip điều độ mới nhất trên NEMWeb, giải nén, giữ các dòng điều độ theo vùng (DREGION) và trích 19 trường đã cấu hình, trong đó có giá giao ngay (RRP), tổng nhu cầu (TOTALDEMAND) và trao đổi ròng (NETINTERCHANGE). File CSV đã chuẩn hóa được lưu vào S3, bỏ qua nếu đã tồn tại, và mọi bản ghi được ghi vào DynamoDB với ID ghép từ SETTLEMENTDATE và REGIONID. Ứng dụng Plotly Dash cho phép chọn nhiều vùng, chọn chỉ số, duyệt file và xuất CSV.

Điều gì thay đổi

Mỗi báo cáo 5 phút giờ được lưu ở hai nơi, thành file trong S3 và thành bản ghi có cấu trúc trong DynamoDB, nên chuyên viên phân tích so sánh năm vùng và 19 chỉ số ngay trong một ứng dụng. Dashboard trên trang này do Van Data Team dựng sau đó từ bản trích xuất đã bàn giao gồm 300 kỳ điều độ (8 đến 11/11/2022): giá giao ngay trung bình $81/MWh, 24 kỳ giá âm và nhu cầu đỉnh 8.354 MW tại New South Wales.

Ràng buộc và quyết định

Cách ghi được thiết kế theo cách đọc: ID ghép từ thời điểm thanh toán và vùng giúp tra cứu chuỗi thời gian của từng vùng trong DynamoDB nhanh, còn bước kiểm tra file đã tồn tại trong kho S3 ngăn một lần chạy lại xử lý cùng một báo cáo hai lần. Bản thân dữ liệu đặt ra một quy tắc cho bất kỳ ai mô hình hóa nó: giá có thể âm (thấp tới âm $65/MWh tại South Australia trong bản trích xuất), nên mô hình phải xử lý được giá âm thay vì cắt về 0.

Nền tảng công nghệ