Data plane

Access Hub Collector

Data plane của hệ thống giám sát. Collector đứng giữa Agent và Access Hub: nhận số liệu từ hàng nghìn máy, ghi vào kho chuỗi thời gian, đánh giá luật cảnh báo và chỉ gửi sự kiện đổi trạng thái về Access Hub.

Một binary, ba vai tròRedis và VictoriaMetricsp99 ingest 7,4 ms ở 5.000 agentBản mới nhất v0.3.1

Triển khai production Kiến trúc L2 Giao thức với agent

Ba vai trò, một binary

Chọn vai trò bằng roles trong cấu hình. Mỗi vai trò scale độc lập.

ingest

Nhận HTTP từ agent (enroll, metrics, config), xác thực token qua registry, đẩy lô lên bus.

Không trạng thái, thêm node sau load balancer

worker

Đọc bus, ghi TSDB, đánh giá luật, phát hiện mất tín hiệu, gửi sự kiện qua outbox.

Chia shard theo server_id, node mới tự nhận shard

admin

API nội bộ cho Access Hub: đồng bộ registry, luật, truy vấn số liệu, trạng thái.

Chỉ mở trong mạng nội bộ, cổng 9101

Kết quả agentsim 02/10/20265.000 agent enroll đồng loạt trong 1,03 giây, 12.330 mẫu mỗi giây, p99 ingest 7,4 ms, không mẫu nào bị bỏ. Một tiến trình, RSS 106 MiB.

Đọc báo cáo

Chạy thử cấu hình

Ví dụ tối thiểu cho một node worker, kiểm tra bằng -check trước khi bật dịch vụ.

/etc/accesshub-collector/worker.yamlyaml

collector_id: prod-worker-1        # duy nhất toàn hệ thống
roles: [worker]
log: { level: info, format: json }
ops: { listen: 10.0.1.21:9100 }
hub:
  base_url: https://hub.minhan.vn
  token_file: /etc/accesshub-collector/secrets/hub.token
redis:
  addr: 10.0.0.10:6379
  password_file: /etc/accesshub-collector/secrets/redis.password
tsdb:
  url: http://10.0.0.20:8428       # vm-raw
  long_url: http://10.0.0.20:8429  # vm-long

Kiểm trabash

collector -check -config /etc/accesshub-collector/worker.yaml
echo $?   # 0 hợp lệ, 3 cấu hình sai

Ghi chú: khóa lạ là lỗi

Cấu hình đọc với KnownFields, gõ sai tên khóa sẽ bị báo ngay khi chạy -check.

Cảnh báo: không chạy mockhub trên production

mockhub chỉ dùng cho dev stack và đo tải. Collector production phải trỏ tới Access Hub thật.

Tài liệu theo nhóm

Bắt đầu

Dựng hệ thống từ đầu

3 trang

Thành phần

Luồng dữ liệu và hợp đồng

4 trang

Vận hành

Mở rộng và giữ ổn định

4 trang

Kiến trúc và ADR

L1, L2, 5 L3 và 17 ADR

4 trang

Chỉ mục 17 ADR