feat(remote-speakers): enhance remote speaker management and API integration

- Added support for remote speaker configuration in the README and documentation. - Implemented a new endpoint for retrieving the bundle signing public key. - Updated the `evobgp-agent` to include a `serve` command for Panel→Node sync API. - Enhanced CI workflow to validate remote speaker compose files. - Introduced new fields in the API and UI for managing speaker metadata, including dispatch status and sync status. - Improved error handling and response formatting in speaker-related API endpoints. - Updated documentation to reflect changes in remote speaker functionality and usage guidelines.
2026-05-21 12:42:06 +07:00
parent ec65249bf1
commit 2aecbf96fd
29 changed files with 2003 additions and 63 deletions
@@ -20,6 +20,7 @@
 | [api.md](api.md) | REST: префикс `/v1`, публичные маршруты, ссылки на OpenAPI |
 | [router-lists-ui-integration.md](router-lists-ui-integration.md) | Интеграция `router-lists-ui` с EvoBGP API (`DOMAINS/IP_RANGES/AS_PREFIXES/communities`) |
 | [access.md](access.md) | Выдача доступа: API-ключи, роли, нода, CORS |
+| [remote-speakers.md](remote-speakers.md) | Удалённые BGP-реплики: Traefik, agent sync, compose |
 | [releasing.md](releasing.md) | Автоматические релизы, Conventional Commits, CI |
 | [openapi.yaml](openapi.yaml) | Источник правды по контракту API |
 | [OPENAPI-GITEA.md](OPENAPI-GITEA.md) | Как открыть HTML-документацию API (в т.ч. из Gitea) |
@@ -63,7 +63,9 @@ opkey|01ARZ3NDEKTSV4RRFFQ69G5FAV|operator,nodekey|01ARZ3NDEKTSV4RRFFQ69G5FAV|nod

 ## Публичный ключ бандла для нод

-При старте API в лог печатается строка **bundle signing public key (base64)**. Её нужно передать администратору реплики и использовать в `evobgp-node`:
+При старте API в лог печатается строка **bundle signing public key (base64)**. Альтернатива для operator: **`GET /v1/bundle/signing-public-key`** → поле `public_key_base64` для `EVOBGP_BUNDLE_PUBKEY_BASE64` на реплике.
+
+Использование в `evobgp-node` / agent:

 ```text
 evobgp-node verify-bundle -f bundle.tar.gz -pubkey-base64 "<из_лога_API>"
@@ -76,6 +78,17 @@ evobgp-node apply-bundle -f bundle.tar.gz -extract-dir /path/to/dir -pubkey-base
 evobgp-node pull-bundle -base-url http://control.example:8080 -token "<node_token>" -speaker-id "<uuid>"
 ```

+## Panel→Node dispatch (удалённые спикеры)
+
+На control plane (prod):
+
+```text
+EVOBGP_NODE_DISPATCH_ENABLED=1
+EVOBGP_BUNDLE_SEED_HEX=<32 bytes hex, стабильный>
+```
+
+После `deploy_apply` CP шлёт `POST https://AGENT_DOMAIN/v1/agent/sync` с `Authorization: Bearer <agent_secret>`. На реплике — `EVOBGP_AGENT_SECRET`, Traefik `PANEL_IP_WHITELIST`. Подробнее: [remote-speakers.md](remote-speakers.md).
+
 ## CORS для веб-интерфейса

 Браузерные запросы с другого origin требуют заголовков CORS на API. Задайте список разрешённых origin через **`EVOBGP_CORS_ORIGINS`** (через запятую), например:
@@ -19,7 +19,7 @@
 | `evobgp-render` | По умолчанию только heartbeat; при `EVOBGP_RENDER_AUTOPUBLISH=1` выставляет всем спикерам tenant последнюю ревизию (упрощение для демо). |
 | `evobgp-deploy` | Периодически логирует **drift**: `last_applied_revision_id` vs опубликованная ревизия для ноды. |
 | `evobgp-node` | CLI реплики: `pull-bundle`, `verify-bundle`, `apply-bundle`. |
-| `evobgp-agent` | Локальный агент рядом с BIRD (например `watch` по сокету). |
+| `evobgp-agent` | Локальный агент рядом с BIRD: `watch`, **`serve`** (Panel→Node sync API на реплике). |

 В Docker Compose профиль **reference** запускает отдельные контейнеры под `evobgp-api` и четыре воркера; профиль **microvps** использует один контейнер `evobgp-all`.

@@ -40,8 +40,12 @@
 | `observability` | Метрики Prometheus, HTTP middleware. |
 | `broker` | Опциональный `EVOBGP_BROKER_URL` для будущей шины; сейчас задачи только in-process (`jobs.Registry`), пакет лишь логирует факт настройки URL. |
 | `pipeline` | Ingest+render в одном шаге для `module_refresh`: выборка префиксов (CDN/AS/IP/пустые DOMAINS), `CreateRenderRevision`, превью BIRD через `birdfmt`. |
+| `nodedispatch` | Panel→Node HTTP wake-up (`POST /v1/agent/sync`) после `deploy_apply`. |
+| `agentserver` | HTTP API на реплике (`serve`): sync + health для Traefik. |

-## Диаграмма: эталонный Compose (reference)
+## Удалённые спикеры
+
+Реплики на отдельных VPS: [remote-speakers.md](remote-speakers.md). CP публикует ревизию и при `EVOBGP_NODE_DISPATCH_ENABLED=1` будит agent; agent тянет signed bundle и применяет BIRD. Compose: `deploy/compose/docker-compose.remote-speaker.yaml`.

 ```mermaid
 flowchart LR
@@ -104,6 +104,7 @@ EvoBGP управляет генерацией и применением BGP-к
 ### Настройки (`/v1/settings`)
 - KV c ключами BIRD и дополнительными feature flags.
 - Ключевые параметры BIRD: `bird_router_id`, `bird_local_ipv4`, `bird_local_ipv6`, `bird_local_asn`, `bird_bgp_source_ipv4`, `bird_bgp_source_ipv6`.
+- **Tenant settings** — глобальный default. **Per-speaker** override: `meta_json.bird_bgp_source_ipv4` / `node_ipv4` в карточке спикера (Web UI → Сеть → Спикеры); pipeline накладывает overlay при сборке бандла для реплики. См. [remote-speakers.md](remote-speakers.md).

 ## 7. Эксплуатация и runbook

@@ -778,8 +778,47 @@ components:
          type: string
        last_applied_revision_id:
          type: ["string", "null"]
+        published_revision_id:
+          type: ["string", "null"]
+          description: Последняя опубликованная на CP ревизия для этого спикера.
+        published_at:
+          type: ["string", "null"]
+          format: date-time
+        agent_domain:
+          type: string
+          description: FQDN agent API за Traefik (Address в UI, Remnawave-style).
+        node_ipv4:
+          type: string
+          description: IPv4 VPS; default для bird_bgp_source_ipv4.
+        bird_bgp_source_ipv4:
+          type: string
+          description: Per-speaker override router id / BGP local (см. pipeline overlay).
+        dispatch_status:
+          type: string
+          description: ok, error, skipped — последний Panel→Node wake-up.
+        sync_status:
+          type: string
+          description: synced, error — состояние sync на реплике.
+        last_dispatch_at:
+          type: string
+          format: date-time
+        last_dispatch_error:
+          type: string
+        meta_json:
+          type: object
+          description: >
+            Расширяемый объект. Ключи agent_domain, agent_secret (только при создании),
+            agent_port, node_ipv4, bird_bgp_source_ipv4, bird_bgp_source_ipv6.
      additionalProperties: true

+    BundleSigningPublicKey:
+      type: object
+      required: [public_key_base64]
+      properties:
+        public_key_base64:
+          type: string
+          description: Ed25519 public key (base64) для verify-bundle на реплике.
+
    ConfigRevision:
      type: object
      required:
@@ -1000,8 +1039,15 @@ components:
      properties:
        role:
          type: string
+          default: replica
        endpoint:
          type: string
+          description: URL agent или https://AGENT_DOMAIN
+        meta_json:
+          type: string
+          description: >
+            JSON-объект. Ключи node_ipv4, bird_bgp_source_ipv4 (default = node_ipv4),
+            agent_domain, agent_secret (генерируется при создании если пуст).
      additionalProperties: true

    BgpSpeakerPatch:
@@ -1011,6 +1057,9 @@ components:
          type: string
        endpoint:
          type: string
+        meta_json:
+          type: string
+          description: JSON-объект с ключами agent_domain, node_ipv4, bird_bgp_source_ipv4 и др.
      additionalProperties: true

    LatestRevisionPointer:
@@ -2216,6 +2265,24 @@ paths:
        default:
          $ref: "#/components/responses/DefaultProblem"

+  /v1/bundle/signing-public-key:
+    get:
+      tags: [Bundles]
+      summary: Публичный ключ подписи бандлов
+      description: >
+        Ed25519 public key (base64) для `evobgp-node verify-bundle` / agent sync на реплике.
+        Роль viewer и выше.
+      operationId: getBundleSigningPublicKey
+      responses:
+        "200":
+          description: Ключ для env EVOBGP_BUNDLE_PUBKEY_BASE64 на реплике.
+          content:
+            application/json:
+              schema:
+                $ref: "#/components/schemas/BundleSigningPublicKey"
+        default:
+          $ref: "#/components/responses/DefaultProblem"
+
  /v1/speakers:
    get:
      tags: [Speakers]
@@ -203,6 +203,10 @@ docker compose --profile reference up -d

 В **evobgp-all** (microvps) те же пакеты крутятся в одном процессе и используют общий `jobs.Registry` без HTTP.

+## Удалённые BGP-спикеры
+
+Реплики на отдельных VPS (bird2 + agent + Traefik): см. **[remote-speakers.md](remote-speakers.md)**. На CP включите `EVOBGP_NODE_DISPATCH_ENABLED=1` и зафиксируйте `EVOBGP_BUNDLE_SEED_HEX`. Compose: `deploy/compose/docker-compose.remote-speaker.yaml`.
+
 ## Вариант 3: Локально без Docker (только API)

 1. Поднимите PostgreSQL и создайте БД (или используйте существующую).
@@ -0,0 +1,104 @@
+# Удалённые BGP-спикеры (Remnawave-style)
+
+Runbook для реплик **bird2 + evobgp-agent** на отдельных VPS. Control plane (`evobgp-all`) инициирует доставку после `module_refresh` → `deploy_apply`; реплика **не** собирает префиксы сама.
+
+## Модель
+
+| Remnawave | EvoBGP |
+|-----------|--------|
+| Panel → Node:PORT | CP POST `https://AGENT_DOMAIN/v1/agent/sync` |
+| SECRET_KEY | `agent_secret` (Bearer) |
+| Copy compose | Web UI → карточка спикера |
+| Push Xray JSON | Wake-up → pull signed bundle → verify Ed25519 → apply |
+
+Подробнее: [architecture.md](architecture.md).
+
+## Быстрый старт
+
+1. **CP (microvps-full):** зафиксируйте `EVOBGP_BUNDLE_SEED_HEX` (32 байта hex) — стабильный ключ подписи бандлов.
+2. **Web UI → Сеть → Спикеры:** создайте спикер `role=replica`, укажите **Agent domain**, **IP ноды**, **BGP source** (по умолчанию = IP ноды).
+3. Сохраните **`agent_secret`** (показывается один раз) и скопируйте **docker-compose** из UI.
+4. Выдайте **node API-ключ** ([access.md](access.md)) для `EVOBGP_NODE_TOKEN`.
+5. `GET /v1/bundle/signing-public-key` → `EVOBGP_BUNDLE_PUBKEY_BASE64` на реплике.
+6. На VPS реплики:
+   ```bash
+   cd deploy/compose
+   cp .env.remote-speaker.example .env.remote-speaker
+   cp .env.remote-speaker-tls.example .env.remote-speaker-tls
+   # заполните переменные из UI
+   docker compose -f docker-compose.remote-speaker.yaml \
+     --env-file .env.remote-speaker --env-file .env.remote-speaker-tls \
+     --profile production up -d
+   ```
+7. **CP:** `EVOBGP_NODE_DISPATCH_ENABLED=1` — Panel шлёт wake-up после publish.
+8. Cloudflare: `AGENT_DOMAIN` → IP VPS, **DNS only** (как Web UI в [quickstart.md](quickstart.md)).
+
+## Compose-профили
+
+| Profile | Состав |
+|---------|--------|
+| `production` | bird2 (host) + agent + Traefik LE |
+| `plain` | bird2 + agent на хосте без Traefik (только lab) |
+| `fallback` | + `sync-bundle` polling (`scripts/sync-bundle.sh`) |
+
+Файлы: [docker-compose.remote-speaker.yaml](../deploy/compose/docker-compose.remote-speaker.yaml).
+
+## Firewall
+
+| Порт | Кто | Зачем |
+|------|-----|-------|
+| **443** | IP CP (`PANEL_IP_WHITELIST`) | HTTPS dispatch + health |
+| **179** | BGP peers | Data plane |
+| **80** | ACME | Traefik → 443 |
+
+## Безопасность (три участка)
+
+1. **CP → реплика:** HTTPS (LE) + Traefik ipallowlist + `agent_secret`.
+2. **Реплика → CP:** HTTPS + роль `node` (только bundle/latest/enroll).
+3. **Конфиг:** Ed25519 `bundle.sig`, SHA-256 manifest, `bird -p`, LKG на ноде.
+
+Prod checklist:
+
+- [ ] `EVOBGP_CONTROL_PLANE_URL=https://...`
+- [ ] `EVOBGP_NODE_DISPATCH_ENABLED=1` на CP
+- [ ] `EVOBGP_BUNDLE_SEED_HEX` на CP (не менять после выдачи pubkey репликам)
+- [ ] Уникальные `agent_secret` и node token на спикер
+- [ ] Не использовать profile `plain` в prod
+- [ ] Не отключать verify-bundle в agent
+
+## Per-speaker BGP source
+
+В UI: **IP ноды** (`meta_json.node_ipv4`) и **BGP source IPv4** (`bird_bgp_source_ipv4`, default = IP ноды). Pipeline накладывает overlay при `GET .../bundle/{revision_id}` — меняются `router id` и peer `local`.
+
+Tenant `/v1/settings` (`bird_bgp_source_ipv4`) — fallback для master / если у спикера не задано.
+
+## Drift и dispatch
+
+- `published_revision_id` vs `last_applied_revision_id` — в UI и `evobgp-deploy`.
+- Job `deploy_apply` meta: `node_dispatch.results[]` — статус wake-up per speaker.
+- Canary: `POST /v1/speakers/{id}/apply` с `revision_id`.
+
+## Troubleshooting
+
+| Симптом | Проверка |
+|---------|----------|
+| Offline в UI | `GET https://AGENT_DOMAIN/v1/agent/health` с CP; LE cert; whitelist |
+| dispatch error | CP logs job meta; firewall 443; `agent_secret` |
+| verify-bundle fail | pubkey совпадает с CP seed; пересоберите pubkey после смены seed |
+| BGP не поднимается | bird2 `network_mode: host`; peers; MD5 BGP отдельно от HTTP sync |
+
+## Ограничения (scale-review)
+
+- Peers **не** фильтруются по `speaker_id` — один tenant-wide peers fragment на все реплики.
+- Разные peer-наборы per site — отдельная итерация pipeline.
+- Если Panel не достучится до agent — включите profile `fallback` (polling).
+
+## Связанные env
+
+| Переменная | Где |
+|------------|-----|
+| `EVOBGP_NODE_DISPATCH_ENABLED=1` | CP |
+| `EVOBGP_AGENT_SECRET` | реплика |
+| `EVOBGP_NODE_TOKEN` | реплика |
+| `EVOBGP_BUNDLE_PUBKEY_BASE64` | реплика |
+| `PANEL_IP_WHITELIST` | Traefik на реплике |