chore(docs): причина пропусков публикаций POLL и часовые этапы B2
Опрос держит исключительную блокировку писателя разделов на всё время выполнения, тик воркера на ней обрывается до компакции; фикстура идёт по одной операции, поэтому архив выходит раз за цикл и задержка растёт до предела 10 минут (отказ 13.11 на источнике 22). Варианты исправления и план B2 с часовыми контрольными точками. Co-Authored-By: Claude Opus 5.5 <[email protected]>
This commit is contained in:
1 parent
ce7833c8df
commit
b9f950c233
1 file changed
+33
@@ -166,6 +166,39 @@
|
||||
- **Допуск VPS (шаг 1.2, только чтение):** `MemAvailable` 845 МиБ (порог 704), свободно 9,8 ГБ, cgroup v2 с лимитами памяти и swap, swap занят 75 МиБ из 4 ГиБ, `oom_kill 0`, активных unit `mm-*` нет, `mmapp-test` — 4 контейнера (`backend`/`frontend` `mcp-7848e38a`, `portal`, `postgres:18-alpine`).
|
||||
- **Остатки прежних прогонов на VPS** (не удалялись): `/var/lib/mm-poll-capacity336/` — 10 каталогов квитанций по nonce (512 КБ; у части есть `retirement.json`, у части нет), 16 каталогов `/var/lib/mm-two-chr-*` от 05.11 (по 14 МБ, пакеты и отчёты V63), 6 неиспользуемых анонимных томов Docker. Разобрать в фазе 0: считает ли `support.py pre-admission` неснятые nonce общей резервацией POLL336; снимать только штатным `retire` по их квитанциям.
|
||||
|
||||
## Разбор пропусков публикаций архивов (2026-11-19)
|
||||
|
||||
Установлено чтением кода и совпадением с таймингом Linux-прогона 13.11 (`tmp/mcp-poll-linux-capacity336-full-port-20261113/89b9c3d8fbdcc354-sources.json`); приборами на тике не измерялось.
|
||||
|
||||
- **Механизм.** `servers.poll` выполняет весь `execute` (чтения RouterOS, журнал, эффекты обслуживания, публикации) внутри `withGlobalLock` (`server-poll-execution.ts:85`), а это `maintenanceLease` = `withLease` с **исключительной** `pg_advisory_lock(8723110)` (`server-poll-production.ts:268–276`, `server-partition-maintenance-lease.ts:197`) на всё время опроса, до 180 с. Тик воркера MCP (`workers.ts:158–179`) идёт последовательно; первая фоновая запись в `retainMcpData` пробует разделяемую блокировку того же ключа, получает `PartitionWriterBusy`, и `workers.ts:175` молча завершает **весь тик** до компакции. Компакция и сама публикует не больше одного архива за тик (`server-poll-terminal-compaction.ts:87`).
|
||||
- **Почему 1 архив на цикл.** Фикстура capacity336 выполняет операции строго по одной (`fixture.ts:419–422`). Тики, попавшие на выполнение операции, пропадают целиком; публикует только тик, попавший в промежуток между операциями, и только один архив. 13.11: архив 1 в 480 с (промежуток после оп. 8), архив 2 в 510 с (до старта оп. 9 в 514 с), архив 3 в 600 с (до оп. 10 в 610 с); все 21 архив на одной фазе 30-секундного таймера; при этом в каждом пропущенном слоте было готово 2–5 архивов.
|
||||
- **Почему прогон 13.11 упал на источнике 22.** Задержка архива после допуска росла примерно на 30 с с каждым архивом (120 → 597 с к источнику 21). Фикстура требует архив не позже 10 минут после допуска (`fixture.ts:331`, `DEFAULT_WORKER_ARCHIVE_TIMEOUT_NO_RETRY`); у источника 22 предел был превышен — это и есть отказ `harvest-query`. **Повтор «как есть» снова упадёт около источника 22**: оценка «~14 ч» в предыдущем ответе была неверной.
|
||||
- **Нижняя граница после исправления.** Глобальная блокировка не даёт двум опросам идти одновременно, поэтому B2 не короче 337 × время одной операции. 13.11 на Linux операции шли 48–65 с (первые восемь, подряд), позже цикл 85–150 с: это 6–13 ч, а не «4,5–5 ч» из предыдущего ответа (4,2 ч — предел слотов, он достижим только при цикле ≤ 45 с). Растёт ли время операции с числом сохранённых архивов, по данным 13.11 отделить нельзя: после заполнения слотов цикл включает ожидание архива.
|
||||
- **Влияние на эксплуатацию.** Пока идёт любой `servers.poll` (до 180 с), тик MCP пропускает не только компакцию, но и восстановление операций, хранение, снятие операций, обнаружение дрейфа и такт профилей маршрутизации.
|
||||
|
||||
### Варианты исправления (решение владельца: меняют поведение продукта)
|
||||
|
||||
1. **Компакция выгребает очередь, пока писатель свободен** (рекомендуется первым шагом): в одном тике несколько циклов «заявка → публикация», каждый со своими двумя транзакциями, в пределах бюджета тика; правило «одна заявка на транзакцию» и все проверки архива прежние. Даёт: архивы не копятся, задержка не растёт, предел 10 минут не достигается. Не сокращает 337 × время операции.
|
||||
2. **Тик не обрывается целиком на `PartitionWriterBusy`**: стадии, которым не нужен писатель разделов (восстановление операций, дрейф, профили), выполняются; занятые стадии откладываются по отдельности. Небольшая правка `workers.ts`, полезна для эксплуатации; на B2 почти не влияет, компакции писатель нужен.
|
||||
3. **Ускорить сам опрос** по тому же принципу, что VRF и маршрутизация 19.11 (проверка прав раз на этап вместо полного перечитывания контекста перед каждым эффектом, `gate` в `server-poll-execution.ts:108`): это главный рычаг длительности B2. Объём и выигрыш нужно сначала измерить локально (время операции при 0 и при сотнях архивов).
|
||||
4. **Сузить исключительную блокировку опроса до DDL обслуживания**: компакция шла бы параллельно с опросом. Затрагивает защиту разделов от гонки DDL и записи; самый рискованный вариант, не рекомендуется без отдельного обоснования.
|
||||
|
||||
Любое исправление уводит прогон B с `7848e38a`: перед базовым снимком 1.3 нужно переразвернуть `mmapp-test` на новую сборку и повторить числа cold143.
|
||||
|
||||
## Прогон B2 по часовым этапам
|
||||
|
||||
B2 остаётся **одним непрерывным прогоном** (перезапуск посреди B2 по плану даёт `failed`/`unknown`, а отдельно запускаемые куски меняли бы критерий). Часовые этапы — это контрольные точки с решением «продолжать / остановить» по числам из `support.py monitor` (опрос не чаще раза в 10–15 минут, VPS не нагружается). Подготовка и B1 идут до B2.
|
||||
|
||||
| Этап | Время | Что происходит | Продолжать, если |
|
||||
| --- | --- | --- | --- |
|
||||
| П0 | 2–4 ч, локально | Исправление (по решению выше), тесты, сборка пакетов фазы 0 на новой сборке | Офлайн-тесты пакетов зелёные; локальный прогон компакции выгребает очередь |
|
||||
| П1 | ~1 ч, VPS | Переразвёртывание `mmapp-test`, допуск 1.2–1.4, базовый снимок, B1 (cold143) | `deadlineAccepted=true`, снимок совпал |
|
||||
| Ч1 | 1 ч | Старт B2, первые 8 операций и первые архивы — **диагностический час** (13.11 к 35-й минуте задержка уже была 500 с) | Архивов ≥ (операций − 8) − 2; максимальная задержка архива < 300 с и не растёт; время операции записано |
|
||||
| Ч2…Чn | по 1 ч | Установившийся режим | Прирост архивов за час ≈ прирост операций; задержка < 300 с; время операции растёт не больше чем на 10 % за час; `MemAvailable` > 500 МиБ, OOM нет |
|
||||
| Финал | ~30 мин | `terminal`, `verify.py`, `retire`, фаза 4 | 336/337/336/1348, снимок совпал |
|
||||
|
||||
Число часов Ч зависит от времени операции после исправления: при цикле 45 с — около 4–5 ч (упор в 8 слотов), при 60–90 с — 6–9 ч, при 110–150 с — 10–14 ч. Остановка на любом этапе: штатный `recover`/`retire`, квитанции сохраняются, исход не перекрашивается.
|
||||
|
||||
## 7. Что этим планом не проверяется
|
||||
|
||||
- Публичный MCP-путь CI2713 (`mm_server_poll_plan` → одобрение → `mm_change_apply` → `mm_operation_get`) на VPS. B1 проверяет cold143 через собранную fixture, а не через внешний SDK. Если владелец хочет закрыть и исторический `unknown` CI2713, нужен отдельный необязательный шаг с адаптированным `run-ci2713-poll-linux.py` (вход по ключу, сборка HEAD). Причина исторического `unknown` этим не устанавливается.
|
||||
|
||||
Reference in new issue
Block a user