fix(netflow): выполнять сброс данных одной транзакцией и сохранять результат

This commit is contained in:
Denozordec committed 2026-10-03 12:37:40 +07:00
1 parent e2aae3897d
commit c9b0f9266e
12 files changed
+150 -57

No files matched your search

+2 -1
View File
@@ -27,7 +27,8 @@
"test:scheduler": "tsx src/services/scheduler-recorded-run.test.ts && tsx src/routes/scheduler.test.ts",
"test:backups": "tsx src/services/backup-scheduler-run.test.ts && tsx src/services/backup-restore.test.ts && tsx src/services/backup-deletion.test.ts && tsx src/services/backup-dto.test.ts && tsx src/services/backup-storage-update.test.ts && tsx src/services/backup-job-execution.test.ts && tsx src/routes/backups-operations.test.ts && tsx src/services/s3-backup-client.test.ts",
"test:live-maps": "tsx src/services/ospf-route-parse.test.ts && tsx src/services/vxlan-live.test.ts && tsx src/services/containers-live.test.ts && tsx src/services/firewall-poll.test.ts && tsx src/services/gre-catalog-poll.test.ts && tsx src/routes/filters-gre-catalog.test.ts && tsx src/routes/bgp-catalog.test.ts && tsx src/services/bgp-catalog-parse.test.ts && tsx src/routes/ospf-catalog.test.ts && tsx src/services/ospf-observed-values.test.ts",
"test": "npm run test:probes && npm run test:exec && npm run test:alert-engine && npm run test:auth && npm run test:wireguard && npm run test:traffic-rate && npm run test:traffic-flow && npm run test:users && npm run test:pg && npm run test:backups && npm run test:scheduler && npm run test:live-maps && npm run test:ospf-optimizer && npm run test:recursive-routes && npm run test:config-sync && npm run test:ros-file && npm run test:containers && npm run test:certificates",
"test": "npm run test:probes && npm run test:exec && npm run test:alert-engine && npm run test:auth && npm run test:wireguard && npm run test:traffic-rate && npm run test:traffic-flow && npm run test:users && npm run test:pg && npm run test:backups && npm run test:scheduler && npm run test:live-maps && npm run test:ospf-optimizer && npm run test:recursive-routes && npm run test:config-sync && npm run test:ros-file && npm run test:containers && npm run test:certificates && npm run test:netflow-settings && npm run test:netflow-purge",
"test:netflow-purge": "tsx src/services/traffic-flow-purge-execution.test.ts && tsx src/routes/traffic-flow-purge.test.ts",
"test:netflow-settings": "tsx src/services/traffic-flow-key-execution.test.ts && tsx src/routes/traffic-flow-settings.test.ts && tsx src/plugins/auth.netflow-settings.test.ts",
"test:geoip": "tsx src/services/traffic-flow-geoip.test.ts && tsx src/plugins/auth.geoip.test.ts",
"test:ospf-optimizer": "tsx src/services/ospf-optimizer-identity.test.ts && tsx src/services/ospf-optimizer-metrics.test.ts && tsx src/services/ospf-optimizer-plan.test.ts && tsx src/routes/ospf-optimizer.test.ts",
@@ -0,0 +1,12 @@
import assert from "node:assert/strict"
import Fastify from "fastify"
import { createTrafficFlowPurgeRoutes } from "./traffic-flow-purge.js"
let purges=0,records=0,failPurge=false,failRecord=false,conflict=false
const result={ok:true as const,deleted:{buckets:1,minuteStats:0,minuteDims:0,dailyDims:0,hourFacts:2,dailyFacts:3},fileBytesBefore:null,fileBytesAfter:null,vacuumed:false,listenerError:"listener unavailable"}
const app=Fastify();await app.register(createTrafficFlowPurgeRoutes({purge:async()=>{purges++;if(conflict)throw Error("Сброс уже выполняется");if(failPurge)throw Error("delete unknown");return result},record:async actual=>{records++;assert.deepEqual(actual,result);if(failRecord)throw Error("journal unavailable")}}),{prefix:"/api"})
const post=()=>app.inject({method:"POST",url:"/api/traffic/flow/purge"})
let response=await post();assert.equal(response.statusCode,200);assert.deepEqual(response.json(),result)
failRecord=true;response=await post();assert.equal(response.statusCode,200);assert.deepEqual(response.json(),{...result,eventError:"journal unavailable"});assert.equal(purges,2);assert.equal(records,2)
failPurge=true;response=await post();assert.equal(response.statusCode,500);assert.equal(records,2);assert.equal(purges,3)
conflict=true;response=await post();assert.equal(response.statusCode,409);assert.equal(records,2);assert.equal(purges,4)
await app.close();console.log("NetFlow purge HTTP: committed deletion survives event failure, partial warnings preserved, unknown/conflict never repeated")
+18
View File
@@ -0,0 +1,18 @@
import type { FastifyPluginAsyncZod } from "@fastify/type-provider-zod"
import type { FlowPurgeDto } from "@mmapp/contracts/traffic-flow"
export function createTrafficFlowPurgeRoutes(deps: { purge: () => Promise<FlowPurgeDto>; record: (result: FlowPurgeDto) => Promise<void> }): FastifyPluginAsyncZod {
return async app => {
app.post("/traffic/flow/purge", async (_req, reply) => {
try {
const result = await deps.purge()
try { await deps.record(result) } catch (error) {
return { ...result, eventError: error instanceof Error ? error.message : String(error) }
}
return result
} catch (error) {
const message = error instanceof Error ? error.message : String(error)
return reply.status(message.includes("уже выполняется") ? 409 : 500).send({ error: message })
}
})
}
}
+6 -10
View File
@@ -4,6 +4,7 @@ import { env } from "../config.js"
import {
trafficFlowOverlayRequestSchema,
} from "@mmapp/contracts/traffic-flow"
import { createTrafficFlowPurgeRoutes } from "./traffic-flow-purge.js"
import { createTrafficFlowSettingsRoutes } from "./traffic-flow-settings.js"
import {
ensureHostKeys,
@@ -155,9 +156,9 @@ const trafficFlowRoutes: FastifyPluginAsyncZod = async (app) => {
hostFiles: listTrafficFlowHostFiles,
}))
app.post("/traffic/flow/purge", async (_req, reply) => {
try {
const result = await purgeTrafficFlowStore()
await app.register(createTrafficFlowPurgeRoutes({
purge: purgeTrafficFlowStore,
record: async result => {
await appendEvent({
level: "warning",
eventType: "traffic.flow.purge",
@@ -176,13 +177,8 @@ const trafficFlowRoutes: FastifyPluginAsyncZod = async (app) => {
vacuumed: result.vacuumed,
},
})
return reply.send(result)
} catch (err) {
const message = err instanceof Error ? err.message : String(err)
const status = message.includes("уже выполняется") ? 409 : 500
return reply.status(status).send({ error: message })
}
})
},
}))
app.post("/traffic/flow/rebuild-facts", async (_req, reply) => {
try {
+17 -43
View File
@@ -1,5 +1,6 @@
import { deleteTrafficFlowData, executeTrafficFlowPurge } from "./traffic-flow-purge-execution.js"
import { Worker } from "node:worker_threads"
import { db, dbAll, dbGet, dbQuery, pool, withAdvisoryLock } from "../db/index.js"
import { db, dbAll, pool, withAdvisoryLock } from "../db/index.js"
import { dropExpiredPartitions } from "../db/partitions.js"
import { servers } from "../db/schema.js"
import type { FlowPurgeDto, FlowStatsDto, FlowTalkerDto } from "@mmapp/contracts/traffic-flow"
@@ -25,7 +26,7 @@ import {
import {
getTrafficFlowSettingsRow,
listHostPeers,
resetFlowIngestCounters,
invalidateTrafficFlowSettingsCache,
} from "./traffic-flow-settings.js"
import { applicationName } from "./traffic-flow-apps.js"
import { resolveIfaceName } from "./traffic-flow-ifaces.js"
@@ -514,50 +515,23 @@ export async function flushPendingForTests(): Promise<void> {
await flushPending({ force: true })
}
async function tableCount(name: string): Promise<number> {
const row = await dbGet<{ n: number }>(`SELECT COUNT(*) AS n FROM ${name}`)
return Number(row?.n) || 0
}
const PURGE_LOCK_KEY = 8_723_103
/** Удаляет сессии и minute/daily rollup. Ключи WG и пиры JH не трогает. */
/** Удаляет данные одним transaction; ключи и пиры не меняются. */
export async function purgeTrafficFlowStore(): Promise<FlowPurgeDto> {
return await withAdvisoryLock(PURGE_LOCK_KEY, async () => {
wantListen = false
await stopWorkerProcessAsync()
resetEngineForTests()
lastHeartbeat = null
state = { bound: false, address: null }
const deleted = {
buckets: await tableCount("flow_buckets"),
minuteStats: await tableCount("flow_minute_stats"),
minuteDims: await tableCount("flow_minute_dims"),
dailyDims: await tableCount("flow_daily_dims"),
hourFacts: await tableCount("flow_hour_facts"),
dailyFacts: await tableCount("flow_daily_facts"),
}
await dbQuery(`DELETE FROM flow_buckets`)
await dbQuery(`DELETE FROM flow_minute_stats`)
await dbQuery(`DELETE FROM flow_minute_dims`)
await dbQuery(`DELETE FROM flow_daily_dims`)
await dbQuery(`DELETE FROM flow_hour_facts`)
await dbQuery(`DELETE FROM flow_daily_facts`)
await resetFlowIngestCounters()
await dropExpiredPartitions(pool)
try {
await startTrafficFlowListener()
} catch {
/* ingest мог остаться выключенным */
}
return {
ok: true,
deleted,
fileBytesBefore: 0,
fileBytesAfter: 0,
vacuumed: false,
}
})
return withAdvisoryLock(PURGE_LOCK_KEY, () => executeTrafficFlowPurge({
stop: async () => {
wantListen = false
await stopWorkerProcessAsync()
resetEngineForTests()
lastHeartbeat = null
state = { bound: false, address: null }
},
deleteData: () => deleteTrafficFlowData(() => pool.connect()),
invalidate: invalidateTrafficFlowSettingsCache,
maintain: () => dropExpiredPartitions(pool),
restart: startTrafficFlowListener,
}))
}
export { peekPendingFlows }
@@ -0,0 +1,22 @@
import assert from "node:assert/strict"
import { deleteTrafficFlowData, executeTrafficFlowPurge } from "./traffic-flow-purge-execution.js"
function database(failAt = "", count: {value: unknown} = {value: "2"}) {
const calls: string[] = []; let released=0,committedDeletes=0,pendingDeletes=0,counters=42,pendingCounters=42
return {
connect:async()=>({ query:async(sql:string)=>{calls.push(sql);if(sql===failAt)throw Error("fixture failure");if(sql.startsWith("SELECT COUNT"))return {rows:[{n:count.value}]};if(sql.startsWith("DELETE"))pendingDeletes++;if(sql.startsWith("UPDATE"))pendingCounters=0;if(sql==="COMMIT"){committedDeletes=pendingDeletes;counters=pendingCounters}if(sql==="ROLLBACK"){pendingDeletes=0;pendingCounters=counters}return {rows:[]}},release:()=>{released++}}),
state:()=>({calls,released,committedDeletes,counters}),
}
}
let db=database();const deleted=await deleteTrafficFlowData(db.connect)
assert.deepEqual(deleted,{buckets:2,minuteStats:2,minuteDims:2,dailyDims:2,hourFacts:2,dailyFacts:2});assert.equal(db.state().committedDeletes,6);assert.equal(db.state().counters,0);assert.equal(db.state().released,1)
assert.equal(db.state().calls[0],"BEGIN");assert.match(db.state().calls[1],/^LOCK TABLE .* IN ACCESS EXCLUSIVE MODE$/);assert.equal(db.state().calls.at(-1),"COMMIT")
for(const failAt of ["DELETE FROM flow_minute_dims", "UPDATE traffic_flow_settings SET packets_received = 0, last_datagram_at = NULL, last_exporter_ip = NULL, last_error = '', updated_at = now() WHERE id = 1", "COMMIT"]){
db=database(failAt);await assert.rejects(deleteTrafficFlowData(db.connect),/fixture failure/);assert.equal(db.state().committedDeletes,0);assert.equal(db.state().counters,42);assert.equal(db.state().released,1);assert.equal(db.state().calls.at(-1),"ROLLBACK");assert.equal(db.state().calls.filter(c=>c==="BEGIN").length,1)
}
for(const bad of [null,undefined,"NaN","9007199254740992",-1,1.5]){db=database("",{value:bad});await assert.rejects(deleteTrafficFlowData(db.connect));assert.equal(db.state().committedDeletes,0);assert.equal(db.state().released,1);assert.equal(db.state().calls.filter(c=>c.startsWith("DELETE")).length,0)}
let stops=0,deletes=0,restarts=0,invalidates=0,maintains=0,failDelete=false
const deps={stop:async()=>{stops++},deleteData:async()=>{deletes++;if(failDelete)throw Error("delete unknown");return deleted},invalidate:()=>{invalidates++},maintain:async()=>{maintains++;throw Error("partition unavailable")},restart:async()=>{restarts++;throw Error("listener unavailable")}}
const result=await executeTrafficFlowPurge(deps);assert.equal(result.ok,true);assert.deepEqual(result.deleted,deleted);assert.equal(result.partitionError,"partition unavailable");assert.equal(result.listenerError,"listener unavailable");assert.equal(result.fileBytesBefore,null);assert.equal(result.fileBytesAfter,null)
assert.equal(invalidates,1);assert.equal(deletes,1);assert.equal(restarts,1)
failDelete=true;await assert.rejects(executeTrafficFlowPurge(deps),/delete unknown.*не восстановлен/);assert.equal(stops,2);assert.equal(deletes,2);assert.equal(maintains,1);assert.equal(invalidates,1);assert.equal(restarts,2)
console.log("NetFlow purge transaction: all tables/counters commit together, rollback/release, safe counts, maintenance/restart partial result without repeated delete")
@@ -0,0 +1,54 @@
import type { FlowPurgeDto } from "@mmapp/contracts/traffic-flow"
const tables = {
buckets: "flow_buckets", minuteStats: "flow_minute_stats", minuteDims: "flow_minute_dims",
dailyDims: "flow_daily_dims", hourFacts: "flow_hour_facts", dailyFacts: "flow_daily_facts",
} as const
type Client = { query: (sql: string) => Promise<{ rows: Record<string, unknown>[] }>; release: () => void }
export async function deleteTrafficFlowData(connect: () => Promise<Client>): Promise<FlowPurgeDto["deleted"]> {
const client = await connect()
try {
await client.query("BEGIN")
await client.query("LOCK TABLE " + Object.values(tables).join(", ") + " IN ACCESS EXCLUSIVE MODE")
const deleted: FlowPurgeDto["deleted"] = { buckets: 0, minuteStats: 0, minuteDims: 0, dailyDims: 0 }
for (const [field, table] of Object.entries(tables)) {
const result = await client.query("SELECT COUNT(*)::bigint AS n FROM " + table)
const raw = result.rows[0]?.n
if ((typeof raw !== "number" && typeof raw !== "string") || !/^\d+$/.test(String(raw))) throw new Error("Не подтверждён счётчик " + table)
const count = Number(raw)
if (!Number.isSafeInteger(count) || count < 0) throw new Error("Счётчик вне допустимого диапазона: " + table)
deleted[field as keyof typeof deleted] = count
}
for (const table of Object.values(tables)) await client.query("DELETE FROM " + table)
await client.query("UPDATE traffic_flow_settings SET packets_received = 0, last_datagram_at = NULL, last_exporter_ip = NULL, last_error = '', updated_at = now() WHERE id = 1")
await client.query("COMMIT")
return deleted
} catch (error) {
// A lost COMMIT response remains unknown; never retry deletion here.
try { await client.query("ROLLBACK") } catch { /* preserve the original failure */ }
throw error
} finally { client.release() }
}
const message = (error: unknown) => error instanceof Error ? error.message : String(error)
export async function executeTrafficFlowPurge(deps: {
stop: () => Promise<void>
deleteData: () => Promise<FlowPurgeDto["deleted"]>
invalidate: () => void
maintain: () => Promise<void>
restart: () => Promise<void>
}): Promise<FlowPurgeDto> {
let deleted: FlowPurgeDto["deleted"]
try {
await deps.stop()
deleted = await deps.deleteData()
} catch (error) {
let restartError: string | undefined
try { await deps.restart() } catch (restart) { restartError = message(restart) }
throw new Error(message(error) + (restartError === undefined ? "" : "; приём NetFlow не восстановлен: " + restartError))
}
deps.invalidate()
let partitionError: string | undefined, listenerError: string | undefined
try { await deps.maintain() } catch (error) { partitionError = message(error) }
try { await deps.restart() } catch (error) { listenerError = message(error) }
return { ok: true, deleted, fileBytesBefore: null, fileBytesAfter: null, vacuumed: false,
...(partitionError !== undefined ? { partitionError } : {}), ...(listenerError !== undefined ? { listenerError } : {}) }
}
+2
View File
@@ -256,3 +256,5 @@ REST запрос → ожидание → подтверждённый output /
Завершён 11Б.3.4.4.2: private export требует traffic write, GET не создаёт ключи, PUT отделяет сохранение от ошибки запуска listener. HTTP/JWT, backend build, lint и permissions прошли. Далее 11Б.3.4.4.3: конкурентное создание ключей/выборочные patch; purge и UI ещё не приняты.
Завершён 11Б.3.4.4.3: выборочная запись NetFlow patch и условная установка host keys, свежая подтверждённая пара; DI гонка/HTTP/JWT/build/lint прошли. Реальная PG гонка не проверена. Далее 11Б.3.4.4.4 — атомарность purge и частичные результаты.
Завершён 11Б.3.4.4.4: 6 таблиц/counters purge в общей транзакции, отдельные partition/listener/event warnings и nullable размер файлов. DI/HTTP/API/typecheck/build/lint прошли; реальный PG purge не запускался. Следующий шаг 11Б.3.4.4.5 — форма NetFlow и подтверждённые/частичные/неизвестные операции.
+9 -1
View File
@@ -28,7 +28,7 @@
| 9 | VPN, Firewall и Filters | Завершён в границах локальной приёмки 2026-09-30; блоки 9.1–9.64, ограничения в 9.64 |
| 10 | Маршрутизация, диагностика, карта и терминал | Завершён в границах локальной приёмки 2026-10-01; блоки 10.1–10.71, внешние ограничения в 10.71 |
| 11А | Пользователи, контейнеры, сертификаты и резервные копии | Завершён в границах локальной приёмки 2026-10-01; 11А.1–11А.33, внешние ограничения в 11А.33 |
| 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | В работе: 11Б.1–11Б.3.4.4.3; status/history/KPI, strict settings API основа и защита каталога Evolution проверены; далее readers/dirty формы |
| 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | В работе: 11Б.1–11Б.3.4.4.4; status/history/KPI, strict settings API основа и защита каталога Evolution проверены; далее readers/dirty формы |
| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Не начат |
@@ -36,6 +36,14 @@
## Блок 11Б.3.4.4.4 — атомарность и результаты purge NetFlow (2026-10-03)
- Все 6 таблиц и сброс счётчиков выполняются одним PG client в BEGIN/COMMIT, с LOCK TABLE перед чтением счётчиков. Небезопасный/отсутствующий count отклоняется до DELETE; ошибка вызывает попытку ROLLBACK и release. Потерянный ответ COMMIT остаётся неизвестным, автоматического повторного удаления нет.
- Ошибки post-commit очистки partitions и запуска listener возвращаются как partitionError/listenerError вместе с подтверждёнными deleted. Ошибка appendEvent возвращает eventError, не маскирует успешный purge. После неудачи core сервер пытается восстановить приём; ошибка восстановления добавляется к исходной.
- DTO размера файлов теперь nullable: PG размер не измерялся, вместо выдуманных нулей возвращается null. Старые числовые ответы совместимы; strict frontend reader сохраняет все предупреждения. UI пока ещё не показывает их, его приёмка впереди.
- DI transaction/HTTP tests проверили commit 6 таблиц + counters, rollback/release, unsafe counts, maintenance/restart/event failures без повторного DELETE. Первоначальный undefined fixture случайно использовал default count; исправлен сам fixture, повтор прошёл. 5 API tests, полный typecheck, backend build и ESLint прошли; профили добавлены в backend test. Реальный PG purge не запускался, multi-instance ingest/производительность блокировки не приняты.
- Далее 11Б.3.4.4.5: форма NetFlow — known/dirty, права, строгий ввод, блокировка действий и явные partial/unknown outcomes, включая 6 счётчиков purge. Затем source/adaptive приёмка.
## Блок 11Б.3.4.4.3 — конкурентные настройки и ключи NetFlow (2026-10-03)
- Settings UPDATE изменяет только поля patch, не переносит соседние настройки из старого cache. Первичная вставка singleton использует onConflictDoNothing, параллельная инициализация не падает из-за дубликата.
+2
View File
@@ -184,3 +184,5 @@ ReUI PRO/base-nova; существующие Frame, Data Grid v9, KpiStatGrid, S
Завершён 11Б.3.4.4.2: private export требует traffic write, GET не создаёт ключи, PUT отделяет сохранение от ошибки запуска listener. HTTP/JWT, backend build, lint и permissions прошли. Далее 11Б.3.4.4.3: конкурентное создание ключей/выборочные patch; purge и UI ещё не приняты.
Завершён 11Б.3.4.4.3: выборочная запись NetFlow patch и условная установка host keys, свежая подтверждённая пара; DI гонка/HTTP/JWT/build/lint прошли. Реальная PG гонка не проверена. Далее 11Б.3.4.4.4 — атомарность purge и частичные результаты.
Завершён 11Б.3.4.4.4: 6 таблиц/counters purge в общей транзакции, отдельные partition/listener/event warnings и nullable размер файлов. DI/HTTP/API/typecheck/build/lint прошли; реальный PG purge не запускался. Следующий шаг 11Б.3.4.4.5 — форма NetFlow и подтверждённые/частичные/неизвестные операции.
+5 -2
View File
@@ -253,9 +253,12 @@ export const flowPurgeDtoSchema = z.object({
hourFacts: z.number().int().nonnegative().optional(),
dailyFacts: z.number().int().nonnegative().optional(),
}),
fileBytesBefore: z.number().int().nonnegative(),
fileBytesAfter: z.number().int().nonnegative(),
fileBytesBefore: z.number().int().nonnegative().nullable(),
fileBytesAfter: z.number().int().nonnegative().nullable(),
vacuumed: z.boolean(),
listenerError: z.string().optional(),
partitionError: z.string().optional(),
eventError: z.string().optional(),
})
export const flowFactsRebuildDtoSchema = z.object({
+1
View File
@@ -36,6 +36,7 @@ test("NetFlow purge requires confirmed actual counts and never repeats an unknow
try {
const receipt = { ok: true, deleted: { buckets: 0, minuteStats: 0, minuteDims: 0, dailyDims: 0 }, fileBytesBefore: 0, fileBytesAfter: 0, vacuumed: false }
globalThis.fetch = async () => json(receipt); assert.deepEqual(await purgeTrafficFlowData(base), receipt)
const partial = {...receipt, fileBytesBefore: null, fileBytesAfter: null, listenerError: "listener unavailable", partitionError: "partition unavailable", eventError: "journal unavailable"}; globalThis.fetch = async () => json(partial); assert.deepEqual(await purgeTrafficFlowData(base), partial)
for (const raw of [{}, { ...receipt, ok: false }, { ...receipt, deleted: { buckets: -1 } }]) { let calls = 0; globalThis.fetch = async () => { calls++; return json(raw) }; await assert.rejects(() => purgeTrafficFlowData(base)); assert.equal(calls, 1) }
} finally { globalThis.fetch = original }
})