From 89ffe4375b0a976087a1d45d36e4a11e7667466f Mon Sep 17 00:00:00 2001 From: Denozordec Date: Mon, 2 Nov 2026 21:55:43 +0700 Subject: [PATCH] =?UTF-8?q?=D0=94=D0=BE=D0=BA=D1=83=D0=BC=D0=B5=D0=BD?= =?UTF-8?q?=D1=82=D0=B0=D1=86=D0=B8=D1=8F:=20=D0=BA=D0=BE=D0=B4=D0=B5?= =?UTF-8?q?=D0=BA-=D1=81=D1=82=D1=80=D0=BE=D0=BA=D0=B8,=20=D0=B0=D1=83?= =?UTF-8?q?=D0=B4=D0=B8=D1=82=20=D0=B4=D0=BE=D1=80=D0=BE=D0=B6=D0=B5=D0=BA?= =?UTF-8?q?,=20=D1=82=D0=B5=D0=BA=D1=83=D1=89=D0=B8=D0=B5=20=D0=BC=D0=B5?= =?UTF-8?q?=D1=82=D1=80=D0=B8=D0=BA=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit README: метрики модели 02.11.2026 (test 4 377 строк, e2e по трекерам), размер датасета, kinozal-вкладки. dataset.md: размер снимка, колонки studio_source и audio_raw. architecture.md: кодек-строки как позитивы сегментатора, E2E_MODEL. collecting.md: tools/audit_tracks.py. training-windows.md: доразметка, сравнение кандидата и постановка в models/best и Docker. plan.md: шаг «аудит дорожек». Co-Authored-By: Claude Opus 5.5 --- README.md | 30 ++++++++++++++++-------------- docs/architecture.md | 10 +++++++--- docs/collecting.md | 5 +++++ docs/dataset.md | 4 +++- docs/plan.md | 1 + docs/training-windows.md | 8 ++++++++ 6 files changed, 40 insertions(+), 18 deletions(-) diff --git a/README.md b/README.md index f14ec2a..0e0cf29 100644 --- a/README.md +++ b/README.md @@ -76,19 +76,21 @@ docs/ документация ## Качество -Held-out test (645 строк, группировка по релизам и текстам; полная таблица и -графики — [reports/summary.md](reports/summary.md)): +Held-out test (4 377 строк, группировка по релизам и текстам; модель +`models/runs/20261102_190555_basecodec`, обучена 02.11.2026 на `labels.csv` со студиями из +кодек-строк; сравнение моделей — `python -m src.runs`): -| модель | type acc | type macro-F1 | span exact | 18+ acc | joint exact | -|---|---|---|---|---|---| -| rubert-tiny2 | 0.991 | 0.970 | 0.918 | 1.000 | 0.915 | -| **ruBert-base (models/best)** | **0.994** | 0.966 | **0.950** | **1.000** | **0.946** | +| модель | type acc | type macro-F1 | span exact | 18+ acc | lang acc | joint exact | +|---|---|---|---|---|---|---| +| **ruBert-base (models/best)** | **0.978** | **0.903** | **0.922** | **1.000** | **0.997** | **0.906** | * joint exact — строка распознана полностью (тип + автор + 18+). -* E2E на сохранённых страницах релизов: rutracker — precision 0.83 / recall 0.98 - по парам (тип, автор); kinozal-текстовые дампы содержат только тех-вкладку - без авторов (автор подгружался на сайте через JS), поэтому там автор - недоступен в принципе. +* Тест-сплит пересобирается вместе с датасетом, поэтому цифры разных снимков напрямую + не сравниваются (ранние 0.946 — на тесте из 645 строк). rubert-tiny2 на текущем + датасете не переобучалась. +* E2E по релизам (`tests/e2e_segmenter.py`, по 400 тестовых страниц на трекер, пары + тип + студия, precision / recall): kinozal 0.766 / 0.879, rutracker 0.877 / 0.870, + nnm 0.838 / 0.825. * ONNX-экспорт эквивалентен PyTorch на 100% строк test — [reports/onnx_parity.md](reports/onnx_parity.md). * Smoke на формулировках, которых нет в датасете: тип 9/10, 18+ 10/10, автор 5/10 (полное извлечение автора на непривычных форматах записи — @@ -99,14 +101,14 @@ Held-out test (645 строк, группировка по релизам и т * Метки датасета сгенерированы регулярками (пайплайн deepseek-harness) — метрики измеряют согласование с этой разметкой; ценность модели — обобщение на новые формулировки без сопровождения регулярок. -* Источники несбалансированы (rutracker 1658 / nnm 1549 / kinozal 77 строк). +* Датасет: 55 324 строки из 27 900 релизов (kinozal 21 766 / nnm 18 363 / rutracker 15 195). * Извлечение автора уверенно работает на форматах записи, представленных в датасете (имя после типа через разделитель, в скобках у AVO/MVO/DVO-дорожек, после тире); на непривычных форматах («Одноголосый закадровый (Фамилия)») модель может не выделить имя — span остаётся пустым, тип при этом верный. -* kinozal-страницы: авторы озвучки подгружаются на сайте JavaScript-ом; в - статическом HTML и текстовых дампах их нет — модель их не увидит (это - ограничение данных, не модели). +* kinozal-страницы: авторы озвучки лежат во вкладках, которые сайт подгружает + JavaScript-ом. По `url` сервис скачивает их сам (`fetch_html`, `showtab`); в + присланном `html`/`text` без этих вкладок студий может не быть. * Классы с 1–8 примерами почти не выучиваются (видно в macro-F1 и confusion matrix); морфологическая аугментация (458 вариантов: «многоголосое» и т.п.) частично закрывает этот пробел. diff --git a/docs/architecture.md b/docs/architecture.md index 4f37776..5f48bcd 100644 --- a/docs/architecture.md +++ b/docs/architecture.md @@ -81,15 +81,19 @@ BIO-разметка строится по символьным спанам ч «Релиз», `segmenter.page_text`): в `data/pages/kz-*.txt` нет ни заголовка, ни «Техданных», откуда взята половина меток kinozal, а сервис (`fetch_html`) видит обе вкладки. -* Кодек-строка русской дорожки («Аудио 3: AC3 … Русский (MVO, LostFilm)», - «Аудио Rus: … | LostFilm»), не попавшая в разметку, в обучение не идёт +* Кодек-строки со студией с 02.11.2026 размечены сами (`studio_source=codec`, см. + `docs/collecting.md`): их `raw`/`audio_raw` дают позитивы. Кодек-строка русской + дорожки («Аудио 3: AC3 … Русский (MVO, LostFilm)», «Аудио Rus: … | LostFilm»), + не попавшая в разметку, в обучение не идёт (метка -1): у rutracker `raw` — строка «Перевод N:», и как негатив она учила модель отбрасывать кодек-строки — а на kinozal студии только в них. * В `predict_release` выбранные моделью кодек-строки — второстепенный источник (`source: codec`): подключаются, только если у какой-то дорожки страницы нет студии; если других строк нет (nnm), они и есть дорожки. * e2e: `tests/e2e_segmenter.py [каталог]` — пары (тип, студия) на тестовых - страницах, не больше `E2E_MAX` (400) на трекер; `--train-pages` — ещё и train. + страницах, не больше `E2E_MAX` (400) на трекер; `--train-pages` — ещё и train; + основная модель — `E2E_MODEL` (по умолчанию `models/best`), например + `set E2E_MODEL=models/runs/<запуск>` перед запуском, чтобы сравнить кандидата. * Нарезка ВНУТРИ строки («Дублированный, многоголосый») в данных не размечена (91 группа из 6735) — остаётся на правилах `_split_entries`, но только на строках, выбранных моделью. diff --git a/docs/collecting.md b/docs/collecting.md index 910a926..b1ee0a2 100644 --- a/docs/collecting.md +++ b/docs/collecting.md @@ -163,6 +163,11 @@ id разных трекеров не пересекались. Коллизий студия. +6 428 строк в 2 862 релизах (kinozal 3 444, nnm 1 609, rutracker 1 375). Аудит, откуда взялась доработка: `reports/tracks_audit.md`. +Повторить аудит дорожек по `data/raw` (сколько студий из кодек-строк, «Перевод:» +и заголовков не попало в метки, мусор в колонке студий, форматы, которые не ловят регулярки): +`.venv\Scripts\python tools\audit_tracks.py` → `reports/tracks_audit_numbers.md` +(`--cache путь.pkl` ускоряет повторный запуск). Выводы и план — `reports/tracks_audit.md`. + Сборщик делает это при переиндексации. Для уже собранного `labels.csv` без пересборки страниц: `.venv\Scripts\python tools\relabel_studios.py` (копия — `data/labels.bak_relabel_*.csv`; `--dry-run` — только статистика; повторный запуск ничего не добавляет). diff --git a/docs/dataset.md b/docs/dataset.md index 48e89de..41b7c45 100644 --- a/docs/dataset.md +++ b/docs/dataset.md @@ -10,7 +10,7 @@ регулярками** — модель учится воспроизводить эту разметку и обобщать её на новые формулировки. -Размер (на момент последней сборки): ~41 тыс. строк из ~28 тыс. релизов, 3 источника +Размер (снимок 02.11.2026): 55 324 строки из 27 900 релизов, 3 источника (rutracker, nnm, kinozal); HTML-дамп страниц — `data/raw` (~32 тыс. файлов, ≈2.6 ГБ, в git не хранится), разобранные тексты — `data/pages`. Точные числа показывает «Статистика датасета» в `tools/collect.py` (пункт 3) и отчёт `reports/data_audit.md` после `prepare_data`. @@ -29,6 +29,8 @@ | `studio` | автор («(не указана)» если нет) | **метка 2** (спан в тексте) | | `age_18`, `note` | флаг/пометка 18+ | **метка 3** | | `role_raw` | скобочная часть / конкретный тип из перечисления | вход для nnm tech-строк | +| `studio_source` | откуда взята строка: `release` / `tech` (описание релиза / техданные, в т.ч. nnm «Перевод:»), `codec` (кодек-строка «Аудио N: … (MVO, LostFilm)»), `title` (заголовок kinozal), `audio` (только строка «Аудио»), `manual` (ручная разметка) | не используется; `codec` не попадает в словарь студий `codec_line_rows` | +| `audio_raw` | кодек-строка той же дорожки целиком | разметка строк для сегментатора | | остальные (`ru_title`, `codec`, …) | контекст релиза | не используются | ## Форматы входа по источникам diff --git a/docs/plan.md b/docs/plan.md index 607cfe6..ad778ee 100644 --- a/docs/plan.md +++ b/docs/plan.md @@ -71,6 +71,7 @@ | 6 tiny2 + int8 | сделано: 29.3 МБ, parity 99.8% тип / 99.2% спан / 100% 18+ (`reports/onnx_parity_tiny2_int8.md`) | | 7 тесты | `run_tests.py`: 57 ok (URL allowlist/SSRF, декодирование, заглушки Cloudflare/логина, title, слияние, агрегат) | | 8 `target/` | сделано | +| 10 аудит дорожек | сделано 02.11.2026: `tools/audit_tracks.py` → `reports/tracks_audit.md` (план из 5 пунктов). Пункт 1 — студии из кодек-строк в разметке (`codec_line_rows`, +6 428 строк); модель переобучена: test joint exact 0.891 → 0.906, e2e P/R kinozal 0.745/0.850 → 0.766/0.879, rutracker 0.866/0.859 → 0.877/0.870, nnm 0.845/0.829 → 0.838/0.825. Пункты 2–5 и сегментатор на новой разметке — открыты | ## Открытые вопросы diff --git a/docs/training-windows.md b/docs/training-windows.md index 20ecc9a..70111c2 100644 --- a/docs/training-windows.md +++ b/docs/training-windows.md @@ -84,6 +84,14 @@ copy /Y <путь>\labels.csv data\labels.csv .venv\Scripts\python -m src.train ``` +Если поменялась только логика разметки студий (без перекачки страниц), сначала +`.venv\Scripts\python tools\relabel_studios.py` (см. `docs/collecting.md`), затем +`prepare_data` и обучение. Кандидата из `models/runs/` перед заменой `models/best` +сравнить: `python -m src.runs --out runs.json --dirs models/best models/runs/<запуск>` (test-сплит) и +`E2E_MODEL=models/runs/<запуск>` + `tests/e2e_segmenter.py` (релизы). Поставить — +меню `tools/collect.py`, пункт 7, или `src.runs.promote`; для Docker затем +`python tools/pack_models.py --stage docker-models`. + ## Troubleshooting | Симптом | Причина | Решение |