Датасет и обучение: класс «люб. дубляж», раскладка многотиповых строк, язык из «Аудио», строки из «Аудио», потолок повторов, веса классов

- harvest_core: дубляж — тип, а не часть имени студии; split_multi_rows; audio_only_rows; kinozal сопоставляет все аудиодорожки
- prepare_data: --max-dup, отсев остатков многотиповых строк
- train: веса классов (корень из обратной частоты, потолок 4), --no-class-weights
- исправлены регулярки с \b, записанные как символ BS (predict.py, audio18.py)
- PARSE_VERSION 3: кэш разбора сбрасывается
- docs/dataset.md, docs/api-reference.md обновлены

Co-Authored-By: Claude Sonnet 5.5 <[email protected]>

tests/run_tests.py

@@ -855,6 +855,38 @@ check("prepare_data: вход модели несёт строку «Аудио
       and all(r["text"][r["span"][0]:r["span"][1]].startswith("Студия") for r in _ds if r["span"]))
 check("prepare_data: у редкого языка метка пустая", [r["lang"] for r in _ds if r["release_id"] == "p1"] == [None])
 
+print("== метки: тип, раскладка, строки из «Аудио», веса классов ==")
+import harvest_core as _hc2  # noqa: E402
+_tt = _hc2.translation_type
+check("тип: любительский дубляж — отдельный класс", _tt("Любительский (дублированный) Red Head Sound")[0] == "люб. дубляж")
+check("тип: псевдодубляж -> люб. дубляж", _tt("Любительский (псевдодублированный)")[0] == "люб. дубляж")
+check("тип: обычный дубляж остаётся проф.", _tt("Профессиональный (дублированный) Продубляж")[0] == "проф. дубляж")
+check("тип: «Дубляжная» — имя студии, а не дубляж",
+      _tt("Любительский (многоголосый закадровый) Дубляжная")[0] == "люб. многоголосый")
+check("тип: слово «дубляж» отдельно — дубляж", _tt("Дубляж, HDRezka")[0] == "проф. дубляж")
+_base = {"source": "kinozal", "release_id": "1", "ru_title": "x", "year": "", "is_series": False, "studio": "(не указана)",
+         "translation_type": "проф. многоголосый", "professional": "проф.", "role_raw": "", "age_18": 0,
+         "studio_source": "release", "note": ""}
+_sp = _hc2.split_multi_rows([{**_base, "raw": "Перевод: Профессиональный (двухголосый закадровый), авторский (одноголосый закадровый)"}])
+check("раскладка: две дорожки из одной строки", [r["translation_type"] for r in _sp] == ["проф. двухголосый", "авт. одноголосый"],
+      str([(r["translation_type"], r["raw"]) for r in _sp]))
+_one = _hc2.split_multi_rows([{**_base, "raw": "Перевод: Многоголосый, профессиональный - LostFilm"}])
+check("раскладка: одна дорожка не режется", len(_one) == 1, str(len(_one)))
+_tech = _hc2.split_multi_rows([{**_base, "studio_source": "tech", "role_raw": "Многоголосый", "raw": "Перевод: A, B"}])
+check("раскладка: nnm tech-строка не режется", len(_tech) == 1)
+_ao = _hc2.audio_only_rows({"id": "2"}, (
+    "Аудио 1: Russian E-AC3 / 5.1 / 48 kHz / 768 kbps |MVO, AlexFilm|\n"
+    "Аудио 2: Ukrainian E-AC3 / 5.1 / 48 kHz / 256 kbps |Дубляж, Le Doyen|\n"
+    "Аудио 3: Russian DTS, 3/2 (L,C,R,l,r) + LFE ch, 640 kbps |Дубляж, Blu-ray CEE|\n"
+    "Аудио 4: English E-AC3 / 5.1 / 48 kHz / 768 kbps |Original|\n"),
+    [{**_base, "studio": "AlexFilm", "raw": "Профессиональный (многоголосый закадровый) AlexFilm"}])
+check("строки из «Аудио»: украинский дубляж добавлен, оригинал/источник/уже известные — нет",
+      [(r["studio"], r["lang"], r["translation_type"]) for r in _ao] == [("Le Doyen", "UKR", "проф. дубляж")],
+      str([(r["studio"], r["lang"], r["translation_type"]) for r in _ao]))
+from src.train import class_weights  # noqa: E402
+_cw = class_weights([{"translation_type": t} for t in ["a"] * 1000 + ["b"] * 100 + ["c"] * 4], {"a": 0, "b": 1, "c": 2})
+check("веса классов: редкие тяжелее, потолок 4", _cw[0] < _cw[1] < _cw[2] <= 4.0, str(_cw))
+
 print("== зависания сбора ==")
 import json as _js5, threading as _th5, time as _tm5  # noqa: E402