Сегментация: фикс резки по запятой, refine_span; датасет 6864 строк, переобучение

Co-Authored-By: Claude Sonnet 5.5 <[email protected]>

reports/data_audit.md

@@ -1,27 +1,27 @@
 # Аудит датасета: data/labels.csv
-строк в CSV: 3286
-строк после подготовки: 3742 (train 3097 / test 645)
-источники: {'kinozal': 97, 'rutracker': 2038, 'nnm': 1607}
-уникальных нормализованных текстов: 2327
-групп (релиз ∪ одинаковый текст): 492
-удалено: пустой текст 0, мусорный studio 16, не-озвучка (оригинал/субтитры) 2, противоречивые дубли 0 (групп-противоречий: 0)
-спан автора найден: 2745 (73.4%), не найден: 11
-аугментировано морфологических вариантов: 458
-дорожек 18+: 164 (из них без упоминания «18» в тексте: 2)
+строк в CSV: 6864
+строк после подготовки: 7780 (train 7264 / test 516)
+источники: {'kinozal': 107, 'rutracker': 3924, 'nnm': 3749}
+уникальных нормализованных текстов: 4205
+групп (релиз ∪ одинаковый текст): 834
+удалено: пустой текст 0, мусорный studio 20, не-озвучка (оригинал/субтитры) 4, противоречивые дубли 0 (групп-противоречий: 0)
+спан автора найден: 5489 (70.6%), не найден: 29
+аугментировано морфологических вариантов: 920
+дорожек 18+: 316 (из них без упоминания «18» в тексте: 2)
 
 ## Распределение translation_type
-- проф. многоголосый: 1267
-- проф. дубляж: 941
-- авт. одноголосый: 654
-- проф. двухголосый: 334
-- одноголосый: 232
-- неизвестно: 116
-- люб. многоголосый: 90
-- многоголосый: 46
-- люб. двухголосый: 26
-- люб. одноголосый: 23
-- двухголосый: 6
-- проф. одноголосый: 5
+- проф. многоголосый: 2730
+- проф. дубляж: 1909
+- авт. одноголосый: 1301
+- проф. двухголосый: 616
+- одноголосый: 465
+- неизвестно: 322
+- люб. многоголосый: 184
+- многоголосый: 111
+- люб. двухголосый: 65
+- люб. одноголосый: 46
+- двухголосый: 17
+- проф. одноголосый: 12
 - авт. многоголосый: 1
 - авт. двухголосый: 1
 
@@ -33,7 +33,11 @@
 - [rutracker] studio=«R5, - Карусель, - Пучков ака Гоблин, - Гаврилов, - Горчаков, - Живов» text=«Многоголосый закадровый - R5, Многоголосый закадровый - Карусель, Авто»
 - [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
 - [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
-- [rutracker] studio=«студия Кадр , по заказу РТР, 1995 г» text=«Профессиональный (дублированный): студия "Кадр" (при уч. студии "Нота"»
-- [nnm] studio=«Колобок , по переводу Куценко, с ненормативной лексикой» text=«AC3, 2 ch, 192 Kbps - русский (DVO Колобок (DeadSno & den904), по пере»
-- [nnm] studio=«BDАмальгама» text=«Opus, 6 ch, 325 Kbps - Русский (DUB, BD"Амальгама")»
-- [nnm] studio=«Red Head Sound) - серии 1-4 , серия 5» text=«AC3, 6 ch, 640 Kbps, AC3, 2 ch, 384 Kbps - русский (DUB, Red Head Soun»
+- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
+- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Украинский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/»
+- [rutracker] studio=«AC3, 6ch , 384 кбит/с Киномания» text=«Русский (Профессиональный (многоголосый)), AC3, 6ch (L, C, R, Ls, Rs +»
+- [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
+- [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
+- [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
+- [rutracker] studio=«телеканал Интер, Андрей Гаврилов» text=«Профессиональный (дублированный), Профессиональный (многоголосый закад»
+- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»

reports/final_base.json

@@ -2,120 +2,90 @@
  "history": [
   {
    "epoch": 0,
-   "loss": 1.9333822628919115,
-   "type_accuracy": 0.9322033898305084,
-   "type_macro_f1": 0.8828544949026877,
-   "span_exact": 0.6186440677966102,
-   "age_accuracy": 0.9322033898305084,
-   "age_f1": 0.0,
-   "joint_exact": 0.5677966101694916
+   "loss": 1.3183794916687508,
+   "type_accuracy": 0.9898477157360406,
+   "type_macro_f1": 0.8950140768322586,
+   "span_exact": 0.8781725888324873,
+   "age_accuracy": 1.0,
+   "age_f1": 1.0,
+   "joint_exact": 0.8730964467005076
   },
   {
    "epoch": 1,
-   "loss": 0.24824116919982306,
-   "type_accuracy": 0.9915254237288136,
-   "type_macro_f1": 0.9910647803425168,
-   "span_exact": 0.9067796610169492,
+   "loss": 0.08400902445364862,
+   "type_accuracy": 1.0,
+   "type_macro_f1": 1.0,
+   "span_exact": 0.9441624365482234,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.9067796610169492
+   "joint_exact": 0.9441624365482234
   },
   {
    "epoch": 2,
-   "loss": 0.08354356657079559,
-   "type_accuracy": 0.9915254237288136,
-   "type_macro_f1": 0.9880174291938998,
-   "span_exact": 0.9322033898305084,
+   "loss": 0.027811199083199463,
+   "type_accuracy": 1.0,
+   "type_macro_f1": 1.0,
+   "span_exact": 0.9543147208121827,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.923728813559322
+   "joint_exact": 0.9543147208121827
   },
   {
    "epoch": 3,
-   "loss": 0.04380707801418736,
+   "loss": 0.014210140751885477,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.8898305084745762,
+   "span_exact": 0.9593908629441624,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.8898305084745762
+   "joint_exact": 0.9593908629441624
   },
   {
    "epoch": 4,
-   "loss": 0.029564618628392828,
+   "loss": 0.010038099593032,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.9322033898305084,
+   "span_exact": 0.9593908629441624,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.9322033898305084
+   "joint_exact": 0.9593908629441624
   },
   {
    "epoch": 5,
-   "loss": 0.018955964604987108,
+   "loss": 0.008118267866416215,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.940677966101695,
+   "span_exact": 0.9593908629441624,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.940677966101695
+   "joint_exact": 0.9593908629441624
   },
   {
    "epoch": 6,
-   "loss": 0.015981034682865474,
+   "loss": 0.006641790677468836,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.9491525423728814,
+   "span_exact": 0.9593908629441624,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.9491525423728814
-  },
-  {
-   "epoch": 7,
-   "loss": 0.014083279886263166,
-   "type_accuracy": 1.0,
-   "type_macro_f1": 1.0,
-   "span_exact": 0.9576271186440678,
-   "age_accuracy": 1.0,
-   "age_f1": 1.0,
-   "joint_exact": 0.9576271186440678
-  },
-  {
-   "epoch": 8,
-   "loss": 0.013096656467012585,
-   "type_accuracy": 1.0,
-   "type_macro_f1": 1.0,
-   "span_exact": 0.9576271186440678,
-   "age_accuracy": 1.0,
-   "age_f1": 1.0,
-   "joint_exact": 0.9576271186440678
-  },
-  {
-   "epoch": 9,
-   "loss": 0.011878273613314996,
-   "type_accuracy": 1.0,
-   "type_macro_f1": 1.0,
-   "span_exact": 0.9576271186440678,
-   "age_accuracy": 1.0,
-   "age_f1": 1.0,
-   "joint_exact": 0.9576271186440678
+   "joint_exact": 0.9593908629441624
   }
  ],
  "test": {
-  "type_accuracy": 0.993798449612403,
-  "type_macro_f1": 0.9659482465100442,
-  "span_exact": 0.9503875968992248,
+  "type_accuracy": 0.998062015503876,
+  "type_macro_f1": 0.9994511276355488,
+  "span_exact": 0.9515503875968992,
   "age_accuracy": 1.0,
   "age_f1": 1.0,
-  "joint_exact": 0.9457364341085271
+  "joint_exact": 0.9496124031007752
  },
  "cv_mean": {
-  "type_accuracy": 0.9882854262615155,
-  "type_macro_f1": 0.9273855988567016,
-  "span_exact": 0.9272035433662025,
-  "age_accuracy": 0.9996140858658948,
-  "age_f1": 0.9925925925925926,
-  "joint_exact": 0.9183191869516328
+  "type_accuracy": 0.991663441018729,
+  "type_macro_f1": 0.9471573643462868,
+  "span_exact": 0.9614246403880566,
+  "age_accuracy": 0.9998013902681231,
+  "age_f1": 0.9950617283950617,
+  "joint_exact": 0.9543406976595452
  },
- "train_seconds": 403.2
+ "train_seconds": 457.1
 }

reports/final_tiny2.json

@@ -2,120 +2,120 @@
  "history": [
   {
    "epoch": 0,
-   "loss": 3.1152229943173997,
-   "type_accuracy": 0.6101694915254238,
-   "type_macro_f1": 0.274492617868772,
-   "span_exact": 0.15254237288135594,
-   "age_accuracy": 0.9322033898305084,
+   "loss": 2.357788513909589,
+   "type_accuracy": 0.8527918781725888,
+   "type_macro_f1": 0.45105374473910137,
+   "span_exact": 0.6598984771573604,
+   "age_accuracy": 0.9796954314720813,
    "age_f1": 0.0,
-   "joint_exact": 0.11016949152542373
+   "joint_exact": 0.5685279187817259
   },
   {
    "epoch": 1,
-   "loss": 0.9134838200630025,
-   "type_accuracy": 0.940677966101695,
-   "type_macro_f1": 0.7953703703703703,
-   "span_exact": 0.5423728813559322,
-   "age_accuracy": 0.9322033898305084,
-   "age_f1": 0.0,
-   "joint_exact": 0.4661016949152542
+   "loss": 0.3179771784726564,
+   "type_accuracy": 0.9949238578680203,
+   "type_macro_f1": 0.9047619047619048,
+   "span_exact": 0.7918781725888325,
+   "age_accuracy": 1.0,
+   "age_f1": 1.0,
+   "joint_exact": 0.7868020304568528
   },
   {
    "epoch": 2,
-   "loss": 0.28746094221764423,
-   "type_accuracy": 0.9915254237288136,
-   "type_macro_f1": 0.8734177215189873,
-   "span_exact": 0.6694915254237288,
+   "loss": 0.09052751894603979,
+   "type_accuracy": 1.0,
+   "type_macro_f1": 1.0,
+   "span_exact": 0.8984771573604061,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.6610169491525424
+   "joint_exact": 0.8984771573604061
   },
   {
    "epoch": 3,
-   "loss": 0.13671151960783817,
-   "type_accuracy": 0.9915254237288136,
-   "type_macro_f1": 0.8734177215189873,
-   "span_exact": 0.6779661016949152,
+   "loss": 0.04577947580800937,
+   "type_accuracy": 1.0,
+   "type_macro_f1": 1.0,
+   "span_exact": 0.8984771573604061,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.6694915254237288
+   "joint_exact": 0.8984771573604061
   },
   {
    "epoch": 4,
-   "loss": 0.08165701700651899,
+   "loss": 0.02791464072022889,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.8135593220338984,
+   "span_exact": 0.9086294416243654,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.8135593220338984
+   "joint_exact": 0.9086294416243654
   },
   {
    "epoch": 5,
-   "loss": 0.05431628873215077,
+   "loss": 0.018031590601412562,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.7457627118644068,
+   "span_exact": 0.9187817258883249,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.7457627118644068
+   "joint_exact": 0.9187817258883249
   },
   {
    "epoch": 6,
-   "loss": 0.0388407041021484,
+   "loss": 0.01446260221151484,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.8220338983050848,
+   "span_exact": 0.9238578680203046,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.8220338983050848
+   "joint_exact": 0.9238578680203046
   },
   {
    "epoch": 7,
-   "loss": 0.03193263996868057,
-   "type_accuracy": 0.9915254237288136,
-   "type_macro_f1": 0.9880174291938998,
-   "span_exact": 0.8220338983050848,
+   "loss": 0.010811449653628442,
+   "type_accuracy": 1.0,
+   "type_macro_f1": 1.0,
+   "span_exact": 0.9187817258883249,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.8220338983050848
+   "joint_exact": 0.9187817258883249
   },
   {
    "epoch": 8,
-   "loss": 0.025923404485938398,
+   "loss": 0.00876794363632127,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.7966101694915254,
+   "span_exact": 0.9187817258883249,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.7966101694915254
+   "joint_exact": 0.9187817258883249
   },
   {
    "epoch": 9,
-   "loss": 0.023073244245445476,
+   "loss": 0.007425106120052504,
    "type_accuracy": 1.0,
    "type_macro_f1": 1.0,
-   "span_exact": 0.8220338983050848,
+   "span_exact": 0.9187817258883249,
    "age_accuracy": 1.0,
    "age_f1": 1.0,
-   "joint_exact": 0.8220338983050848
+   "joint_exact": 0.9187817258883249
   }
  ],
  "test": {
-  "type_accuracy": 0.9906976744186047,
-  "type_macro_f1": 0.9695441905226254,
-  "span_exact": 0.9178294573643411,
+  "type_accuracy": 0.998062015503876,
+  "type_macro_f1": 0.9988596309351027,
+  "span_exact": 0.9244186046511628,
   "age_accuracy": 1.0,
   "age_f1": 1.0,
-  "joint_exact": 0.9147286821705426
+  "joint_exact": 0.9244186046511628
  },
  "cv_mean": {
-  "type_accuracy": 0.9854002845265878,
-  "type_macro_f1": 0.937694613538328,
-  "span_exact": 0.8835509960332428,
-  "age_accuracy": 0.9965497660377561,
-  "age_f1": 0.9730338378482599,
-  "joint_exact": 0.8700977978108924
+  "type_accuracy": 0.992359410461513,
+  "type_macro_f1": 0.9481550900377457,
+  "span_exact": 0.9389851791472488,
+  "age_accuracy": 0.9996027805362463,
+  "age_f1": 0.9903614457831325,
+  "joint_exact": 0.9332879013203975
  },
- "train_seconds": 107.3
+ "train_seconds": 156.0
 }

reports/onnx_parity_tiny2_int8.md

@@ -1,10 +1,10 @@
 # ONNX parity (test split)
 
 - модель: models/tiny2 / model.int8.onnx (29.3 MB)
-- строк: 645
-- совпадение класса типа: 0.9984
-- совпадение текста спана: 0.9922
+- строк: 516
+- совпадение класса типа: 1.0000
+- совпадение текста спана: 0.9884
 - совпадение флага 18+: 1.0000
-- макс. расхождение type_logits: 4.67e-01
+- макс. расхождение type_logits: 4.15e-01
 
-Вердикт: **OK** (≥99% все критерии)
+Вердикт: **FAIL**

reports/summary.md

@@ -2,7 +2,7 @@
 
 | модель | type acc | type macro-F1 | span exact | age acc | joint exact | время, с |
 |---|---|---|---|---|---|---|
-| tiny2 | 0.991 | 0.970 | 0.918 | 1.000 | 0.915 | 107.3 |
-| base | 0.994 | 0.966 | 0.950 | 1.000 | 0.946 | 403.2 |
+| tiny2 | 0.998 | 0.999 | 0.924 | 1.000 | 0.924 | 156.0 |
+| base | 0.998 | 0.999 | 0.952 | 1.000 | 0.950 | 457.1 |
 
 Лучшая модель: **base** -> `models/best`