DenozordecandClaude Sonnet 5.5
e6705c2b7b
docker / build (push) Successful in 1m42s
Переобучен после исправления парсера меток (rt_parse): раздачи rutracker с пустым «Перевод:» и списком дорожек ниже получили метки, в том числе вручную добавленные 6919056 и 6927571. Строки такого списка у нового сегментатора 0.94–1.00 (у прежнего 0.004–0.12); на 6919056 пайплайн с реальными весами даёт segmenter=model, 4 дорожки, без segmenter_warning. - docker-models/models/segmenter: новые веса (Git LFS) - data: labels.csv, manual_ids.txt, meta.csv; reports/data_audit.md - tests: 286 ok Co-Authored-By: Claude Sonnet 5.5 <[email protected]>
6.3 KiB
6.3 KiB
Аудит датасета: data/labels.csv
строк в CSV: 56131 строк после подготовки: 46894 (train 42458 / test 4436) источники: {'kinozal': 13963, 'rutracker': 16647, 'nnm': 16284} уникальных нормализованных текстов: 25614 групп (релиз ∪ одинаковый текст): 7472 удалено: пустой текст 0, мусорный studio 156, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 85 (групп-противоречий: 75), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 18277 спан автора найден: 38583 (82.3%), не найден: 277 аугментировано морфологических вариантов: 9083 дорожек 18+: 1006 (из них без упоминания «18» в тексте: 19) язык размечен: 26084 из 46894; со строкой «Аудио» во входе: 20037; классы: {'RUS': 24483, 'UKR': 1548, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 6, 'FRA': 16, 'CHI': 4, 'KAZ': 12, 'GEO': 1, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}
Распределение translation_type
- проф. многоголосый: 13192
- проф. дубляж: 12242
- авт. одноголосый: 5782
- неизвестно: 4215
- одноголосый: 2817
- проф. двухголосый: 2716
- люб. многоголосый: 1879
- многоголосый: 1346
- люб. двухголосый: 772
- люб. одноголосый: 711
- двухголосый: 456
- люб. дубляж: 408
- проф. одноголосый: 354
- авт. двухголосый: 2
- авт. многоголосый: 2
Примеры противоречий (один текст — разные типы)
- nnm:nnm-1104137 «ac-3, 48.0 khz, 1 ch, 192 kbps, cbr (русский, проф. многогол» -> ['многоголосый', 'проф. многоголосый']
- nnm:nnm-1116916 «ac3, 2 ch, 192 kbps, 48,0 khz (русский - двухголосый ''видео» -> ['двухголосый', 'проф. двухголосый']
- nnm:nnm-1116916 «dts, 2 ch, 768 kbps, 48,0 khz (русский - авторский ''андрей » -> ['авт. одноголосый', 'неизвестно']
- nnm:nnm-1129736 «ac3, 48 khz, ~192 kbps, 2ch, русский (любительский, многогол» -> ['люб. многоголосый', 'проф. многоголосый']
- nnm:nnm-1129736 «ac3, 48 khz, ~192 kbps, 2ch, русский (любительский, двухголо» -> ['люб. двухголосый', 'проф. двухголосый']
- nnm:nnm-1129736 «ac3, 48 khz, ~192 kbps, 2ch, русский (любительский, двухголо» -> ['люб. двухголосый', 'проф. двухголосый']
- nnm:nnm-1129736 «ac3, 48 khz, ~192 kbps, 2ch, русский (любительский, одноголо» -> ['люб. одноголосый', 'одноголосый']
- nnm:nnm-1131052 «ac3, 2 ch, 192 kbps (русский - авторский ''юрий живов'') [ru» -> ['авт. одноголосый', 'неизвестно']
- nnm:nnm-1131273 «ac3, 2 ch, 192 kbps (русский - авторский ''юрий живов'') - о» -> ['авт. одноголосый', 'неизвестно']
- nnm:nnm-1141333 «ac3, 2 ch, 192 kbps (русский - авторский ''андрей гаврилов''» -> ['авт. одноголосый', 'неизвестно']
Спан не найден (примеры)
- [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
- [rutracker] studio=«datynet и Yuka_chan; :Куценко» text=«Любительский (двухголосый закадровый) datynet и Yuka_chan; перевод:Куц»
- [rutracker] studio=«Дубляж, Blu-ray CEE_ 2009г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[МОСФИЛЬМ]_2009г»
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Ист-Вест *» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
- [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
- [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Украинский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/»
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Киномания» text=«Русский (Профессиональный (многоголосый)), AC3, 6ch (L, C, R, Ls, Rs +»
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
- [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
- [rutracker] studio=«Дубляж, Blu-ray CEE_ 2007г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[Невафильм]_2007»
- [rutracker] studio=«Дубляж, Blu-ray CEE_ 2004г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[Невафильм]_2004»