DenozordecandClaude Sonnet 5.5
111e854789
docker / build (push) Successful in 1m49s
Co-Authored-By: Claude Sonnet 5.5 <[email protected]>
45 lines
4.5 KiB
Markdown
45 lines
4.5 KiB
Markdown
# Аудит датасета: data/labels.csv
|
||
строк в CSV: 44677
|
||
строк после подготовки: 35383 (train 31343 / test 4040)
|
||
источники: {'kinozal': 6382, 'rutracker': 14342, 'nnm': 14659}
|
||
уникальных нормализованных текстов: 18870
|
||
групп (релиз ∪ одинаковый текст): 6681
|
||
удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 16950
|
||
спан автора найден: 24004 (67.8%), не найден: 231
|
||
аугментировано морфологических вариантов: 7658
|
||
дорожек 18+: 701 (из них без упоминания «18» в тексте: 8)
|
||
язык размечен: 15282 из 35383; со строкой «Аудио» во входе: 11796; классы: {'RUS': 14673, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}
|
||
|
||
## Распределение translation_type
|
||
- проф. дубляж: 9936
|
||
- проф. многоголосый: 9831
|
||
- авт. одноголосый: 4265
|
||
- неизвестно: 2800
|
||
- проф. двухголосый: 2153
|
||
- одноголосый: 2126
|
||
- люб. многоголосый: 1381
|
||
- многоголосый: 824
|
||
- люб. одноголосый: 646
|
||
- люб. двухголосый: 551
|
||
- люб. дубляж: 380
|
||
- проф. одноголосый: 293
|
||
- двухголосый: 192
|
||
- авт. двухголосый: 3
|
||
- авт. многоголосый: 2
|
||
|
||
## Спан не найден (примеры)
|
||
- [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
|
||
- [rutracker] studio=«datynet и Yuka_chan; :Куценко» text=«Любительский (двухголосый закадровый) datynet и Yuka_chan; перевод:Куц»
|
||
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2009г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[МОСФИЛЬМ]_2009г»
|
||
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Ист-Вест *» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
|
||
- [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
|
||
- [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
|
||
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
|
||
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Украинский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/»
|
||
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Киномания» text=«Русский (Профессиональный (многоголосый)), AC3, 6ch (L, C, R, Ls, Rs +»
|
||
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
|
||
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
|
||
- [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
|
||
- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
|
||
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2007г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[Невафильм]_2007»
|
||
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2004г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[Невафильм]_2004» |