grabber-ai/reports/data_audit.md

Аудит датасета: data/labels.csv

строк в CSV: 44677 строк после подготовки: 35383 (train 31343 / test 4040) источники: {'kinozal': 6382, 'rutracker': 14342, 'nnm': 14659} уникальных нормализованных текстов: 18870 групп (релиз ∪ одинаковый текст): 6681 удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 16950 спан автора найден: 24004 (67.8%), не найден: 231 аугментировано морфологических вариантов: 7658 дорожек 18+: 701 (из них без упоминания «18» в тексте: 8) язык размечен: 15282 из 35383; со строкой «Аудио» во входе: 11796; классы: {'RUS': 14673, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}

Распределение translation_type

• проф. дубляж: 9936
• проф. многоголосый: 9831
• авт. одноголосый: 4265
• неизвестно: 2800
• проф. двухголосый: 2153
• одноголосый: 2126
• люб. многоголосый: 1381
• многоголосый: 824
• люб. одноголосый: 646
• люб. двухголосый: 551
• люб. дубляж: 380
• проф. одноголосый: 293
• двухголосый: 192
• авт. двухголосый: 3
• авт. многоголосый: 2

Спан не найден (примеры)

• [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
• [rutracker] studio=«datynet и Yuka_chan; :Куценко» text=«Любительский (двухголосый закадровый) datynet и Yuka_chan; перевод:Куц»
• [rutracker] studio=«Дубляж, Blu-ray CEE_ 2009г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[МОСФИЛЬМ]_2009г»
• [rutracker] studio=«AC3, 6ch , 448 кбит/с Ист-Вест *» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
• [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
• [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
• [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
• [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Украинский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/»
• [rutracker] studio=«AC3, 6ch , 384 кбит/с Киномания» text=«Русский (Профессиональный (многоголосый)), AC3, 6ch (L, C, R, Ls, Rs +»
• [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
• [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
• [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
• [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
• [rutracker] studio=«Дубляж, Blu-ray CEE_ 2007г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[Невафильм]_2007»
• [rutracker] studio=«Дубляж, Blu-ray CEE_ 2004г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[Невафильм]_2004»