grabber-ai/reports/data_audit.md

Аудит датасета: data/labels.csv

строк в CSV: 48896 строк после подготовки: 39418 (train 34183 / test 5235) источники: {'kinozal': 10412, 'rutracker': 14347, 'nnm': 14659} уникальных нормализованных текстов: 20260 групп (релиз ∪ одинаковый текст): 6947 удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 18196 спан автора найден: 31214 (79.2%), не найден: 237 аугментировано морфологических вариантов: 8720 дорожек 18+: 781 (из них без упоминания «18» в тексте: 8) язык размечен: 19312 из 39418; со строкой «Аудио» во входе: 13140; классы: {'RUS': 18703, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}

Распределение translation_type

• проф. многоголосый: 11399
• проф. дубляж: 10468
• авт. одноголосый: 5409
• неизвестно: 2800
• проф. двухголосый: 2339
• одноголосый: 2126
• люб. многоголосый: 1701
• многоголосый: 824
• люб. двухголосый: 731
• люб. одноголосый: 694
• люб. дубляж: 380
• проф. одноголосый: 350
• двухголосый: 192
• авт. двухголосый: 3
• авт. многоголосый: 2

Спан не найден (примеры)

• [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
• [rutracker] studio=«datynet и Yuka_chan; :Куценко» text=«Любительский (двухголосый закадровый) datynet и Yuka_chan; перевод:Куц»
• [rutracker] studio=«Дубляж, Blu-ray CEE_ 2009г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[МОСФИЛЬМ]_2009г»
• [rutracker] studio=«AC3, 6ch , 448 кбит/с Ист-Вест *» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
• [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
• [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
• [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
• [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Украинский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/»
• [rutracker] studio=«AC3, 6ch , 384 кбит/с Киномания» text=«Русский (Профессиональный (многоголосый)), AC3, 6ch (L, C, R, Ls, Rs +»
• [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
• [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
• [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
• [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
• [rutracker] studio=«Дубляж, Blu-ray CEE_ 2007г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[Невафильм]_2007»
• [rutracker] studio=«Дубляж, Blu-ray CEE_ 2004г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE[Невафильм]_2004»