docker / build (push) Failing after 39s
- Docker: Dockerfile (CPU), compose с FlareSolverr, настройка через DUB_* переменные, токен доступа к /predict, tools/pack_models.py, workflow Gitea Actions, docs/docker.md - Модель грузится офлайн (config.json рядом с весами); общий код вынесен в src/spans.py, сервису не нужны sklearn/matplotlib/pandas - Обучение: профили tiny2/base/large/modern, запуски в models/runs, реестр и честное сравнение на одной тестовой выборке (src/runs.py), пункт меню «Модели» - Датасет: язык и аудио-параметры дорожек, 18+ по строкам «Аудио», ручные метки по ссылкам, переиндексация сохранённого HTML, параллельная сборка, сбалансированная выборка - Тексты страниц (data/pages) больше не хранятся в git Co-Authored-By: Claude Sonnet 5.5 <[email protected]>
28 lines
1.0 KiB
Python
28 lines
1.0 KiB
Python
"""Релизы, добавленные вручную по ссылке (tools/collect.py → «Обучение по ссылкам»).
|
|
|
|
Их id лежат в data/manual_ids.txt. Такие релизы всегда идут в train
|
|
(разбиение по хешу могло бы увести их в тест) и повторяются при обучении
|
|
несколько раз: одна страница среди тысяч иначе ничего не меняет.
|
|
"""
|
|
|
|
from __future__ import annotations
|
|
|
|
from pathlib import Path
|
|
|
|
MANUAL_FILE = Path("data/manual_ids.txt")
|
|
REPEAT = 5 # во сколько раз усиливаются строки ручных релизов
|
|
|
|
|
|
_cache: dict = {}
|
|
|
|
|
|
def manual_ids(path: Path | None = None) -> set[str]:
|
|
p = path or MANUAL_FILE
|
|
try:
|
|
stamp = p.stat().st_mtime_ns
|
|
except OSError:
|
|
return set()
|
|
if _cache.get(str(p), (None,))[0] != stamp:
|
|
_cache[str(p)] = (stamp, set(p.read_text(encoding="utf-8").split()))
|
|
return _cache[str(p)][1]
|