Files
grabber-ai/src/manual.py
T
DenozordecandClaude Sonnet 5.5 efc9a4f56a
docker / build (push) Failing after 39s
Docker-сервис, выбор основы и сравнение моделей, сборщик датасета
- Docker: Dockerfile (CPU), compose с FlareSolverr, настройка через DUB_* переменные,
  токен доступа к /predict, tools/pack_models.py, workflow Gitea Actions, docs/docker.md
- Модель грузится офлайн (config.json рядом с весами); общий код вынесен в src/spans.py,
  сервису не нужны sklearn/matplotlib/pandas
- Обучение: профили tiny2/base/large/modern, запуски в models/runs, реестр и честное
  сравнение на одной тестовой выборке (src/runs.py), пункт меню «Модели»
- Датасет: язык и аудио-параметры дорожек, 18+ по строкам «Аудио», ручные метки по ссылкам,
  переиндексация сохранённого HTML, параллельная сборка, сбалансированная выборка
- Тексты страниц (data/pages) больше не хранятся в git

Co-Authored-By: Claude Sonnet 5.5 <[email protected]>
2026-10-28 17:19:10 +07:00

28 lines
1.0 KiB
Python

"""Релизы, добавленные вручную по ссылке (tools/collect.py → «Обучение по ссылкам»).
Их id лежат в data/manual_ids.txt. Такие релизы всегда идут в train
(разбиение по хешу могло бы увести их в тест) и повторяются при обучении
несколько раз: одна страница среди тысяч иначе ничего не меняет.
"""
from __future__ import annotations
from pathlib import Path
MANUAL_FILE = Path("data/manual_ids.txt")
REPEAT = 5 # во сколько раз усиливаются строки ручных релизов
_cache: dict = {}
def manual_ids(path: Path | None = None) -> set[str]:
p = path or MANUAL_FILE
try:
stamp = p.stat().st_mtime_ns
except OSError:
return set()
if _cache.get(str(p), (None,))[0] != stamp:
_cache[str(p)] = (stamp, set(p.read_text(encoding="utf-8").split()))
return _cache[str(p)][1]