kinozal: догрузка вкладки «Релиз» по URL; кодек-строки «Аудио N» как источник студий
На kinozal во встроенном #tabs только «Техданные» («Перевод:» без студий), а строки «Аудио N: … (MVO, LostFilm)» лежат во вкладке «Релиз», которую страница грузит JS. Поэтому по URL определялись только типы без студий. * fetch: для kinozal скачиваются вкладки showtab(id,N) (get_srv_details.php?id=…&pagesd=N, кроме «Техданных» и «Скриншотов») и дописываются в #tabs; недоступная вкладка пропускается. * release: кодек-строки с типом озвучки берутся правилом codec_segments (сегментатор их отбрасывает — в разметке rutracker это не raw) и идут второстепенным источником (source=codec / page+codec): только дорожки со студией, дубли студии (same_studio) пропускаются, студия вписывается в дорожку того же типа без студии. «English Dubbing» и т.п. не берутся. * merge_title_tracks переведён на общий merge_extra_tracks. e2e test rutracker без изменений (P 0.988 / R 0.982); train-страницы P 0.975 -> 0.951. Тесты: 77 ok. Co-Authored-By: Claude Opus 5.5 <[email protected]>
This commit is contained in:
1 parent
6a87bc993c
commit
1f9ee46a0d
4 files changed
+177
-31
No files matched your search
+73
-11
@@ -6,12 +6,19 @@
|
||||
Публичный API:
|
||||
detect_tracker(url) — 'rutracker' | 'kinozal' | 'nnm' | ValueError
|
||||
fetch_html(url, ...) — скачать страницу, вернуть (html, tracker)
|
||||
kinozal_tabs(html) — вкладки kinozal, которые грузятся JS (Релиз, …)
|
||||
inline_tabs(html, t) — вписать скачанные вкладки в блок #tabs
|
||||
decode_bytes(data) — байты -> текст (utf-8 -> cp1251, чинит «двойную»)
|
||||
|
||||
kinozal отдаёт описание только авторизованным пользователям, поэтому для него
|
||||
передавайте cookie (`cookie="uid=...; pass=..."`) либо скачивайте страницу сами
|
||||
(grabber уже умеет) и отдавайте сервису готовый `html`.
|
||||
|
||||
На kinozal во встроенном блоке #tabs только «Техданные» (там «Перевод:» без
|
||||
студий), а «Релиз» со строками «Аудио N: … (MVO, LostFilm)» грузится JS:
|
||||
`showtab(id, N)` -> `get_srv_details.php?id=…&pagesd=N`. fetch_html скачивает
|
||||
эти вкладки и дописывает их в #tabs, чтобы описание разбиралось целиком.
|
||||
|
||||
Cloudflare / защита от ботов: если задан FlareSolverr (ваш собственный
|
||||
экземпляр, как у Jackett/Prowlarr) — `flaresolverr="http://host:8191"` или
|
||||
переменная окружения DUB_FLARESOLVERR_URL, — то при ответе 403/503 или
|
||||
@@ -23,10 +30,13 @@ from __future__ import annotations
|
||||
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from urllib.parse import urlparse
|
||||
|
||||
from bs4 import BeautifulSoup
|
||||
|
||||
from .html_extract import _fix_mojibake
|
||||
|
||||
TRACKER_HOSTS = {
|
||||
@@ -121,32 +131,84 @@ def _fetch_flaresolverr(endpoint: str, url: str, timeout: float,
|
||||
return data["solution"]["response"]
|
||||
|
||||
|
||||
def fetch_html(url: str, *, timeout: float = 15.0, cookie: str | None = None,
|
||||
flaresolverr: str | None = None) -> tuple[str, str]:
|
||||
"""Скачивает страницу релиза. Возвращает (html, tracker).
|
||||
|
||||
Сначала прямой запрос; при 403/503 или странице-заглушке и заданном
|
||||
FlareSolverr — повтор через него.
|
||||
"""
|
||||
tracker = detect_tracker(url)
|
||||
flaresolverr = flaresolverr or os.environ.get("DUB_FLARESOLVERR_URL") or None
|
||||
html, direct_error = None, None
|
||||
def _get(url: str, timeout: float, cookie: str | None,
|
||||
flaresolverr: str | None) -> str:
|
||||
"""Прямой запрос; при 403/503 или странице-заглушке — через FlareSolverr."""
|
||||
html = None
|
||||
try:
|
||||
html = _fetch_direct(url, timeout, cookie)
|
||||
except urllib.error.HTTPError as e:
|
||||
if e.code not in RETRY_CODES or not flaresolverr:
|
||||
raise
|
||||
direct_error = e
|
||||
if html is not None and blocked_reason(html) and flaresolverr:
|
||||
html = None
|
||||
if html is None:
|
||||
if not flaresolverr:
|
||||
raise ValueError("страница недоступна")
|
||||
html = _fetch_flaresolverr(flaresolverr, url, timeout, cookie)
|
||||
return html
|
||||
|
||||
|
||||
# «showtab(2155882,0)»; 100 — «Техданные», они уже встроены в страницу
|
||||
RE_KZ_TAB = re.compile(r"showtab\((\d+)\s*,\s*(\d+)\)[^>]*>([^<]*)<")
|
||||
KZ_INLINE_TAB = 100
|
||||
KZ_SKIP_TABS = ("скриншот",)
|
||||
|
||||
|
||||
def kinozal_tabs(html: str) -> list[tuple[str, int, str]]:
|
||||
"""Вкладки описания kinozal, которые грузятся JS: [(id, N, название)]."""
|
||||
out, seen = [], set()
|
||||
for rid, n, label in RE_KZ_TAB.findall(html):
|
||||
n = int(n)
|
||||
if n == KZ_INLINE_TAB or n in seen or label.strip().lower().startswith(KZ_SKIP_TABS):
|
||||
continue
|
||||
seen.add(n)
|
||||
out.append((rid, n, label.strip()))
|
||||
return out
|
||||
|
||||
|
||||
def inline_tabs(html: str, tabs: list[tuple[str, str]]) -> str:
|
||||
"""Дописывает фрагменты вкладок [(название, html)] в конец блока #tabs."""
|
||||
soup = BeautifulSoup(html, "lxml")
|
||||
node = soup.select_one("#tabs")
|
||||
if node is None or not tabs:
|
||||
return html
|
||||
for label, fragment in tabs:
|
||||
box = soup.new_tag("div", attrs={"class": "dub-tab", "data-tab": label})
|
||||
frag = BeautifulSoup(fragment, "lxml")
|
||||
for child in list((frag.body or frag).contents):
|
||||
box.append(child)
|
||||
node.append(box)
|
||||
return str(soup)
|
||||
|
||||
|
||||
def fetch_html(url: str, *, timeout: float = 15.0, cookie: str | None = None,
|
||||
flaresolverr: str | None = None) -> tuple[str, str]:
|
||||
"""Скачивает страницу релиза. Возвращает (html, tracker).
|
||||
|
||||
Сначала прямой запрос; при 403/503 или странице-заглушке и заданном
|
||||
FlareSolverr — повтор через него. Для kinozal дополнительно скачиваются
|
||||
вкладки описания («Релиз», «Внимание»); недоступная вкладка пропускается.
|
||||
"""
|
||||
tracker = detect_tracker(url)
|
||||
flaresolverr = flaresolverr or os.environ.get("DUB_FLARESOLVERR_URL") or None
|
||||
html = _get(url, timeout, cookie, flaresolverr)
|
||||
reason = blocked_reason(html)
|
||||
if reason:
|
||||
hint = "" if flaresolverr else " (задайте FlareSolverr: DUB_FLARESOLVERR_URL)"
|
||||
raise ValueError(f"страница недоступна: {reason}{hint}")
|
||||
if tracker == "kinozal":
|
||||
parsed = urlparse(url)
|
||||
tabs = []
|
||||
for rid, n, label in kinozal_tabs(html):
|
||||
tab_url = f"{parsed.scheme}://{parsed.netloc}/get_srv_details.php?id={rid}&pagesd={n}"
|
||||
try:
|
||||
frag = _get(tab_url, timeout, cookie, flaresolverr)
|
||||
except (urllib.error.URLError, ValueError, OSError):
|
||||
continue
|
||||
if not blocked_reason(frag):
|
||||
tabs.append((label, frag))
|
||||
html = inline_tabs(html, tabs)
|
||||
return html, tracker
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user