feature(lookup): подключить каталог РГБ как первый источник - #6
Open
gman-dev-nov wants to merge 9 commits into
Open
feature(lookup): подключить каталог РГБ как первый источник#6gman-dev-nov wants to merge 9 commits into
gman-dev-nov wants to merge 9 commits into
Conversation
Уточнил обработку и выбор результатов DDG для книг Alpina, чтобы бот стабильнее восстанавливал корректные название, автора и другие метаданные в сценариях, где прежний fallback часто возвращал неполные или неточные данные. Коммит собирает исходное улучшение и последующий lint-fix в один логический bugfix, чтобы история ветки отражала единственную пользовательскую проблему: слабое извлечение метаданных Alpina через DDG.
Добавил дополнительный путь поиска книги через Yandex и Playwright для ISBN, которые не находятся в основных источниках. Это закрывает сценарии, где обычный lookup возвращает пустой результат, хотя книга существует в открытых каталогах или поисковой выдаче. Если автоматический поиск не находит книгу, бот теперь просит у пользователя короткую текстовую подсказку и повторяет поиск с контекстом. Такой flow снижает число тупиковых добавлений, делает поведение бота понятнее и помогает восстановить метаданные без ручного заполнения всей карточки.
Добавил полноценный экран проверки OCR-черновика после сканирования обложки и титульного листа. Пользователь может уточнить ISBN, автора и название до сохранения, а бот показывает промежуточную карточку книги вместо немедленного перехода к сохранению или поиску. Это уменьшает число ошибок после OCR, делает сценарий добавления книги управляемым и готовит данные к дальнейшему обогащению метаданными только после того, как пользователь подтвердил базовые поля.
…авок Разделил подтверждение OCR-черновика на два осознанных действия: мгновенное добавление книги по подтвержденным данным и отдельный поиск внешних метаданных. Это ускоряет быстрый сценарий добавления и убирает лишние внешние запросы, когда OCR уже дал достаточно точный результат. Также добавил повторный lookup из preview перед сохранением книги. Данные провайдера теперь только дополняют карточку и не перетирают вручную подтвержденные ISBN, автора и название, поэтому пользователь не теряет свои исправления после OCR.
Добавил в MEMORY.md рабочие договоренности по разнесению больших наборов изменений на тематические ветки, атомарности коммитов и формату commit message. Это нужно, чтобы новые правила не остались только в обсуждении и использовались как постоянная часть проектной памяти. Отдельно зафиксировал ожидание к body коммита и PR: человеческое объяснение того, что изменилось, какую проблему это решает и зачем выбран именно такой способ реализации.
Усилил общий парсер поисковой выдачи и Yandex fallback для кейсов, где книга видна человеку в поиске, но бот теряет автора или возвращает усеченное название. Добавлен разбор формата 'Автор: Название', более аккуратный выбор полного title вместо обрезанных вариантов и добор метаданных с верхних внешних страниц выдачи. Это нужно для проблемных ISBN вроде 9785002143382, где поисковик уже показывает релевантную книгу, но прежние эвристики отдавали неполные или шумные данные. В коммит также входят регрессионные тесты и отладочный Playwright-скрипт для живой проверки Yandex path.
Добавил новый Playwright fallback по книжным сайтам для ISBN, которые не удается стабильно добрать через каталоги и поисковики. Новый слой идет напрямую в LiveLib, MyBook и Labirint, пытается вытащить структурированные title, author и ссылку на карточку книги, а затем подключается в lookup-цепочку до DuckDuckGo. Это нужно как последний шанс для кейсов, где книга существует на книжных сайтах и находится человеком вручную, но обычные провайдеры не возвращают понятный результат. Для текущих проблемных ISBN живой прогон уже дает корректную карточку через MyBook или Labirint, а в тестах зафиксирован порядок fallback и разбор HTML этих сайтов.
Файл .bot.pid — это рантайм-артефакт скрипта запуска бота (хранит PID процесса для останова). Он постоянно мелькает в git status и не должен попадать в индекс.
Добавляет провайдер home_library/providers/rsl_rkp.py, который ходит в каталог Российской государственной библиотеки (search.rsl.ru, бывшая РКП) через bootstrap-GET за CSRF-токеном и POST к /site/ajax-search?language=ru. Ответ — JSON с TotalHits и HTML-фрагментом карточек в поле content; парсер извлекает data-id и описание ГОСТ 7.1, превращая его в BookRecord. В реальной выборке из 10 ISBN ру-сегмента РГБ покрывает 7/10 — больше, чем любой одиночный коммерческий каталог. Поэтому в home_library/providers/lookup.py РГБ ставится первым в основной гонке (Лабиринт/Piter/Google Books/Yandex остаются на месте). Поведение управляется флагом RSL_RKP_ENABLED. По умолчанию провайдер включён и не требует Playwright/Chromium. RSL_RKP_ENABLED=0 мгновенно возвращает None без сетевых запросов. Реализация по TDD: парсер ГОСТ-описания, парсер content HTML, интеграция fetch_from_rsl_rkp через httpx.MockTransport (bootstrap CSRF, happy path, TotalHits=0, сетевой сбой, отсутствующий CSRF) и тест приоритета в lookup chain.
|
You have reached your Codex usage limits for code reviews. You can see your limits in the Codex usage dashboard. |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Summary
home_library/providers/rsl_rkp.pyходит в каталог РГБ (search.rsl.ru, бывшая РКП) через bootstrap-GET за CSRF и POST к/site/ajax-search?language=ru. Парсер тянетdata-idкарточек и описание ГОСТ 7.1 →BookRecord.lookup.fetch_book_by_isbn.RSL_RKP_ENABLED=0без сетевых вызовов.Test plan
tests/test_home_library_providers.py::TestRslBibParser— 5 кейсов парсера ГОСТ-описанияTestRslContentParser— фикстурыrsl_search_{found,notfound}.jsonTestFetchFromRslRkp— happy path, TotalHits=0, network error, отсутствующий CSRF, env=0fetch_book_by_isbnБенчмарк (на bench/integration)
РГБ: hit 91% / avg 1.0с / conf 0.93 / publisher 8/11, topics 10/11.
🤖 Generated with Claude Code