feature(lookup): добавить confidence threshold и low-confidence routing - #8
Open
gman-dev-nov wants to merge 9 commits into
Open
feature(lookup): добавить confidence threshold и low-confidence routing#8gman-dev-nov wants to merge 9 commits into
gman-dev-nov wants to merge 9 commits into
Conversation
Уточнил обработку и выбор результатов DDG для книг Alpina, чтобы бот стабильнее восстанавливал корректные название, автора и другие метаданные в сценариях, где прежний fallback часто возвращал неполные или неточные данные. Коммит собирает исходное улучшение и последующий lint-fix в один логический bugfix, чтобы история ветки отражала единственную пользовательскую проблему: слабое извлечение метаданных Alpina через DDG.
Добавил дополнительный путь поиска книги через Yandex и Playwright для ISBN, которые не находятся в основных источниках. Это закрывает сценарии, где обычный lookup возвращает пустой результат, хотя книга существует в открытых каталогах или поисковой выдаче. Если автоматический поиск не находит книгу, бот теперь просит у пользователя короткую текстовую подсказку и повторяет поиск с контекстом. Такой flow снижает число тупиковых добавлений, делает поведение бота понятнее и помогает восстановить метаданные без ручного заполнения всей карточки.
Добавил полноценный экран проверки OCR-черновика после сканирования обложки и титульного листа. Пользователь может уточнить ISBN, автора и название до сохранения, а бот показывает промежуточную карточку книги вместо немедленного перехода к сохранению или поиску. Это уменьшает число ошибок после OCR, делает сценарий добавления книги управляемым и готовит данные к дальнейшему обогащению метаданными только после того, как пользователь подтвердил базовые поля.
…авок Разделил подтверждение OCR-черновика на два осознанных действия: мгновенное добавление книги по подтвержденным данным и отдельный поиск внешних метаданных. Это ускоряет быстрый сценарий добавления и убирает лишние внешние запросы, когда OCR уже дал достаточно точный результат. Также добавил повторный lookup из preview перед сохранением книги. Данные провайдера теперь только дополняют карточку и не перетирают вручную подтвержденные ISBN, автора и название, поэтому пользователь не теряет свои исправления после OCR.
Добавил в MEMORY.md рабочие договоренности по разнесению больших наборов изменений на тематические ветки, атомарности коммитов и формату commit message. Это нужно, чтобы новые правила не остались только в обсуждении и использовались как постоянная часть проектной памяти. Отдельно зафиксировал ожидание к body коммита и PR: человеческое объяснение того, что изменилось, какую проблему это решает и зачем выбран именно такой способ реализации.
Усилил общий парсер поисковой выдачи и Yandex fallback для кейсов, где книга видна человеку в поиске, но бот теряет автора или возвращает усеченное название. Добавлен разбор формата 'Автор: Название', более аккуратный выбор полного title вместо обрезанных вариантов и добор метаданных с верхних внешних страниц выдачи. Это нужно для проблемных ISBN вроде 9785002143382, где поисковик уже показывает релевантную книгу, но прежние эвристики отдавали неполные или шумные данные. В коммит также входят регрессионные тесты и отладочный Playwright-скрипт для живой проверки Yandex path.
Добавил новый Playwright fallback по книжным сайтам для ISBN, которые не удается стабильно добрать через каталоги и поисковики. Новый слой идет напрямую в LiveLib, MyBook и Labirint, пытается вытащить структурированные title, author и ссылку на карточку книги, а затем подключается в lookup-цепочку до DuckDuckGo. Это нужно как последний шанс для кейсов, где книга существует на книжных сайтах и находится человеком вручную, но обычные провайдеры не возвращают понятный результат. Для текущих проблемных ISBN живой прогон уже дает корректную карточку через MyBook или Labirint, а в тестах зафиксирован порядок fallback и разбор HTML этих сайтов.
Файл .bot.pid — это рантайм-артефакт скрипта запуска бота (хранит PID процесса для останова). Он постоянно мелькает в git status и не должен попадать в индекс.
BookRecord теперь хранит поле confidence: float в [0, 1] (default 1.0 — старый поведение «считаем точным»). home_library/providers/ _score.py выдаёт score: верифицированные каталоги (Лабиринт, Piter, МИФ, РГБ) → высокий вес, SERP-fallback (DDG, Yandex, Playwright site search) → средний; неизвестный источник трактуется как SERP-уровень. В lookup.fetch_book_by_isbn confidence проставляется на каждом успешном результате через _with_confidence(record, source=name) — если сам провайдер уже выставил нестандартное значение, оно уважается. В callbacks._present_book_for_isbn добавлена ветка: если confidence < config.CONFIDENCE_THRESHOLD (0.6), бот не показывает карточку «Найдена книга, добавить?», а создаёт PendingScanDraft с предзаполнёнными полями и просит пользователя проверить или уточнить — это закрывает сценарий «провайдер выдал что-то, но данные подозрительные». Реализация по TDD: 4 теста на BookRecord.confidence (default, range, валидация >1 / <0), 4 теста на score_book_record (полный рекорд от Лабиринта, partial от DDG, только title, неизвестный источник), 2 e2e теста на маршрутизацию scan-draft при низком confidence и preview при высоком.
|
You have reached your Codex usage limits for code reviews. You can see your limits in the Codex usage dashboard. |
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Summary
BookRecord.confidence: float(default 1.0, валидируется 0..1).home_library/providers/_score.score_book_recordоценивает по источнику и заполненности: верифицированные каталоги (РГБ, Лабиринт, Piter, МИФ) — высокий вес; SERP-fallback (DDG, Yandex, Playwright site search) — средний._present_book_for_isbnв callbacks: еслиconfidence < CONFIDENCE_THRESHOLD(0.6), бот не показывает «Найдена книга, добавить?», а ставитPendingScanDraftс предзаполненными полями для проверки.Test plan
Зачем после B6
Без merge confidence низких записей было бы много (одиночный SERP-результат даёт ~0.3-0.5 → юзер видит scan-draft ради ничего). Merge закрывает поля, score становится высоким, threshold срабатывает только на действительно сомнительных кейсах.
🤖 Generated with Claude Code