Skip to content

About

Тулза для macbook для подбірки телефонів під вимоги з локальних магазинів

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

Repository files navigation

Phone Finder

Фоновый агент, который следит за польскими магазинами электроники, Allegro и Ceneo и сообщает, когда в продаже появляется телефон под заданные характеристики:

  • хорошая основная камера с оптической стабилизацией (OIS);
  • оптический зум не меньше 3× (чем больше, тем выше рейтинг);
  • батарея от 7500 мАч (ниже 6000 мАч — не показывается вообще);
  • защита IP68 или лучше;
  • AI-сервисы на борту (Galaxy AI, Gemini, Apple Intelligence, Moto AI…).

Ищет он не объявления, а модели: один и тот же телефон лежит в шести местах под шестью разными названиями и в десятке вариантов памяти и цвета, а критерии относятся к модели. Поэтому заголовок магазина разбирается на «марка + модель», характеристики выясняются один раз и кешируются, а цены собираются по всем предложениям этой модели — в отчёте одна карточка на телефон со всеми ценами.

Сделан по образцу соседнего car-finder: тот же скелет (SQLite, автономный HTML-отчёт, уведомления macOS, приложение в строке меню, watch в терминале), другая предметная область.

Об использовании

Инструмент для личного пользования. Он читает те же публичные страницы, что видит любой посетитель без входа в аккаунт, делает это с паузами между запросами и укладывается примерно в сотню запросов за прогон раз в полтора часа — меньше, чем человек с открытыми вкладками. Проверки, которыми сайты защищаются от автоматики, программа не проходит и не пытается: получив страницу проверки или ограничение частоты, она прекращает обращения к этому источнику до следующего прогона. Всё собранное, включая логины продавцов, хранится только локально в data/ и в репозиторий не входит. Пользуйтесь с уважением к правилам площадок.


Сразу о главном: рынок пока не даёт всё сразу

Прогон по 162 моделям показал, что рынок расколот ровно по этим критериям:

  • Обычные смартфоны с IP68, OIS и телеобъективом упираются в батарею: максимум — 7000 мАч (Xiaomi 17T Pro), дальше 6580 (Redmi Note 15 Pro) и 6500 (realme 16 Pro, Xiaomi 17T, vivo X300 FE).
  • Защищённые «кирпичи» батарею дают с запасом — Oukitel WP300 16000 мАч, Ulefone Armor 26 Ultra 15600, Armor 28 Ultra 10600, все с IP69K, — но оптического зума у них нет вовсе: третий модуль там ноктовизор или термокамера, и строки про оптическую стабилизацию в таблице тоже нет.

Камера — критерий неотменяемый: модель, у которой OIS или оптический зум не подтверждены, не попадает ни в основную выдачу, ни в «Почти» — она просто отбрасывается (allow_unknown_ois: false, allow_unknown_zoom: false). Поэтому «кирпичи» из отчёта выпадают целиком, несмотря на их 16000 мАч.

У батареи два порога: 7500 мАч — для основной вкладки, 6000 — абсолютный минимум (battery_mah_floor). Модель с батареей ниже 6000 не показывается ни в одной вкладке, и никакие допуски этого не отменяют — правило проверяется раньше них. Из последнего прогона так выпало 40 моделей с 4000–5200 мАч.

Остальное этой строгости не касается: их магазины у новинок дописывают позже, и модель с неизвестной ёмкостью попадает в «Почти» — вместе с теми, кто не дотянул до 7500 мАч в пределах допуска 2500 (battery_slack_mah). То есть Xiaomi 17T Pro с его 7000 мАч виден там же, а в основную выдачу переедет сам, если поставить battery_mah_min: 7000.

Собственно, ради этого агент и фоновый: он ждёт и присылает уведомление в тот день, когда «7500 мАч + IP68 + 3× оптика + OIS» появится в магазине.


Установка

python3 -m venv .venv && .venv/bin/pip install -r requirements.txt

Три зависимости: curl_cffi — HTTP-клиент с TLS-стеком браузера (магазины обслуживают только клиентов с браузерным TLS-рукопожатием, обычный requests они не принимают), PyYAML и rumps для приложения в строке меню (только macOS). Если рядом лежит проект с таким же окружением, run.sh и build_app.sh возьмут ../.venv, когда локального .venv нет.

Запуск

./run.sh --open

Один прогон: собрать предложения, дозаполнить характеристики, обновить data/report.html и открыть его в браузере.

.venv/bin/python -m phonefinder watch --interval 90

Наблюдение в терминале: прогон каждые 90 минут, уведомление macOS на каждую новую подходящую модель. Ctrl+C завершает сразу, не дожидаясь конца прогона.

bash scripts/build_app.sh && open PhoneFinder.app

Приложение в строке меню (📱): прогоны по таймеру, счётчик новых моделей рядом со значком, отчёт по клику. Оно заменяет собой watch и launchd-агента — запускать одновременно не нужно, магазины будут опрашиваться вдвойне.

Приложение держит в памяти код, загруженный при старте: после правок в phonefinder/ оно само скажет в меню «Код обновлён — перезапустите». Окна у него нет, и quit по имени до него не доходит — перезапуск так:

pkill -TERM -f phonefinder.app; sleep 3; open PhoneFinder.app

Вместо приложения можно поставить launchd-агента — шаблон в scripts/com.phonefinder.watch.plist, команда установки внутри него.

Ещё три полезные команды:

.venv/bin/python -m phonefinder urls                        # поисковые URL магазинов
.venv/bin/python -m phonefinder report --open                # перерисовать отчёт из базы
.venv/bin/python -m phonefinder -v spec '<ссылка на товар>'  # что вычитается из карточки

report рисует отчёт заново из базы, не делая ни одного запроса в сеть — удобно после правки оформления или порогов.

spec — главный инструмент отладки: показывает, какие пары «подпись → значение» нашлись на странице и во что они превратились. Если модель неожиданно оказалась в «Почти» с пометкой «оптический зум не указан», начинать надо с неё.


Как это работает

источники ─> предложения ──> модели ──> характеристики ──> фильтры ──> скоринг ──> отчёт
 (6 шт.)      (~550)         (~165)      (кеш + карточки)               уведомления
  1. Сбор. Шесть адаптеров (phonefinder/sources/) читают выдачу категории «смартфоны». Аксессуары (чехлы, стёкла, зарядки, пауэрбанки) отбрасываются по словарю — в категориях, особенно на Allegro, их больше, чем телефонов.

  2. Сведение в модели. models.parse_title разбирает заголовок магазина. Работающее во всех магазинах правило: объём памяти стоит ровно между названием модели и вариантом — «Samsung Galaxy S25 12/128GB Zielony». Слева модель, справа цвет и приписки. У Allegro заголовки пишут продавцы, и там мусор с обеих сторон: «Pancerny Smartfon Oukitel WP55 6,6"», «DOOGEE V40 czerwony 12 GB RAM», «Redmi Note 17 Pro 5 G Sky Teal». Поэтому до разбора убираются приписки продавца, диагональ и числа с единицами, а после номера модели оставляются только слова, которые бывают в названии («Pro», «Ultra», «XL»…): маркетинговые цвета бесконечны, их словарём не перечислить. Грязный ключ дробил одну модель на четыре и ломал поиск характеристик — модель искалась под именем «Redmi Note 17 Sky Teal».

  3. Батарея — единственный критерий, который применяет сам источник. У Allegro есть фильтр по ёмкости аккумулятора, и он подставляется в URL, так что его страницы — это сразу телефоны с нужной батареей (их там больше сотни: DOOGEE, Oukitel, Ulefone, POCO X8 Pro Max). Точного числа мАч выдача не даёт, но даёт факт «не меньше требуемого» — он и записывается в модель (Spec.battery_min, в отчёте «≥7500 мАч»). Модели, прошедшие по батарее, встают первыми в очередь на выяснение камеры.

  4. Характеристики. Таблица спецификации в карточке товара — это пары «польская подпись → значение», а разбор подписей общий (specs.py), поэтому новый магазин не требует нового разбора характеристик. Карточка открывается один раз на модель и кешируется в SQLite навсегда: телефон не меняет ёмкость батареи после релиза (кеш versioned — при улучшении разбора неполные записи перечитываются). Если модель не продаётся ни в одном магазине с таблицей — а так выглядит большинство «кирпичей» с Allegro, — её карточка ищется по названию в x-kom и Morele, а если и там нет — в GSMArena по странице марки (его поиск закрыт Cloudflare, страницы марок открыты, новые устройства сверху). Именно так находятся HONOR Magic 9 или Xiaomi 17 Pro Max, которые продаются только на Allegro. Неудачный поиск запоминается на две недели, чтобы не съедать лимит каждый прогон. За прогон открывается не больше 45 карточек, и первыми — модели, которых раньше не было: новинка попадает в отчёт в тот же прогон, в котором появилась, а разбор старого ассортимента растягивается на несколько прогонов.

  5. Фильтры. У характеристики три состояния, а не два: «батарея 5000» — это отказ, «батарея неизвестна» — это неизвестность, и вести себя с ними надо по-разному. Для батареи, IP и AI неизвестность означает «Почти» с честной пометкой: у новинок таблица характеристик заполнена хуже всего, и жёсткий отказ прятал бы ровно их. Для OIS и оптического зума — сразу отказ: это главный критерий, и непроверенную камеру предлагать незачем. Всё это переключается в near_miss.allow_unknown_*.

  6. Скоринг (0..100) — аддитивный, все веса в config.yaml, разбивка видна в карточке отчёта. Больше всего весят зум сверх минимума и запас по батарее: это то, чем прошедшие фильтр модели отличаются друг от друга.

  7. Отчёт — один автономный HTML-файл без внешних ресурсов. Вкладки «Подходят / Почти / ★ Избранное / Скрытые», поиск, сортировки (рейтинг, цена, батарея, зум), фильтр по марке и цене, «только подтверждённые» — спрятать модели с неизвестными характеристиками. Звёздочки и скрытые карточки живут в localStorage и переживают перегенерацию отчёта.

  8. Уведомления приходят только на модели, которых раньше не было в базе, и на те, что стали подходящими после того, как магазин дозаполнил характеристики (это тоже новость). Порог рейтинга — notify.min_score.


Вкладка «Скоро»

Телефоны, которых ещё нет в продаже, — чтобы не покупать сегодня то, что через месяц выйдет лучше. Два источника разной природы:

  • GSMArena, раздел «Rumored» — единственное место, где про невышедшую модель есть не проза, а таблица характеристик, причём той же формы «подпись → значение», что у магазинов, так что её разбирает общий specs.py. Отсюда батарея, IP, OIS и кратность зума.
  • Ленты семи новостных сайтов (GSMArena, Gizmochina, Android Authority, Android Headlines, SamMobile, XDA, Tabletowo) — они дают широту и сроки («debiut w marcu», «launching February 25»). Из статьи берётся только то, что названо прямо: «7800 mAh», «IP69», «5x optical zoom». PhoneArena, 91mobiles, Telepolis и Komórkomania в списке нет — отдают страницу проверки или 404.

Название модели из заголовка статьи вытаскивается отдельно: заголовок — это предложение, и «Google Deals: Pixel 11 series is up to $200 off» должно давать Pixel 11, а не модель со словом Deals. Поэтому ищется марка, за ней — только слова, которые бывают в названии телефона, и среди них обязательна цифра.

Критерии те же, но с поправкой: у слуха характеристики почти всегда неполные, и жёсткий отказ за «OIS не подтверждён» оставил бы вкладку пустой. Поэтому здесь неизвестность модель не выбрасывает — выбрасывает только прямое противоречие (названная батарея меньше требуемой, IP67 вместо IP68). Модели без единого сигнала — ни срока, ни одной характеристики — не показываются (upcoming.require_signal).

Вкладка «AliExpress»

Телефоны 2026 года прямо из Китая, по тем же критериям. Отдельная вкладка, а не ещё один магазин, по двум причинам:

  • характеристики здесь — слова продавца. У польского магазина таблица спецификации это документ, а на AliExpress то же самое написано в заголовке товара («bateria 7500mAh, IP69, aparat 50MP»), и написать там можно что угодно. Смешивать это с магазинными данными в одной выдаче и в одном рейтинге нельзя. В карточке видно, откуда взяты характеристики: «со слов продавца» или «из магазина»;
  • год выпуска — часть названия товара («NOWY smartfon … na rok 2026»), и это единственный доступный признак свежести. Модель без года в выдачу не идёт, иначе половина результатов — прошлогодние аппараты с новой наклейкой.

Если модель нашлась в кеше характеристик (то есть её продаёт кто-то в Польше), берутся магазинные данные, а не обещания продавца — и это работает как проверка на вранье: заголовок обещает 7500 мАч, таблица x-kom говорит 6800 — модель выпадает из выдачи. Батарея обязана быть названа (на AliExpress её пишут почти всегда), а вот про OIS и зум продавцы молчат чаще, чем говорят, поэтому неизвестность здесь не отказ — но противоречие критериям отказ.

Запросы (aliexpress.queries) — по одной странице выдачи на каждый, 60 товаров. AliExpress, как Allegro и Ceneo, ограничивает частоту обращений: при превышении вместо выдачи приходит страница проверки. Программа её распознаёт и до следующего прогона к источнику не обращается.

Магазины

Источник Что даёт Как читается
Allegro цены, наличие + фильтр по ёмкости батареи JSON __listing_StoreState; в URL подставляется pojemnosc-akumulatora-od
Ceneo минимальная цена по всему рынку + характеристики, включая строку «Funkcje AI» плитки cat-prod-row с ценой в атрибутах, спецификация — таблица product-spec__group__attributes__row
x-kom цены + самые полные характеристики карточки data-name="productCard", спецификация — JSON {"key":…,"values":[…]}
Morele цены + характеристики, включая «Funkcje AI» schema.org ItemList и PropertyValue
MediaMarkt цены + характеристики schema.org ItemList, спецификация — состояние GraphQL-клиента
Komputronik цены + характеристики плитки data-name="listingTile", спецификация — из текста таблицы

Полнота таблиц разная: у x-kom есть кратность зума и дата премьеры, у Ceneo — старший класс IP и отдельная строка «Funkcje AI», у Morele тоже «Funkcje AI», у остальных базовое. Поэтому спека собирается объединением по нескольким магазинам, и в карточке отчёта видно, из каких источников она собрана.

Что источники требуют от клиента

У каждой площадки свои правила обслуживания автоматических клиентов; программа им следует, а там, где обслуживание не предусмотрено, — источник не используется.

  • Media Expert и RTV Euro AGD (euro.com.pl) обслуживают только полноценный браузер и любому другому клиенту отвечают 403. Эмулировать браузер ради них не стали: это другой класс зависимостей и другая скорость прогона. Их цены всё равно попадают в отчёт — Ceneo сравнивает и эти магазины, а его data-productminprice — минимум по всему рынку.
  • Ceneo допускает около десятка обращений подряд с одного адреса, дальше отдаёт страницу проверки «Przejdź do Ceneo». Отсюда max_pages: 4 и пауза ceneo.pl: 10 секунд; получив проверку, программа выключает источник до следующего прогона — ограничение снимается само через несколько часов.
  • Allegro ограничивает частоту по адресу (429) и обслуживает запрос только в начале соединения. Поэтому max_pages: 3, пауза runtime.host_delay_sec: {allegro.pl: 10} и отдельное соединение на каждый запрос. На 429 программа ждёт столько, сколько просит сервер, и после повторного отказа к Allegro до конца прогона не обращается; остальные источники при этом дают и цены, и характеристики, а в логе видно, кто недоступен.
  • Заголовки запросов — обычные браузерные. Cache-Control: no-cache среди них нет: браузер посылает его только при принудительной перезагрузке, и Allegro такой запрос не обслуживает.

Ограничения, о которых стоит знать

  • У iPhone ёмкость батареи не публикуется — Apple указывает часы воспроизведения видео, и магазины повторяют это же. Поэтому iPhone всегда будет в «Почти» с пометкой «ёмкость батареи не указана». Для критерия 8000 мАч это неважно (у iPhone её нет и близко), но знать полезно.
  • «Нет» и «не написали» — разные вещи. Если магазин перечислил модули камеры и телеобъектива среди них нет, зум считается отсутствующим (1×), а не неизвестным; то же с OIS, когда перечислены функции камеры. Поэтому в отчёте видно «зум 1× < 3×» вместо честного, но бесполезного «не указан».
  • Зум берётся со слов магазина. Маркетинговые «8× zoom jakości optycznej» (это кроп, а не оптика) и «100× zoom cyfrowy» отбрасываются, но если магазин написал в таблице «10× zoom optyczny», в отчёте будет 10×.
  • AI определяется правилами по модели (ai_rules в конфиге) плюс прямыми упоминаниями в таблице характеристик. По тексту страницы AI намеренно не ищется: названия сервисов попадаются в блоках «похожие товары», и Redmi получал бы «Galaxy AI» от соседней карточки Samsung.
  • Первый прогон неполный. Из 165 моделей характеристики выясняются для 45 за прогон, остальные — «неизвестно» и вкладка «Почти». К третьему-четвёртому прогону кеш прогревается, и картина становится полной.

Файлы

phone-finder/
├── config.yaml            все критерии, веса скоринга, настройки магазинов
├── run.sh                 один прогон (берёт ../.venv, если своего нет)
├── phonefinder/
│   ├── cli.py             run | watch | report | urls | spec
│   ├── app.py             приложение в строке меню (rumps)
│   ├── pipeline.py        один прогон целиком
│   ├── models.py          Offer / Spec / Phone, разбор заголовков
│   ├── catalog.py         группировка в модели + выяснение характеристик
│   ├── specs.py           польские подписи -> характеристики, правила AI
│   ├── filters.py         жёсткие критерии и «почти»
│   ├── scoring.py         рейтинг 0..100
│   ├── store.py           SQLite: кеш спек, история цен, новинки
│   ├── report.py          автономный HTML-дашборд
│   ├── notify.py          уведомления macOS
│   ├── http.py            curl_cffi, троттлинг по хостам, отмена прогона
│   ├── lifecycle.py       единственный экземпляр, сигналы, launchd-следы
│   └── sources/           allegro, ceneo, xkom, morele, mediamarkt, komputronik
├── scripts/
│   ├── build_app.sh       сборка PhoneFinder.app
│   ├── make_icon.py       иконка (рисуется через Cocoa, без PIL)
│   └── com.phonefinder.watch.plist   launchd-агент (альтернатива .app)
├── tests/test_phonefinder.py         64 теста, без сети
└── data/                  listings.db, report.html, app.log (создаётся сам)

Тесты

.venv/bin/python -m pytest tests -q

Сети не требуют: разбор выдачи и карточек проверяется на фрагментах реальной разметки всех шести источников, остальное — на собранных объектах.

Лицензия

Код распространяется по Apache License 2.0. Это позволяет свободно использовать, менять и распространять его, в том числе в коммерческих целях, при сохранении уведомления об авторстве и лицензии.

© 2026 Alex Pavlyuk

About

Тулза для macbook для подбірки телефонів під вимоги з локальних магазинів

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages