Skip to content

About

Информационно-статистический бюллетень «Транспорт России» Минтранса России за 2011–2025 годы: исходные файлы, база DuckDB, таблицы Parquet

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

3 Commits

Folders and files

Repository files navigation

Информационно-статистический бюллетень «Транспорт России»

Полный архив бюллетеня «Транспорт России» из раздела «Статистика» сайта Минтранса России за 2011–2025 годы. Таблицы всех выпусков разобраны в базу данных; в ней сохранено, из какого выпуска, файла и таблицы взято каждое число.

Первоисточник Сайт Минтранса России, раздел «Статистика»: https://mintrans.gov.ru/ministry/results/180/documents и поиск по сайту
Владелец данных Министерство транспорта Российской Федерации
Период выпуски с «январь–декабрь 2011» по «январь–сентябрь 2025»; ключевые ряды — с 2010 года
Охват 53 выпуска нарастающим итогом (I квартал, полугодие, 9 месяцев, год), 54 файла, 2 143 таблицы
Объём исходные файлы 134 МБ; 95 434 числа из таблиц; 1 912 точек ключевых рядов
Форматы исходные doc, docx, pdf, rar; база DuckDB; таблицы Parquet
Дата загрузки 03.11.2026
Карточка набора repository.nsedc.ru/dataset/ru-mintrans-bulletins

Содержание бюллетеня

В выпуске от 24 до 88 таблиц, обычно около 40. Самые частые темы:

  • перевозки грузов и грузооборот по видам транспорта, в том числе коммерческие;
  • перевозки пассажиров и пассажирооборот транспорта общего пользования, городской электрический транспорт;
  • перевалка грузов в морских портах, перевозки железнодорожным транспортом по видам грузов, завоз грузов в районы Крайнего Севера;
  • внешняя торговля транспортными услугами;
  • численность работников и заработная плата в транспортном комплексе, прибыль организаций;
  • индексы цен и тарифов на перевозки;
  • затраты на федеральные целевые программы, регистрация подвижного состава.

Вёрстка менялась: doc в 2011–2016 годах, затем docx и doc, с 2022 года — pdf. Последний выпуск («9 месяцев 2025 года») опубликован 11.12.2025.

Быстрый старт

Таблицы базы лежат в data/parquet/:

import duckdb
duckdb.sql("""
    SELECT s.year, m.name AS mode, s.value AS mln_tonnes
    FROM 'data/parquet/core_series.parquet' s
    JOIN 'data/parquet/transport_modes.parquet' m USING (mode)
    WHERE s.indicator = 'freight_carried' AND s.month_from = 1 AND s.month_to = 12
      AND s.mode IN ('rail', 'road', 'pipeline')
    ORDER BY s.year, s.mode
""").show()

Та же база целиком, с представлениями (series, annual_series, values_with_source) и описаниями таблиц, поднимается из Parquet в памяти:

from pathlib import Path
from mintrans_stats.database import open_database

con = open_database(Path("data"))   # data/bulletin.duckdb, если собрана, иначе data/parquet/
con.sql("SELECT * FROM annual_series WHERE indicator = 'passenger_turnover' AND mode = 'air'").show()

Подробные примеры с графиками — ключевые ряды, кварталы из нарастающего итога, поиск любого показателя в таблицах, происхождение числа, сверки — в тетрадке Jupyter docs/examples.ipynb. Сборка базы и пакет ей не нужны: если файла базы нет, она поднимает базу из Parquet по SQL из sql/:

make venv && make notebook

Файл базы DuckDB, Parquet, исходные файлы и извлечённые таблицы есть архивами в релизе.

Сборка базы из исходных файлов в data/files/ (нужны LibreOffice и bsdtar, сеть не нужна):

make venv     # окружение .venv (нужен uv)
make build    # таблицы из файлов → длинный формат → data/bulletin.duckdb + data/parquet/
make test

Обновить данные с сайта (нужен российский IP, см. docs/operations.md):

MINTRANS_PROXY=socks5h://127.0.0.1:1080 make collect

Структура репозитория

src/mintrans_stats/       пакет Python, команда mintrans-stats
  crawl.py                каталог выпусков: раздел «Статистика» и поиск по сайту
  download.py             скачивание файлов, манифест, тип по содержимому
  extract/                распаковка архивов, doc → docx, таблицы и текст из docx и pdf
  normalize/              длинный формат, ключевые ряды, сверки
  database.py             база DuckDB и Parquet
  sql/                    схема, представления и описания таблиц базы (SQL)
  cli.py                  mintrans-stats {check|crawl|download|validate|extract|normalize|build-db}
data/
  files/{документ}/{файл}.{ext}   исходные файлы выпусков, как пришли с сайта
  catalog/                выпуски, файлы и манифест скачивания (JSONL)
  parquet/                таблицы базы в Parquet
  bulletin.duckdb         база DuckDB (не в git, `make build` или релиз)
docs/
  database.md             схема базы, оговорки, примеры запросов
  data-model.md           промежуточные файлы конвейера
  site-structure.md       устройство сайта и раздела «Статистика»
  operations.md           доступ к сайту, ограничения, объёмы
  examples.ipynb          тетрадка Jupyter с примерами работы с базой
tests/                    тесты на сохранённых страницах сайта и фрагментах выпусков
Makefile                  venv, collect, build, test, notebook

Команды по шагам, переменные окружения и промежуточные файлы (data/tables/, data/datasets/) описаны в docs/data-model.md и docs/operations.md.

Важные оговорки

  • Значения нарастающим итогом. 2024-01..06 — январь–июнь, а не II квартал.
  • Состав итогов менялся.
    • До 2016 года грузовые итоги включали промышленный железнодорожный транспорт, с 2017 года нет. Поэтому «всего» в 2017 году падает примерно на 2,7 млрд т.
    • Пассажирский итог «Транспорт – всего» есть только с 2021 года, раньше был итог по отраслям Минтранса.
  • Пересмотры. В каждом выпуске есть данные прошлого года. В 310 случаях из 936 они отличаются от первой публикации больше чем на 1%. В ключевых рядах стоит последнее значение, все версии — в core_observations.
  • Ошибки источника выявлены сверками (checks):
    • в одном выпуске сумма видов не сходится с итогом;
    • в двух выпусках у воздушных грузов единица в тысячу раз больше заявленной.
  • В table_values все числа таблиц, кроме ключевых рядов, остаются как в источнике. Подпись строки, шапка столбца и единица взяты из таблицы без сведения к справочникам.

Подробнее — в docs/database.md.

About

Информационно-статистический бюллетень «Транспорт России» Минтранса России за 2011–2025 годы: исходные файлы, база DuckDB, таблицы Parquet

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages