Skip to content

cerif-validate pobiera gotowego JAR-a zamiast budować mavenem - #718

Merged
mpasternak merged 4 commits into
devfrom
fix-cerif-validator-artefakt
Aug 5, 2026
Merged

mpasternak merged 4 commits into
devfrom
fix-cerif-validator-artefakt

Conversation

@mpasternak

Copy link
Copy Markdown
Member

Co i po co

make cerif-validate budował walidator euroCRIS mavenem przy każdym
wywołaniu. Upstream (EuroCRIS) nie publikuje binariów — każdy release ma zero
assetów, projektu nie ma na Maven Central, nie ma Dockerfile — więc trzeba
było mieć u siebie JDK, Mavena, cache ~/.m2 i dwa klony. Około 550 MB
narzędzi, żeby wyprodukować 4,7 MB JAR-a
, a mvn clean kasował gotowy
artefakt przed każdym buildem.

Teraz artefakt pochodzi z forka, który buduje go raz, na CI:
https://github.com/iplweb/openaire-cris-validator

Wymagania spadają do JRE 17+ albo Docker.

Fork jest czysto dystrybucyjny — zero zmian w kodzie walidatora, testach czy
pom.xml. Dokłada wyłącznie release.yml, Dockerfile, NOTICE i sekcję
w README.md (Apache-2.0 §4(b) wymaga jawnej noty o modyfikacji).

Weryfikacja

Przeciw prawdziwemu endpointowi (run-site z dumpu produkcyjnego), oba
tory
:

tor wynik
java -jar z pobranego assetu OK (13 tests)
docker run z iplweb/cerif-validator OK (13 tests)

To ten sam wynik, co przy starym torze mavenowym — punkt odniesienia się
zgadza.

Po stronie forka: workflow przechodzi z 43 testami upstreamu (bez
-DskipTests) plus smoke testem file:samples/. Suma SHA-256 JAR-a w obrazie
jest identyczna z sumą assetu wydania.

Rzeczy nieoczywiste

  • Sprawdzamy wersję javy, nie samą obecność. JAR ma target 17, więc na
    JRE 8/11 poleciałby UnsupportedClassVersionError — komunikat, którego
    nikt nie mapuje na „zainstaluj nowszą Javę". Za stara java = spadamy na
    Dockera.

  • Cache poza drzewem repo ($HOME/.cache/bpp/). make clean robi
    rm -rf .cache, więc artefakt znikałby przy każdym sprzątaniu. Przy okazji
    jest współdzielony między worktree.

  • Wariant dockerowy mapuje nazwę hosta, nie podmienia jej w URL-u.
    Podmiana wyglądała rozsądnie i nie działała: run-site binduje się na
    jednym interfejsie (nie 0.0.0.0), więc host.docker.internal dawało
    connection refused, a połączenie wprost na IP wracało jako
    DisallowedHost. --add-host=<host>:<IP> rozwiązuje oba naraz —
    nagłówek Host zostaje ten, którego Django oczekuje.

  • Oba tory uruchamiają walidator z katalogiem roboczym w cache'u, bo
    pisze on do względnego data/ i z korzenia repo zasypywał BPP setkami
    nieśledzonych plików.

  • Suma SHA-256 przypięta w Makefile. Build walidatora nie jest
    odtwarzalny (pom.xml deklaruje zakresy wersji zależności, rozwiązywane
    w czasie builda), więc nie da się zweryfikować artefaktu przez rebuild —
    suma zapisana w gicie jest jedyną kotwicą, która przechodzi przez code
    review. Widać to zresztą w liczbach: ten sam commit dał lokalnie 4 721 874 B,
    a na CI 4 720 967 B.

Spec: docs/superpowers/specs/2026-08-05-cerif-validator-fork-design.md

🤖 Generated with Claude Code

mpasternak and others added 4 commits August 5, 2026 12:25
Upstream (EuroCRIS) nie publikuje binariów, więc target budował walidator
lokalnie przy KAŻDYM wywołaniu: JDK + Maven + cache ~/.m2 + dwa klony to
~550 MB narzędzi, żeby dostać 4,7 MB JAR-a, a `mvn clean` kasował gotowy
artefakt przed każdym buildem. Teraz artefakt bierzemy z forka iplweb,
który buduje go raz na CI.

Wymagania spadają do "JRE 17+ albo Docker".

Szczegóły, które nie są oczywiste:

* Sprawdzamy WERSJĘ javy, nie tylko jej obecność. JAR ma target 17, więc
  na JRE 8/11 poleciałby UnsupportedClassVersionError — komunikat, którego
  nikt nie mapuje na "zainstaluj nowszą Javę". Za stara java = spadamy na
  Dockera.

* Cache w $(HOME)/.cache/bpp, nie w .cache/ — `make clean` robi
  `rm -rf .cache`, więc artefakt znikałby przy każdym sprzątaniu. Przy
  okazji jest współdzielony między worktree.

* Podmiana hosta dla Dockera obejmuje nie tylko localhost/127.0.0.1, ale
  też `hostname` — run-site binduje się na nazwę hosta, więc typowy
  lokalny przepływ nie zawiera wcale słowa "localhost".

* Weryfikacja SHA-256 pobranego pliku. Suma z release'u łapie obcięty
  transfer; realną kotwicą zaufania jest CERIF_VALIDATOR_SHA256 przypięte
  w gicie — do uzupełnienia, gdy release powstanie.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Zapis tego, co faktycznie powstało, wraz z ustaleniami z recenzji: symlinki
w samples/ wymuszające układ katalogów-rodzeństwa, wymóg context: . dla
build-push-action, licencje w obrazie, blokada nadpisania release'u,
detekcja hosta szersza niż localhost, gate na wersję javy.

Hipoteza o pushu po SSH bez scope'a `workflow` — potwierdzona empirycznie.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Release v2.1.1-iplweb.1 istnieje, więc przypięcie sumy w gicie przestaje
być deklaracją i staje się realną kotwicą zaufania — przechodzi przez code
review, w przeciwieństwie do .sha256 pobieranego z tego samego release'u
co JAR.

Zweryfikowane: suma JAR-a w obrazie iplweb/cerif-validator:2.1.1-iplweb.1
jest identyczna z sumą assetu wydania.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Wariant z podmianą hosta na host.docker.internal nie działał — sprawdzone
na run-site z prawdziwą bazą. Padał z dwóch niezależnych powodów naraz:

* connection refused, bo Daphne słucha na JEDNYM interfejsie
  (100.107.38.27:51656), nie na 0.0.0.0, więc brama Dockera trafiała
  w adres hosta, na którym nic nie nasłuchuje;

* HTTP 400 DisallowedHost, bo podmiana hosta zmienia nagłówek Host na
  taki, którego Django nie zna. Ten błąd był maskowany przez pierwszy.

Rozwiązanie odwraca problem: URL zostaje nietknięty, mapujemy nazwę przez
--add-host=<host>:<IP>. TCP idzie na realny adres, Host zostaje ten,
którego Django oczekuje.

Porównanie nazw jest case-insensitive: hostname -s zwraca "Mac-mini",
a banner run-site podaje "mac-mini". Bez tego gałąź się nie odpala, a
objaw wygląda na problem sieciowy zamiast na literówkę.

Osobno: oba tory uruchamiają walidator z katalogiem roboczym w cache'u.
Walidator pisze do względnego data/, więc uruchomiony z korzenia repo
zasypywał BPP setkami nieśledzonych plików (157 po jednym przebiegu).

Zweryfikowane end-to-end przeciw endpointowi BPP z dumpu: oba tory dają
OK (13 tests), repo zostaje czyste.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
@mpasternak
mpasternak force-pushed the fix-cerif-validator-artefakt branch from a18003d to c8c0043 Compare August 5, 2026 10:25
@mpasternak
mpasternak merged commit ff01214 into dev Aug 5, 2026
22 of 24 checks passed
@mpasternak
mpasternak deleted the fix-cerif-validator-artefakt branch August 5, 2026 10:27
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant