Metodologia rankingu

Co mierzymy

Zaczynamy od egzaminu wstępnego na aplikację radcowską i adwokacką: 150 pytań jednokrotnego wyboru, oficjalny klucz odpowiedzi publikowany przez Ministerstwo Sprawiedliwości. Wybór jest celowy — tam, gdzie istnieje klucz, ocena nie wymaga sędziego-AI. To usuwa najsłabsze ogniwo większości benchmarków: model oceniający model, z własnymi błędami i preferencjami, których nikt nie skalibrował.

Kolejne egzaminy (np. matura z pytaniami otwartymi) dojdą dopiero wtedy, gdy będziemy umieli uczciwie ocenić odpowiedzi otwarte — czyli z sędzią skalibrowanym na ludzkich ocenach, nie zaufanym na słowo.

Jak mierzymy

• Wielokrotne próbkowanie. Ten sam model zapytany dwa razy potrafi odpowiedzieć różnie. Pojedynczy przebieg to losowanie z rozkładu, nie „odpowiedź modelu”. Każde pytanie zadajemy każdemu modelowi wielokrotnie i raportujemy osobno trafność (jak często odpowiada poprawnie) oraz spójność (jak często odpowiada tak samo).
• Przedziały ufności zamiast pojedynczych liczb. Wynik podajemy z 95-procentowym przedziałem ufności (bootstrap klastrowany po pytaniu). Jeżeli przedziały dwóch modeli mocno się nakładają, różnica między nimi może być szumem — i piszemy to wprost.
• Porównania parowane. Modele odpowiadają na te same pytania, więc porównujemy je na poziomie pytań (test McNemara), nie tylko średnich. To znacznie czulsza metoda niż zestawienie dwóch procentów.
• Przekroje z ostrzeżeniami. Wyniki dzielimy według rocznika arkusza i dziedziny. Gdy model A wygrywa w jednej dziedzinie, a model B w innej, jedna zbiorcza liczba ukrywa to odwrócenie — więc jej samej nie publikujemy bez ostrzeżenia.

Kontaminacja: dlaczego rankingi potrafią kłamać

Arkusze egzaminacyjne od lat są publicznie dostępne, więc modele mogły widzieć je w danych treningowych. Model, który „zdał” egzamin, mógł go po prostu zapamiętać.

Egzaminy publikowane są co roku — to naturalna oś czasu. Porównujemy więc wyniki każdego modelu na arkuszach sprzed i po dacie odcięcia jego danych treningowych. Jeżeli model radzi sobie wyraźnie lepiej ze starszymi arkuszami o porównywalnej trudności, mamy mierzalny sygnał kontaminacji — i publikujemy go przy wyniku. Bez tej analizy nagłówek „AI zdało egzamin” nie mówi niczego.

Czego nie robimy

• Nie publikujemy treści pytań. Arkusze zawierają m.in. fragmenty tekstów objętych prawami autorskimi. Publikujemy identyfikatory pytań, wyniki zbiorcze i linki do oficjalnych źródeł — treść pobierasz u wydawcy.
• Nie przyjmujemy pieniędzy od dostawców modeli. Ranking nie ma sponsorów wśród testowanych firm.
• Nie pokazujemy liczb bez pochodzenia. Każda zmiana wyników na tej stronie odpowiada konkretnemu, udokumentowanemu przebiegowi benchmarku.

Reprodukowalność

Kod benchmarku będzie publiczny na GitHubie przed pierwszymi wynikami: konfiguracja, identyfikatory pytań, klucze odpowiedzi i skrypty pobierające arkusze z oficjalnych źródeł. Każdy będzie mógł sklonować repozytorium i powtórzyć pomiar.

Historia wersji

• 1.0.1 — 3 sierpnia 2026 — Korekta wyłącznie językowa: czas przyszły w zdaniu o klonowaniu repozytorium (kod nie jest jeszcze publiczny) oraz termin publikacji kodu — „przed pierwszymi wynikami” — ujednolicony z deklaracją na stronie O nas. Zero zmian w metodzie pomiaru.
• 1.0 — 2 sierpnia 2026 — Pierwsza wersja: zakres pomiaru (egzamin wstępny na aplikację radcowską i adwokacką), wielokrotne próbkowanie, przedziały ufności, porównania parowane, analiza kontaminacji.