Czy modele językowe potrafią oceniać zadania programistyczne? Co zmierzyły badania z lat 2025-2026

Andrei Niasiuk · 18 sierpnia 2026 · Fakty sprawdzone: 11 sierpnia 2026

Weź świeże abstrakty o modelach językowych w roli egzaminatora i przeczytaj je jeden po drugim, a wyjdzie z tego kłótnia. Jeden zespół melduje ocenianie “comparable to human graders” („porównywalne z ocenianiem przez człowieka”). Kilka miesięcy później inny melduje “only moderate agreement with human teachers’ grades” („zaledwie umiarkowaną zgodność z ocenami nauczycieli”). Gdzie indziej studenci szybciej domykają zadania, a jeszcze gdzie indziej przyrostu wiedzy nie ma żadnego. Uporządkuj te prace według tego, co każda z nich naprawdę położyła na wadze, a większość sprzeczności zniknie. To, co zostaje, warto nazwać po imieniu: im bliżej badanie podchodzi do pomiaru tego, co student umie po wszystkim, tym trudniej mu o wynik na plus.

Poniżej porządkuję osiem badań z lat 2025 i 2026 według tego, co w nich faktycznie zmierzono. Sześć dekad, które je poprzedzają, opisuje osobny przegląd na tej stronie.

Zgodność z oceną człowieka

Pierwszą rzeczą, jaką badanie oceniania w ogóle może zmierzyć, jest to, czy ocena maszyny pokrywa się z oceną nauczyciela. Dwa badania zajęły się dokładnie tym i doszły do różnych wniosków.

Kurs bioinformatyki na Uniwersytecie Lublańskim posłużył za poligon próby na ślepo: każdy student dostawał informację zwrotną z obu źródeł naraz, od modelu językowego i od asystenta prowadzącego zajęcia, nie wiedząc, które jest które, i oceniał obie. Wniosek autorów brzmi tak: “with well-designed prompts, LLMs can achieve grading accuracy and feedback quality comparable to human graders” („przy dobrze zaprojektowanych promptach modele językowe potrafią osiągnąć trafność oceniania i jakość informacji zwrotnej porównywalne z ocenianiem przez człowieka”), a do tego “open-source LLMs perform as well as commercial LLMs, allowing schools to implement their own grading systems while maintaining privacy” („modele open source radzą sobie tak samo dobrze jak komercyjne, co pozwala uczelniom wdrażać własne systemy oceniania z zachowaniem prywatności”) (Poličar, Špendl, Curk i Zupan, 2025).

Druga praca jest większa i chłodniejsza. Osiemnaście aktualnych modeli od czterech dostawców przepuszczono przez ponad sześć tysięcy studenckich rozwiązań, zebranych przez cztery lata na wprowadzającym kursie programowania. Autorzy raportują: “All models displayed high internal agreement, measured by the intraclass correlation coefficient, with the model consensus but only moderate agreement with human teachers’ grades, indicating a persistent gap between automated and human assessment” („Wszystkie modele wykazały wysoką wewnętrzną zgodność z konsensusem modeli, mierzoną współczynnikiem korelacji wewnątrzklasowej, ale tylko umiarkowaną zgodność z ocenami nauczycieli, co wskazuje na utrzymującą się lukę między oceną automatyczną a ludzką”) (Jukiewicz, 2025).

Sprzeczność jest tu mniejsza, niż się na pierwszy rzut oka wydaje. W Lublanie oceniano odpowiedzi otwarte na jednym kursie, z promptami dopracowanymi pod ten właśnie kurs; w zestawieniu osiemnastu modeli szły pod ocenę rozwiązania programistyczne, masowo i bez dostrajania pod konkretne zajęcia. Jedno i drugie może być prawdą naraz: starannie oprowadzony model dorównuje człowiekowi na pytaniach jednego przedmiotu, a modele jako rodzina schodzą się ze sobą ciaśniej niż z nauczycielami.

Niewygodna jest ta druga obserwacja. Skoro modele zgadzają się między sobą mocniej niż z ludźmi, to znaczy, że mają wspólne kryterium, swoje własne. Czy jest ono gorsze od ludzkiego, badanie nie orzeka, i ja też nie będę. Orzeka natomiast tyle: zgodność między oceniającymi przestaje być dowodem na to, że ocena jest trafna.

Szybkość, ukończenie i czas do działającego rozwiązania

Drugą rzeczą, którą da się zmierzyć, jest to, co dzieje się z samą pracą.

Na prawdziwym wprowadzającym kursie Pythona przeprowadzono randomizowane wdrożenie: 6693 zgłoszenia od 215 studentów, którzy wyrazili zgodę, na siedemnastu laboratoriach. Jedni dostawali informację zwrotną w języku naturalnym, drudzy wygenerowane przez AI testy, których ich kod nie przechodził, a trzecia grupa nie dostawała od AI niczego. Rezultat: “natural language feedback is significantly associated with higher completion rates and faster convergence to correct solutions. Test case feedback, by contrast, exhibits heterogeneous effects that depend critically on feedback validity” („informacja zwrotna w języku naturalnym wiąże się istotnie z wyższym odsetkiem ukończeń i szybszym dochodzeniem do poprawnych rozwiązań. Informacja zwrotna oparta na przypadkach testowych ma natomiast efekty niejednorodne, zależne krytycznie od trafności samej informacji zwrotnej”) (Heickal i Lan, 2026).

Drugie zdanie waży tyle samo co pierwsze. Wygenerowany test pomaga, kiedy jest poprawny, i szkodzi, kiedy poprawny nie jest, więc uśredniony efekt kiepsko opisuje to, na co trafił pojedynczy student.

Równoległe badanie manipulowało tym, ile prowadzenia za rękę niesie ze sobą informacja zwrotna: od pełnych wyjaśnień po suchy opis tego, co poszło źle, bez doczepionej podpowiedzi. Okazało się, że “LLM-generated feedback is associated with faster time to solution compared to the no-feedback baseline, with less guided feedback showing slightly stronger effects” („informacja zwrotna generowana przez LLM wiąże się z krótszym czasem dojścia do rozwiązania w porównaniu z warunkiem bazowym bez informacji zwrotnej, przy czym warianty mniej prowadzące dają nieco silniejszy efekt”) (Mihaylova i in., 2026).

Mniejsze prowadzenie działające lepiej przeczy intuicji i kusi łatwym wyjaśnieniem, któremu warto się oprzeć. Nikt tu nie przepisuje podanego rozwiązania: prompty w tym badaniu wprost zakazują pokazywania wzorcowego kodu i nawet naprowadzania na niego, a wariant najuboższy w szczegóły daje przecież najmniej do przepisania. Autorzy sięgają po inne, znane zjawisko: nadmiar prowadzenia pomaga początkującym, a wchodzi w drogę tym, którzy złapali już jaki taki grunt pod nogami.

Co studentowi zostaje w głowie

Trzecią rzeczą, którą da się zmierzyć, jest uczenie się, i tu obraz rozjeżdża się w zależności od projektu badania.

Politechnika w Monachium przeprowadziła 275 studentów wprowadzającego kursu informatyki przez dziewięćdziesięciominutowe ćwiczenie ze współbieżności. Część miała do dyspozycji tutora AI ujętego w ramy, część nieograniczonego ChatGPT, reszcie nie dano żadnego AI; osobno mierzono wynik samego ćwiczenia, osobno wiedzę przed i po. Oba warianty z AI wypadły lepiej na ćwiczeniu. Na wiedzy żaden: “Despite these performance gains, neither AI condition produced greater pre–post knowledge gains or code-comprehension advantages… In this setting, generative AI acted primarily as a performance aid rather than a learning enhancer” („Mimo tych wzrostów wyników żaden z wariantów z AI nie dał większego przyrostu wiedzy między pomiarem początkowym a końcowym ani przewagi w rozumieniu kodu… W tym eksperymencie generatywna AI działała przede wszystkim jako wsparcie wykonania zadania, a nie jako wzmacniacz uczenia się”) (Bassner i in., 2025). To samo badanie odnotowało mniejszą frustrację i niższe obciążenie poznawcze, i stąd bierze się tytuł obiecujący mniej stresu przy tej samej nauce.

W drugim badaniu randomizowanym, na 257 studentach kursu CS1, do własnych komunikatów błędu kompilatora dokładano objaśnienia pisane przez LLM: nie zamiast nich, tylko na wierzch. Dopóki dodatek działał, ograniczał jałowe próby przy trudnych zadaniach. Potem badacze go wyłączyli: “Notably, this positive impact was also observed in challenging tasks. However, its benefits did not sustain once the feedback was removed” („Co ważne, ten pozytywny efekt był widoczny również w zadaniach trudnych. Jednak jego korzyści nie utrzymywały się po usunięciu informacji zwrotnej”) (Zhou, Pankiewicz, Paquette i Baker, 2025).

Naprzeciw tych dwóch staje badanie obserwacyjne z pięciu college’ów typu community college, które ciągnie w przeciwną stronę. Zaczyna od nazwania luki: “However, empirical assessments of auto-grader feedback’s impact on learning outcomes, such as grades and pass rates, remain insufficient (Keuning et al., 2018)” („Empiryczne oceny wpływu informacji zwrotnej z systemów automatycznego oceniania na wyniki nauczania, takie jak oceny i wskaźniki zaliczeń, pozostają jednak niewystarczające (Keuning i in., 2018)”), po czym oświadcza, że tę właśnie lukę wypełnia, i raportuje wynik przemawiający za informacją zwrotną z autogradera, zachęcając do szerszego jej stosowania (Zhang, Burte, Savelka, Bogart i Sakr, 2025).

Uczciwe podsumowanie jest więc węższe niż hasło „informacja zwrotna od AI nie uczy”. Tam, gdzie w 2025 roku przydzielano studentów losowo i sprawdzano wiedzę przed i po, znaleziono przyrost wykonania bez odpowiadającego mu przyrostu wiedzy. Kiedy zamiast tego obserwowano kursy już korzystające z informacji zwrotnej autogradera, zależność wskazała w drugą stronę. Dane obserwacyjne nie oddzielają narzędzia od studentów i wykładowców, którzy je sobie wybrali; dlatego więcej waży tu wynik randomizowany, co jeszcze nie jest powodem, żeby udawać, że obserwacyjnego nie ma.

Czy oceniany godzi się z oceną

Turecki zespół wdrożył narzędzie, które nie tylko ocenia, ale i przyjmuje odwołania: ponad 850 prac egzaminacyjnych, 185 odwołań. Z tego wdrożenia zapamiętać warto jedną liczbę, i nie jest nią trafność: “The appeal process led to grade changes in 74% of cases, indicating the need for continued refinement of AI evaluation strategies. While students appreciated the speed and detail of AI feedback, survey responses revealed trust and fairness concerns” („Proces odwoławczy doprowadził do zmiany oceny w 74% przypadków, co wskazuje na potrzebę dalszego dopracowania strategii oceniania przez AI. Studenci docenili wprawdzie szybkość i szczegółowość informacji zwrotnej od AI, ale odpowiedzi ankietowe ujawniły obawy o zaufanie i sprawiedliwość”) (Aytutuldu, Yol i Akgul, 2025).

Trzy czwarte zaskarżonych ocen uległo zmianie. Chodzi o zaskarżone, nie o wszystkie: studenci odwołują się wybiórczo, zwykle wtedy, gdy czują, że mają argumenty, a 185 odwołań na ponad 850 prac to mniej więcej co szósta. Liczba mówi tyle, że kanał odwoławczy realnie coś dźwigał, i że to samo wdrożenie bez niego zostawiłoby tamte oceny w mocy.

Ten wymiar wdrożenia zwykle pomijają. Mierzy się zgodność z kluczem i czas odpowiedzi; pytanie, czy oceniany uznaje wynik za swój, zostaje bez pomiaru, choć właśnie od niego zależy, ile ocen doczeka się w ogóle drugiego spojrzenia.

Ustawione w szereg

Ustawmy osiem badań w jednym szeregu, według tego, co każde z nich położyło na wadze.

Zgodność maszyny z człowiekiem rozciąga się od “comparable” („porównywalnej”) na jednym dostrojonym kursie do “only moderate agreement” („zaledwie umiarkowanej”) w zestawieniu osiemnastu modeli na dużej próbie. Przepustowość i tempo pracy poprawiają się zgodnie, w każdym pomiarze, który je objął. Wiedza mierzona pod randomizacją już się nie poprawia, choć badanie obserwacyjne melduje coś przeciwnego. A tam, gdzie ktoś zmierzył akceptację, kanał odwoławczy przepisał trzy czwarte tego, czego dotknął.

Nic z tego nie czyni modeli językowych kiepskim narzędziem do oceniania. Szybsza informacja zwrotna i wyższy odsetek ukończonych zadań są warte swojej ceny, a katedra tonąca w zgłoszeniach weźmie je bez wahania. Te badania nie dają natomiast prawa do kroku, który zwykle robi się zaraz potem: do czytania oceny, która przyszła szybko i której student nie zakwestionował, jako dowodu, że po drodze czegoś się nauczył.

Tekst opiera się na ośmiu badaniach opublikowanych w latach 2025 i 2026, zebranych przy okazji przeglądu automatycznego oceniania w pięciu strefach językowych. Przygotował go Andrei Niasiuk, twórca AutoLabSuite, platformy do sprawdzania laboratoriów programistycznych na kursach uniwersyteckich.