Ці могуць моўныя мадэлі правяраць заданні па праграмаванні? Што вымералі даследаванні 2025-2026 гадоў

Андрэй Нясюк · 18 жніўня 2026 г. · Факты правераны: 11 жніўня 2026 г.

Студэнты аднаго курса біяінфарматыкі атрымлівалі заўвагі да сваіх работ, не ведаючы, хто іх напісаў: жывы асістэнт ці моўная мадэль. У іншай працы васямнаццаць мадэляў выставілі адзнакі больш чым шасці тысячам студэнцкіх рашэнняў, і з выкладчыкамі гэтыя адзнакі сышліся толькі часткова. Прачытаныя адна за адной, свежыя анатацыі пра моўныя мадэлі ў ролі правершчыка выглядаюць як спрэчка: адны аўтары паведамляюць пра праверку «comparable to human graders» («супастаўную з чалавекам-правершчыкам»), а другія праз некалькі месяцаў паведамляюць пра «only moderate agreement with human teachers’ grades» («толькі ўмеранае супадзенне з адзнакамі жывых выкладчыкаў»). Разабраныя па тым, што кожная праца рэальна клала на вагі, гэтыя вынікі перастаюць спрачацца, затое паказваюць заканамернасць, якую варта назваць уголас: чым бліжэй даследаванне падыходзіць да таго, што студэнт ведае пасля, тым цяжэй яму даецца станоўчы вынік.

Далей ідуць працы, апублікаваныя ў 2025 і 2026 гадах, разабраныя па тым, што ў кожнай стаяла на вымярэнні. Аглядны артыкул на гэтым сайце ахоплівае шэсць дзесяцігоддзяў да іх.

Супадзенне з чалавечай адзнакай

Найпрасцей за ўсё ў праверцы мераецца першае: ці выходзіць у машыны тая ж адзнака, што і ў выкладчыка. Дзве працы змералі роўна гэта і апынуліся ў розных месцах.

Ва ўніверсітэце Любляны курс біяінфарматыкі правёў сляпое параўнанне: кожны студэнт атрымліваў зваротную сувязь і ад моўнай мадэлі, і ад жывога асістэнта, не ведаючы, дзе чыя, і ацэньваў абедзве. Аўтары робяць выснову, што «with well-designed prompts, LLMs can achieve grading accuracy and feedback quality comparable to human graders» («пры добра прадуманых промптах вялікія моўныя мадэлі здольныя дасягнуць дакладнасці праверкі і якасці зваротнай сувязі, супастаўных з чалавекам-правершчыкам»), і дадаюць, што «open-source LLMs perform as well as commercial LLMs, allowing schools to implement their own grading systems while maintaining privacy» («мадэлі з адкрытым зыходным кодам працуюць не горш за камерцыйныя, што дазваляе навучальным установам разгортваць уласныя сістэмы праверкі, захоўваючы прыватнасць») (Poličar, Špendl, Curk & Zupan, 2025).

Другая праца буйнейшая і халаднейшая. Аўтар прагнаў васямнаццаць актуальных мадэляў ад чатырох распрацоўшчыкаў праз больш чым шэсць тысяч студэнцкіх рашэнняў, сабраных за чатыры гады аднаго ўводнага курса праграмавання, і паведамляе: «All models displayed high internal agreement, measured by the intraclass correlation coefficient, with the model consensus but only moderate agreement with human teachers’ grades, indicating a persistent gap between automated and human assessment» («Усе мадэлі паказалі высокую ўнутраную згоду з кансенсусам мадэляў, вымераную праз унутрыкласавы каэфіцыент карэляцыі, але толькі ўмераную згоду з адзнакамі жывых выкладчыкаў, што сведчыць пра ўстойлівы разрыў паміж аўтаматычным і чалавечым ацэньваннем») (Jukiewicz, 2025).

Разыходзяцца гэтыя дзве працы менш, чым здаецца. У Любляне правяралі адказы ў свабоднай форме ў межах аднаго курса, з промптамі, падагнанымі пад яго; параўнанне ж ацэньвала праграмныя рашэнні ў маштабе, адразу па многіх мадэлях і без падгонкі пад курс. Абедзве карціны могуць стаяць побач: мадэль са старанна складзеным промптам трапляе ў чалавечую адзнаку на пытаннях аднаго курса, а мадэлі наогул сыходзяцца адна з адной шчыльней, чым з выкладчыкамі.

Нязручная тут якраз другая знаходка. Калі мадэлі згодныя адна з адной і толькі ўмерана згодныя з людзьмі, значыць, у іх ёсць уласны агульны стандарт. Ці горшы ён за чалавечы, даследаванне не кажа, і я таксама гэтага не скажу. Кажа яно іншае: супадзенне адзнак паміж правершчыкамі перастае быць сведчаннем таго, што праверка правільная.

Хуткасць і давядзенне задачы да канца

Наступнае вымярэнне пераносіцца з адзнакі на саму работу студэнта.

Рандомізаванае разгортванне на рэальным уводным курсе Python ахапіла 6693 здачы ад 215 студэнтаў, якія далі згоду, на сямнаццаці лабараторных работах, у трох умовах: зваротная сувязь на натуральнай мове, згенераваныя ІІ тэсты, якія рашэнне не праходзіць, і адсутнасць ІІ-водгуку. Вынік такі: «natural language feedback is significantly associated with higher completion rates and faster convergence to correct solutions. Test case feedback, by contrast, exhibits heterogeneous effects that depend critically on feedback validity» («зваротная сувязь на натуральнай мове значна звязана з большай доляй даведзеных да канца заданняў і з тым, што правільнае рашэнне знаходзілася хутчэй. Зваротная сувязь праз тэставыя выпадкі, наадварот, дае неаднародныя эфекты, якія крытычна залежаць ад карэктнасці самой зваротнай сувязі») (Heickal & Lan, 2026).

Другі сказ заслугоўвае не меншай увагі, чым першы. Згенераваныя тэсты дапамагаюць, калі яны правільныя, і шкодзяць, калі не; сярэдні эфект таму дрэнна апісвае тое, з чым сутыкнуўся кожны асобны студэнт.

Паралельная праца мяняла, наколькі падрабязна зваротная сувязь вядзе студэнта: ад поўных тлумачэнняў да голага апісання таго, што пайшло не так, без ніводнай падказкі. Атрымалася, што «LLM-generated feedback is associated with faster time to solution compared to the no-feedback baseline, with less guided feedback showing slightly stronger effects» («зваротная сувязь, згенераваная моўнай мадэллю, звязана з хутчэйшым выхадам на рашэнне ў параўнанні з базавай умовай без зваротнай сувязі, прычым зваротная сувязь з меншай колькасцю падказак дае крыху мацнейшы эфект») (Mihaylova et al., 2026).

Тое, што менш падрабязная падказка спрацоўвае крыху лепш, супярэчыць чаканням, і лёгкаму тлумачэнню тут паддавацца не варта. Справа не ў тым, што студэнты перапісваюць гатовы адказ: промпты гэтага даследавання прама забараняюць паказваць узорнае рашэнне ці намякаць на яго, а найменш падрабязная ўмова і перапісваць дае менш за ўсё. Аўтары спасылаюцца на вядомы эфект, пры якім лішак падказак дапамагае пачаткоўцам і замінае тым, хто ўжо асвоіўся.

Што студэнт ведае пасля

Трэцяе вымярэнне, навучанне, дзеліць карціну па тым, як пабудавана даследаванне.

Рандомізаванае выпрабаванне ў Мюнхенскім тэхнічным універсітэце правяло 275 студэнтаў уводнага курса праз 90-хвіліннае практыкаванне па канкурэнтнасці ў трох умовах (ІІ-рэпетытар з жорсткімі рамкамі, свабодны ChatGPT і кантроль без ІІ), вымяраючы асобна вынік самога практыкавання і веды да і пасля. Абедзве ІІ-умовы далі вышэйшы вынік практыкавання. Ніводная не дала прыросту ведаў: «Despite these performance gains, neither AI condition produced greater pre–post knowledge gains or code-comprehension advantages… In this setting, generative AI acted primarily as a performance aid rather than a learning enhancer» («Нягледзячы на гэты прырост выніковасці, ніводная з ІІ-умоў не дала большага прыросту ведаў паміж замерамі да і пасля і не дала перавагі ў разуменні кода… У гэтых умовах генератыўны ІІ выступіў перадусім як сродак павышэння выніковасці, а не як узмацняльнік навучання») (Bassner et al., 2025). Тое ж выпрабаванне зафіксавала меншае напружанне ў студэнтаў і зніжэнне кагнітыўнай нагрузкі, таму назва працы абяцае менш стрэсу пры тым жа навучанні.

Другое рандамізаванае даследаванне, 257 студэнтаў уводнага курса, дадавала напісаныя моўнай мадэллю тлумачэнні паверх уласных паведамленняў кампілятара пра памылкі, не замяняючы іх. Пакуль зваротная сувязь была ўключана, яна скарачала бясплённыя спробы на цяжкіх задачах. Потым даследчыкі яе адключылі: «Notably, this positive impact was also observed in challenging tasks. However, its benefits did not sustain once the feedback was removed» («Прыкметна, што гэты станоўчы эфект назіраўся і на цяжкіх задачах. Аднак яго карысць не захоўвалася пасля таго, як зваротную сувязь прыбіралі») (Zhou, Pankiewicz, Paquette & Baker, 2025).

Насуперак гэтым дзвюм працам ідзе назіральнае даследаванне ў пяці муніцыпальных каледжах. Пачынаецца яно з таго, што называе прабел: «empirical assessments of auto-grader feedback’s impact on learning outcomes, such as grades and pass rates, remain insufficient (Keuning et al., 2018)» («эмпірычных ацэнак уплыву зваротнай сувязі ад аўтаправеркі на вынікі навучання, такія як адзнакі і доля паспяховай здачы, па-ранейшаму недастаткова (Keuning et al., 2018)»), а потым заяўляе, што гэты прабел закрывае: паведамляе пра сведчанні на карысць зваротнай сувязі ад аўтаматычнага правершчыка і заклікае карыстацца ёю шырэй (Zhang, Burte, Savelka, Bogart & Sakr, 2025).

Таму сумленная выснова вузейшая за «ІІ-водгук не вучыць». Там, дзе ў 2025 годзе студэнтаў размяркоўвалі выпадкова і мералі веды да і пасля, знаходзілі рост выніковасці без адпаведнага росту ведаў. А там, дзе назіралі курсы, якія і так карысталіся аўтаматычным правершчыкам, знаходзілі сувязі, накіраваныя ў другі бок. Назіральныя даныя не дазваляюць аддзяліць інструмент ад тых студэнтаў і выкладчыкаў, якія яго выбралі; менавіта таму рандамізаваныя вынікі важаць тут больш, і менавіта таму рабіць выгляд, што назіральных не існуе, таксама нельга.

Ці згаджаецца з адзнакай той, каго ацанілі

Чацвёртае вымярэнне сістэмы праверкі звычайна прапускаюць.

Турэцкае даследаванне разгарнула інструмент праверкі і апеляцый больш чым на 850 экзаменацыйных работах і 185 апеляцыях. Кідаецца ў вочы не лічба дакладнасці: «The appeal process led to grade changes in 74% of cases, indicating the need for continued refinement of AI evaluation strategies. While students appreciated the speed and detail of AI feedback, survey responses revealed trust and fairness concerns» («Працэдура апеляцыі прывяла да змены адзнакі ў 74% выпадкаў, што паказвае на неабходнасць далейшага ўдасканалення стратэгій ІІ-ацэньвання. Хоць студэнты цанілі хуткасць і падрабязнасць ІІ-водгуку, адказы на апытанне выявілі занепакоенасць пытаннямі даверу і справядлівасці») (Aytutuldu, Yol & Akgul, 2025).

Тры чвэрці абскарджаных адзнак змяніліся. Гэта не тры чвэрці ўсіх адзнак: студэнты падаюць апеляцыю выбарачна, звычайна калі лічаць, што маюць падставы, і 185 апеляцый на 850 з лішнім работ складаюць прыкладна адну з шасці. Затое лічба кажа, што працэдура апеляцыі мела рэальную вагу, і што тое ж разгортванне без яе пакінула б тыя адзнакі стаяць як ёсць.

Калі скласці ўсё разам

Раскладзіце працы па тым, што кожная клала на вагі.

Супастаўленне машыннай адзнакі з чалавечай дае вынікі ад «comparable» («супастаўна») у адным курсе з падагнанымі промптамі да «only moderate agreement» («толькі ўмераная згода») на васямнаццаці мадэлях у маштабе. Выйгрыш у прапускной здольнасці трымаецца ўстойліва. Там, дзе веды мералі ў рандамізаваным выпрабаванні, прыросту не відаць, хоць назіральная праца сцвярджае адваротнае. А там, дзе змералі, ці прымае студэнт сваю адзнаку, працэдура апеляцыі перапісала тры чвэрці таго, чаго кранулася.

Нішто з гэтага не робіць моўныя мадэлі дрэнным інструментам праверкі. Хутчэйшы водгук і большая доля даведзеных да канца заданняў вартыя таго, каб іх мець, і кафедра, якая тоне ў здачах, іх возьме. Чаго гэтыя даследаванні не дазваляюць, дык гэта наступнага кроку, які звычайна робяць следам: чытаць адзнаку, што прыйшла хутка і якую студэнт не аспрэчыў, як сведчанне, што па дарозе да яе студэнт нечаму навучыўся.

Гэты тэкст абапіраецца на восем даследаванняў, апублікаваных у 2025 і 2026 гадах і сабраных у межах агляду аўтаматычнай праверкі ў пяці моўных зонах. Яго склаў Андрэй Нясюк, які распрацоўвае AutoLabSuite, платформу для праверкі лабараторных работ па праграмаванні ва ўніверсітэцкіх курсах.