Аўтаматычная праверка заданняў па праграмаванні: шэсць дзесяцігоддзяў даследаванняў

Андрэй Нясюк · 11 жніўня 2026 г.· Факты правераны: 12 жніўня 2026 г.

Гэты агляд ахоплівае больш за шэсцьдзесят прац у пяці моўных зонах і прыходзіць да высновы: аўтаматычная праверка лабараторных работ па праграмаванні даўно стала хуткім і надзейным спосабам праверыць код, але за шэсць з лішнім дзесяцігоддзяў ніводнае з разгледжаных тут даследаванняў не паказала, што яна вучыць праграмаваць лепш. Гэтае пытанне ў галіне задаюць з 1960 года, калі Communications of the ACM апублікаваў дзве старонкі нататкі Дж. Холінгсуорта (J. Hollingsworth) пра праверачную праграму для курса праграмавання ў Політэхнічным інстытуце Рэнсэлера, якая працавала на машыне IBM 650: яна кампілявала рашэнні студэнтаў, запускала іх і выдавала вынік. Гэта першы задакументаваны аўтаматычны правершчык заданняў па праграмаванні. Сёння аўтаматычная праверка працуе ў аўдыторыях на пяці кантынентах, а даследчая літаратура пра яе разышлася як мінімум на пяць моўных зон. Усе гэтыя шэсцьдзесят з лішнім прац цягнуць за сабой адно і тое ж пытанне. Спасылкі на ключавыя працы дадзены па ходзе тэксту, поўны спіс у канцы артыкула.

Холінгсуорт задаў гэтае пытанне яшчэ ў артыкуле, з якога пачыналася ўся галіна. Апісваючы першыя пятнаццаць месяцаў работы свайго правершчыка ў параўнанні з метадам лабараторных груп, які той замяніў, ён пісаў:

“After fifteen months, our experience leads us to believe that students learn programming not only as well but probably better than they did under the method we did use—laboratory groups of four or five students.” (Hollingsworth, 1960)

«Праз пятнаццаць месяцаў наш вопыт прымушае нас меркаваць, што студэнты засвойваюць праграмаванне не толькі не горш, але, верагодна, нават лепш, чым пры метадзе, які мы выкарыстоўвалі раней: у лабараторных групах па чатыры-пяць чалавек».

Цытата ўзятая з бібліяграфічных метададзеных CrossRef; старонкі 1960 гада ў ACM платныя, і са сканам друкаванага арыгінала яе не звяралі.

Гэта сцвярджэнне пра навучанне, а не пра эканомію часу. Яно стаіць ля самага пачатку літаратуры, а не на нейкім познім маркетынгавым этапе, і менавіта да яго ўся далейшая гісторыя працягвае вяртацца, так і не вырашыўшы пытанне.

Чаму попыт нікуды не падзеўся

Норму «столькі гадзін на праверку задання» расійскі ці беларускі выкладчык ведае па ўласным тарыфікацыйным лісце; тэкст яшчэ вернецца да гэтай тэмы бліжэй да канца. А вось да якіх маштабаў у свеце вырас попыт на аўтаправерку, уладкована хутчэй нечакана: справа тут не столькі ў педагогіцы, колькі ў арыфметыцы, якая ў розных краінах даходзіць да лічбаў, непрывычных для айчыннага слыху.

Дзе не вытрымлівае нагрузка на выкладчыка

Агляд 2025 года ўводнага курса праграмавання ў Індыйскім тэхналагічным інстытуце Патны паведамляе, што курс «coordinated by three faculty members, resulting in a faculty-to-student ratio of 1:172, with additional support from TAs at a ratio of about 1:20» («каардынавалі тры выкладчыкі, з-за чаго суадносіны выкладчык-студэнт склалі 1:172, з дадатковай падтрымкай асістэнтаў у суадносінах каля 1:20») (Nareti et al., 2025). Ніякая асабістая самаахвярнасць уручную такія суадносіны не выправіць.

Інфраструктура, падобная да маштабу

Справаздача 2014 года, складзеная даследчыкамі з Універсітэта Цінхуа, Пекінскага ўніверсітэта і Ілінойскага ўніверсітэта ва Урбане-Шампейн, прасочвае гісторыю кітайскіх сістэм аўтаматычнай праверкі праграм (online judge), дзе бачна, што Кітай адбудаваў для гэтай задачы інфраструктуру прамысловага маштабу: ZOJ Чжэцзянскага ўніверсітэта запушчана ў 2003 годзе; POJ Пекінскага ўніверсітэта, запушчаная ў 2004-м, «доўгі час лідзіравала ў краіне» па колькасці адпраўленых рашэнняў: «больш за 8 мільёнаў праграм» да 2014 года; HDOJ Ханчжоўскага электратэхнічнага ўніверсітэта «першай пераадолела адзнаку ў 10 мільёнаў» адпраўленых праграм у студзені 2014 года (Liu, Wang & Xie, 2014; арыгінал на кітайскай: «北京大学的POJ…于2004年建立，程序提交量长期在国内领先，迄今已经提交了800多万个程序，…另外，杭州电子科技大学的HDOJ…程序提交数目于2014年1月率先冲破1000万大关», пераклад: «POJ Пекінскага ўніверсітэта… заснавана ў 2004 годзе, па колькасці адпраўленых праграм доўгі час лідзіравала ў краіне, на сёння адпраўлена больш за 8 мільёнаў праграм… акрамя таго, HDOJ Ханчжоўскага электратэхнічнага ўніверсітэта… колькасць адпраўленых праграм у студзені 2014 года першай пераадолела адзнаку ў 10 мільёнаў»).

Там, дзе не хапае камп’ютараў

AutoGrad, створаны для курса праграмавання SuaCode, яго аўтары апісваюць як «the first system built and tested in an African context across over thirty-five countries across the continent,» («першую сістэму, пабудаваную і выпрабаваную ў афрыканскім кантэксце больш чым у трыццаці пяці краінах кантынента»), разгорнутую для праверкі «1000+ students across Africa… with over 3,000 code files graded» («больш за 1000 студэнтаў па ўсёй Афрыцы… з праверкай больш за 3000 файлаў кода») (Annor et al., 2021). Там, дзе нават не хапае камп’ютараў, гэтая сістэма перайшла на тэлефоны, бо, як адзначаецца ў тым жа артыкуле, камп’ютары «tend to be in schools and not in homes» («звычайна знаходзяцца ў школах, а не дома») на большай частцы кантынента, у той час як валоданне смартфонамі працягвае расці.

Вымяральны выпадак: Японія

Ва ўніверсітэце Ніхон, як толькі колькасць студэнтаў на курсе перавысіла сотню, адзін выкладчык ужо не паспяваў сумленна правяраць працы ў адведзеныя гадзіны аўдыторных заняткаў. Маштаб тут меншы, чым у Індыі ці Кітаі, але эфект ад укаранення больш прыкметны. Пасля ўкаранення сістэмы аўтаматычнай падтрымкі праверкі справаздач для курса праграмавання на мове Сі вынік аказаўся ашаламляльным: «this system needs only one instructor, and the time required for grading was reduced to 1/4 of what it was before… previously, one instructor and three teaching assistants were needed for daily emailed reports, but with this system one instructor suffices… manual grading achieved 0.5 reports per minute; with this system, 2 reports per minute» («для гэтай сістэмы дастаткова аднаго выкладчыка, а час на праверку скараціўся да 1/4 ад мінулага… раней на штодзённыя справаздачы па пошце патрабаваўся адзін выкладчык і тры асістэнты, а з гэтай сістэмай хопіць аднаго выкладчыка… пры ручной праверцы выходзіла 0,5 справаздачы за хвіліну, з гэтай сістэмай 2 справаздачы за хвіліну») (Watanabe, 2009; арыгінал на японскай, першая частка ўзята з уводзінаў артыкула, другая з заключэння: «本システムによって教員１名ですみ，評価に要する時間が従来の1/4にすることができた…手作業による採点では0.5通/分に対して，本システムでは２通/分であり»).

Ніводзін з гэтых фактаў у вывучанай літаратуры не аспрэчваецца: аўтаправерка надзейна пераўтварае непрацоўныя суадносіны выкладчык-студэнт у працоўныя, і менавіта гэта лепш за ўсё дакументавана на яе карысць.

Што аўтаматызацыя надзейна дае і чым за гэта плоцяць

Аўтаматызацыю механікі праверкі праграмы сапраўды можна лічыць вырашанай інжынернай задачай, з добра зразумелымі і адкрыта задакументаванымі межамі.

Тэарэтычная мяжа

INGInious, платформа аўтаправеркі, створаная ў Лувенскім каталіцкім універсітэце (UCLouvain) для MOOC па парадыгмах праграмавання, сама фармулюе мяжу, далей якой аўтаматыка ў прынцыпе не пойдзе, ва ўласнай справаздачы аб вопыце выкарыстання: «Computer scientists know that automatic correction is not an easy task, because of theoretical limits: it is actually impossible to check whether the student’s code does the same as a correct one (consequence of Rice’s Theorem, see [Beckman, 1980])» («Спецыялісты па інфарматыцы ведаюць, што аўтаматычная праверка задача няпростая: з-за тэарэтычных абмежаванняў фактычна немагчыма праверыць, ці робіць код студэнта тое ж самае, што і правільнае рашэнне (следства тэарэмы Райса [Beckman, 1980])») (Derval, Gego, Reinbold, Frantzen & Van Roy, 2015). Аўтаправерка падмяняе вычарпальную карэктнасць пасільным набліжэннем, звычайна наборам тэстаў, і гэта набліжэнне даказальна няпоўнае.

Наколькі вялікі разрыў на практыцы

GATE, сістэма, створаная ў Тэхнічным універсітэце Клаўсталя і Берлінскім універсітэце імя Гумбальта, прайшла праверку на рэальным уводным курсе праграмавання 2009 года, і вынік паказвае, наколькі вялікі на практыцы разрыў паміж набліжэннем і праўдай. Аўтары паведамілі: «Of 1031 solutions, functional tests classified 759 solutions (73.6%) as incorrect, but tutors nevertheless rated 201 of these (26.5%) as correct, since only minor errors were present (e.g. typos, incorrectly set package)» («З 1031 рашэння функцыянальныя тэсты класіфікавалі 759 рашэнняў (73,6%) як некарэктныя, але выкладчыкі-цьютары ўсё роўна ацанілі 201 з іх (26,5%) як правільныя, паколькі ў іх былі толькі дробныя памылкі (напрыклад, апіскі альбо няправільна ўказаны пакет)») (Müller & Strickroth, 2013; арыгінал на нямецкай: «Von 1031 Lösungen wurden durch die Funktionstests 759 Lösungen (73,6%) als nicht korrekt klassifiziert aber 201 Lösungen (26,5%) hiervon von den Tutoren trotzdem als korrekt bewertet, da nur kleinere Fehler vorhanden waren»). Больш за чвэрць рашэнняў, якія аўтаматычныя тэсты адхілілі, паводле меркавання жывога цьютара, на справе былі ў парадку. Гэтую лічбу далі самі распрацоўшчыкі сістэмы, апублікаваўшы яе разам з сапраўднымі і статыстычна значнымі плюсамі на тым жа курсе: доля сінтаксічна карэктных здач вырасла на 25 працэнтных пунктаў у студэнтаў, якія карысталіся аўтаматычнай праверкай сінтаксісу. Незалежная нямецкая сістэма JACK у сваёй справаздачы 2008 года называе супастаўную лічбу: «Up to 28% of the results needed manual correction by the teacher, in most cases because of false negatives» («Да 28% вынікаў патрабавалі ручной карэкціроўкі выкладчыкам, у большасці выпадкаў з-за ілжываадмоўных спрацоўванняў») (Goedicke, Striewe & Balz, 2008).

Калі крытэрый пачынаюць абыгрываць

Доктарская дысертацыя Петры Іхантолы 2011 года ва ўніверсітэце Аалто прамым эксперыментам паказала, што крытэрый праверкі паддаецца эксплуатацыі, як толькі студэнты пачынаюць разумець, за што ён узнагароджвае: «We have analyzed how students behave when they are rewarded for structural test coverage (e.g. line coverage) and found that this can lead students to write tests with good coverage but with poor ability to detect faulty programs» («Мы прааналізавалі, як паводзяць сябе студэнты, калі іх узнагароджваюць за структурнае пакрыццё тэстамі (напрыклад, пакрыццё па радках), і выявілі, што гэта можа прыводзіць да напісання тэстаў з добрым пакрыццём, але слабой здольнасцю выяўляць памылковыя праграмы») (Ihantola, 2011). Аптымізацыя метрыкі і рост самога навыку аказаліся, мяркуючы па гэтых дадзеных, двума рознымі заняткамі.

Гэтыя лічбы галіна публікуе пра сябе сама: частку ілжываадмоўных спрацоўванняў супраць уласнай сістэмы агучылі самі аўтары GATE. Ніводная з гэтых прац не сцвярджае, што недасканалы крытэрый, разгорнуты ў маштабе, вучыць праграмаваць лепш, чым вучыў бы чалавек, які правярае. Гэтае сцвярджэнне належыць асобнаму, значна больш тонкаму пласту доказаў.

Што сістэматычныя агляды кажуць пра навучанне

Менавіта гэтае асобнае пытанне ўласная аглядавая літаратура галіны і прызнае непадмацаваным.

Сістэматычны агляд Кёнінга, Ёрынга і Хеерэна 2018 года, адзін з самых цытуемых у галіне, закадаваў 101 інструмент па тыпе генераванай імі зваротнай сувязі. Яго цэнтральная выснова тычыцца функцыянальнасці інструментаў, а не іх эфекту: «We have found that feedback mostly focuses on identifying mistakes and less on fixing problems and taking a next step. Furthermore, teachers cannot easily adapt tools to their own needs» («Мы выявілі, што зваротная сувязь у асноўным сканцэнтравана на выяўленні памылак і ў меншай ступені на іх выпраўленні і наступным кроку. Да таго ж выкладчыкі не могуць лёгка адаптаваць інструменты пад свае патрэбы») (Keuning, Jeuring & Heeren, 2018). Іначай кажучы, агляд, які ахапіў 101 інструмент, на дзіва мала кажа пра тое, ці палепшыў хоць адзін з іх вымерна тое, чаму навучыліся студэнты: гэтых доказаў у большасці проста не існуе, каб іх аглядаць.

Праз сем гадоў назіральнае даследаванне 2025 года ў пяці муніцыпальных каледжах пачынаецца з таго ж самага, усё яшчэ не закрытага разрыву: «However, empirical assessments of auto-grader feedback’s impact on learning outcomes, such as grades and pass rates, remain insufficient (Keuning et al., 2018)» («Аднак эмпірычных ацэнак уплыву зваротнай сувязі ад аўтаправеркі на вынікі навучання, такія як адзнакі і доля паспяховай здачы, па-ранейшаму недастаткова (Keuning et al., 2018)») (Zhang, Burte, Savelka, Bogart & Sakr, 2025). Праца 2025 года прама называе агляд Кёнінга прычынай свайго існавання: адна скарга, якая сем гадоў застаецца адкрытай, таму што закрыць яе ўвесь гэты час не было чым.

Наймацнейшае сведчанне «за» пры бліжэйшым разглядзе

Бліжэй за ўсё да станоўчага доказу ў гэтай літаратуры падыходзіць праца Стывена Эдвардса (Stephen Edwards) пачатку 2000-х аб тэст-арыентаваным ацэньванні з Web-CAT у Палітэхнічным інстытуце Вірджыніі. Яна называе канкрэтную лічбу: студэнты, якіх ацэньвалі праз TDD і Web-CAT, «submitted programs containing approximately 45% fewer defects per 1000 lines of code» («здавалі праграмы, якія ўтрымлівалі прыкладна на 45% менш дэфектаў на 1000 радкоў кода»), чым кагорта, якую ацэньвалі па-старому (Edwards, 2004). Анатацыя часопіснай версіі JERIC таго ж даследавання называе іншую лічбу, «a 28% reduction in defects per thousand lines of code» («зніжэнне дэфектаў на 28% на тысячу радкоў кода») (Edwards, 2003); разыходжанне паміж лічбамі ў правераных тут крыніцах застаецца нявырашаным пытаннем.

За любой з дзвюх лічбаў стаіць квазі-эксперымент, а не рандамізаванае выпрабаванне: кагорта Spring 2001 года, якую ацэньвалі па-старому, параўноўваецца з кагортай Spring 2003-га, якую ацэньвалі праз TDD і Web-CAT, па 59 студэнтаў у кожнай, адзін семестр, з ручной ацэнкай дэфектаў на ўручную праверанай выбарцы з 18 праграм, экстрапаліраванай на астатнія. У разгледжаных тут крыніцах незалежнай рэплікацыі выніку не знайшлося; сістэматычныя агляды галіны (Keuning et al., 2018; Messer et al., 2024) цытуюць пазнейшыя інструментальныя працы Эдвардса, але зыходнае сцвярджэнне не пацвярджаюць. За межамі Політэхнічнага інстытута Вірджыніі пра Web-CAT знайшлося адзінае сведчанне: саудаўскае разгортванне, дзе 50,6% студэнтаў паведамілі пра незадаволенасць зваротнай сувяззю сістэмы (Aldriye, Alkhalaf & Alkhalaf, 2019); задаволенасць не ёсць вынік навучання, але іншага незалежнага матэрыялу знайсці не ўдалося. Добрасумленнае сцвярджэнне дваццацігадовай даўніны, ні разу не рэплікаванае незалежна, само па сабе недастатковае, каб закрыць пытанне.

Самая новая версія абяцання пад прамой праверкай

Перш чым разбіраць выпрабаванні, адно трэба сказаць адразу: ніводнае з іх не правярае класічнага правершчыка на наборы тэстаў. Такіх кантраляваных выпрабаванняў у гэтым корпусе няма ўвогуле; менавіта гэты прабел і называюць штораз Кёнінг і Чжан. Замест гэтага 2025 год даў два рандамізаваныя выпрабаванні самых новых носьбітаў таго ж абяцання: ІІ-зваротнай сувязі, надбудаванай паверх таго ж аўтаматызаванага канвеера. Яны правяраюць сучасную версію сцвярджэння Холінгсуорта, а не яго інструмент, і абодва вярнуліся з адказам не на яе карысць.

Рандамізаванае выпрабаванне: прырост ведаў

Мюнхенскі тэхнічны універсітэт правёў у 2025 годзе рандамізаванае выпрабаванне з красамоўнай назвай «Less stress, better scores, same learning» («Менш стрэсу, вышэйшыя балы, тое ж навучанне»). Баснэр з калегамі правялі 275 студэнтаў уводнага курса CS праз 90-хвіліннае практыкаванне па канкурэнтнасці ў трох умовах (ІІ-рэпетытар з жорсткімі рамкамі, свабодны ChatGPT і кантроль без ІІ) і асобна вымералі і вынік самога практыкавання, і прырост ведаў да/пасля. Абедзве ІІ-умовы далі больш высокі вынік практыкавання. Ніводная не дала вышэйшага прыросту ведаў паміж замерамі да і пасля і не палепшыла разуменне кода. Выснову аўтары фармулююць так: «In this setting, generative AI acted primarily as a performance aid rather than a learning enhancer» («У гэтых умовах генератыўны ІІ выступіў перш за ўсё як сродак павышэння выніковасці, а не як узмацняльнік навучання») (Bassner, Lenk-Ostendorf, Beinstingel, Wasner & Krusche, 2025). Выніковасць і навучанне разыходзяцца роўна так, як сказана ў загалоўку, і выпрабаванне паказвае гэты механізм напрамую.

Рандамізаванае выпрабаванне: устойлівасць эфекту

257 студэнтаў уводнага курса праграмавання ўдзельнічалі ў іншым рандамізаваным даследаванні 2025 года, якое правярала сумежнае, але іншае пытанне: зваротную сувязь ад LLM па памылках кампіляцыі ў параўнанні са стандартнымі паведамленнямі кампілятара. Пакуль умяшанне дзейнічала, яно давала рэальны, вымераны эфект: зніжэнне бясплоднага «пракручвання колаў» і рост устойлівасці на цяжкіх задачах. Потым даследчыкі прыбралі зваротную сувязь і вымералі зноў: «Notably, this positive impact was also observed in challenging tasks. However, its benefits did not sustain once the feedback was removed» («Прыкметна, што гэты станоўчы эфект назіраўся і на цяжкіх задачах. Аднак яго карысць не захоўвалася пасля таго, як зваротную сувязь прыбралі») (Zhou, Pankiewicz, Paquette & Baker, 2025). Пакуль эфект доўжыўся, ён быў сапраўдным. Знік ён разам з умяшаннем: карціна, якую мы чытаем як прыкмету мыліцы, а не навучання, хоць зарана прыбраныя падпоркі пакінулі б той жа след, і само даследаванне паміж гэтымі прачытаннямі не выбірае.

Абодва выпрабаванні знайшлі адно і тое ж: ІІ-зваротная сувязь мяняе тое, што студэнты робяць, пакуль ён ёсць, і ніводнае не знайшло змен у тым, што застаецца ў іх пасля. Стандарт строгасці, ужыты вышэй да Эдвардса, дзейнічае і тут у поўную сілу: у кожным выпадку гэта даследаванне адной установы, аднаго кароткага ўмяшання (90-хвіліннае практыкаванне ў Мюнхене; памылкі кампілятара аднаго курса), публікацыя апошняга года, рэплікацый няма. Выснова таму вузкая: першыя прамыя вымярэнні самай новай формы абяцання знайшлі выніковасць без навучання. Класічны аўтаматычны правершчык уласнага выпрабавання ўсё яшчэ чакае.

Радок, якога няма

Адзін пласт доказаў у гэтым корпусе, здаецца, раней не публікаваўся на англійскай мове, і ўзяты ён з месца, пра якое звычайна не думаюць, калі гавораць пра даследаванні навучання: з нарматываў вучэбнай нагрузкі ВНУ.

Норму кшталту «0,3 гадзіны на праверку задання» беларускі выкладчык, хутчэй за ўсё, бачыў у сваім уласным тарыфікацыйным лісце: гэта не дзіва, а штодзённасць. Але ў кантэксце ўсёй гэтай літаратуры яна ператвараецца ў дадзеныя, якія можна супаставіць з сусветнай карцінай: расійскія і беларускія ВНУ задаюць фармальныя бюджэты часу, у гадзінах, на тое, колькі аплочанай працы каштуе кожная катэгорыя праверкі; лічбы гэтыя выкарыстоўваюцца выключна для разліку вучэбнай нагрузкі, без якой-небудзь педагагічнай рамкі.

Расійскія нарматывы

Норматыў НДУ ВШЭ, які дзейнічае з 2004 года, устанаўлівае для праверкі «эссе, домашних заданий, контрольных работ, рефератов» стаўку «0,3 часа на одно задание». Выключэннем лічацца самі рэфераты: на іх нарматыў адводзіць 0,75 гадзіны па праграмах падрыхтоўкі бакалаўраў і спецыялістаў і 1 гадзіну па праграмах падрыхтоўкі магістраў і аспірантаў (НДУ ВШЭ, 2004). Норматыў СПбДУТ, абноўлены ў 2017-2018 гадах, сыходзіцца з норматывам ВШЭ ў адным парадку велічыні і задае тую ж велічыню для катэгорыі «Проверка, консультация и прием контрольных, расчетных и расчетно-графических работ»: «0,3 часа на одно задание, но не более 1 часа на одного студента на дисциплину в семестр» (пераклад: «Праверка, кансультацыя і прыём кантрольных, разліковых і разлікова-графічных работ: 0,3 гадзіны на адно заданне, але не больш за 1 гадзіну на аднаго студэнта на дысцыпліну за семестр») (СПбДУТ, 2017-2018); у адрозненне ад норматыву ВШЭ, СПбДУТ выносіць рэфераты асобным радком, таму лічба не змешваецца з другой стаўкай.

Беларускія нарматывы

Для беларускага чытача гэта не проста параўнанне: гэта яго ўласная сістэма, толькі двухузроўневая. Агульнарэспубліканскі норматыў Міністэрства адукацыі задае не кропкавае значэнне, а дыяпазон: на праверку «контрольных работ, в том числе расчетно-графических и расчетных работ (типовые расчеты), предусмотренных учебной программой / учебным планом (в том числе в форме тестирования)» адводзіцца ад 0,35 да 0,5 гадзіны на 1 работу і «не более 1 часа на 1 студента (курсанта, слушателя) на учебную дисциплину (модуль) в семестр» (пераклад: «кантрольных работ, у тым ліку разлікова-графічных і разліковых работ (тыпавыя разлікі), прадугледжаных вучэбнай праграмай / вучэбным планам (у тым ліку ў форме тэсціравання)»; «не больш за 1 гадзіну на 1 студэнта (курсанта, слухача) на вучэбную дысцыпліну (модуль) за семестр») (Міністэрства адукацыі Рэспублікі Беларусь, рэдакцыя 2018 года). Канкрэтная ВНУ потым фіксуе ўласную велічыню ў межах гэтага рэспубліканскага дыяпазону. Беларуская дзяржаўная акадэмія сувязі так і зрабіла загадам ад 24 красавіка 2025 года, які прама абапіраецца на пастановы Міністэрства 2023-2024 гадоў (№ 310 ад 26 верасня 2023 г. і № 104 ад 16 жніўня 2024 г.), і пайшла на крок далей за любы расійскі дакумент, знойдзены ў гэтым аглядзе: яна называе лабараторную работу па імені. Загад адводзіць на праверку кантрольных работ, тыпавых разлікаў, разлікова-графічных работ, рэфератаў і справаздач аб выкананні лабараторных даследаванняў 0,4 гадзіны на 1 студэнта / 0,25 гадзіны на аднаго навучэнца на вучэбную дысцыпліну, модуль (БДАС, загад № 126, 2025).

З усіх чатырох разгледжаных дакументаў (двух расійскіх і двух беларускіх) менавіта БДАС адзіны прама называе лабараторныя даследаванні сваім імем, а не хавае іх пад агульнай катэгорыяй кантрольных заданняў, як робяць астатнія тры.

У гэтых чатырох дакументах (двух расійскіх і двух беларускіх) няма асобнага радка для праверкі праграмнага кода: словы «код», «праграма», «кампіляцыя», «адладка» і аднакаранёвыя ім у тэксце не сустракаюцца. Справаздачы па лабараторных работах з праграмавання правяраюцца ў той жа агульнай катэгорыі, што эсэ, тыпавыя разлікі і кантрольныя заданні наогул. Праверка чужой праграмы і чытанне пісьмовага кантрольнага задання трапляюць тут у адну графу, а не ў дзве; гэта тое, што паказваюць дакументы, і нічога ў іх не гаворыцца пра тое, ці задумваліся аўтары наогул пра гэтую розніцу. А яшчэ яны паказваюць улік такім, які ён ёсць: там, дзе аўтаправерка ў гэтых установах рэальна ўкаранёная, яна жыве ўнутры катэгорыі нагрузкі, старэйшай за яе саму, і ніводзін з чатырох тэкстаў не праводзіць мяжы паміж праверкай кода і праверкай прозы.

Падрабязны разбор гэтых нарматываў і таго, што рэальна вядома пра цану гэтай працы для таго, хто яе выконвае, вынесены ў асобны матэрыял на гэтым сайце.

Праз шэсць дзесяцігоддзяў

Тое, што гэтая літаратура цвёрда пацвярджае, зводзіцца да кароткага спіса.

Суадносіны выкладчык-студэнт, якое ўручную не выцягнуў бы ніхто (індыйскія 1:172 або кітайскія платформы на дзясяткі мільёнаў адпраўленых рашэнняў), выцягнута, і гэтага не аспрэчвае ні адна крыніца агляду, ні Афрыка з тэлефоннымі разгортваннямі, ні Японія з чатырохразовым паскарэннем. Далей пачынаецца плата. Тэарэтычную гарантыю карэктнасці, якую выключае тэарэма Райса, аўтаправерка мяняе на хуткае і няпоўнае набліжэнне, і там, дзе хто-небудзь вымераў гэтую няпоўнату напрамую, яна склала прыблізна чвэрць усіх адхіленых рашэнняў (26,5% у GATE). А студэнты, будучы студэнтамі, пачынаюць аптымізаваць пад крытэрый, як толькі крытэрый становіцца тым, за што ўзнагароджваюць; гэта напрамую паказала фінскае даследаванне пакрыцця тэстамі.

Чаго гэтая літаратура не пацвярджае праз шэсць з лішнім дзесяцігоддзяў пасля таго, як Холінгсуорт упершыню падняў гэтае пытанне, дык гэта сцвярджэнне з яго ж артыкула: што студэнты, якія навучаліся з аўтаматычным правершчыкам, вучацца лепш. Уласная аглядная літаратура галіны (сістэматычны агляд 2018 года і назіральнае даследаванне 2025-га, якое яго цытуе) кажа, што доказаў па-ранейшаму недастаткова, амаль тымі самымі словамі, з розніцай у сем гадоў (Keuning et al., 2018; Zhang et al., 2025). Два кантраляваныя выпрабаванні ў гэтым корпусе, якія вымералі навучанне напрамую, а не толькі выніковасць (абодва, заўважым, выпрабаванні навейшага ІІ-водгуку, а не класічнага аўтаматычнага правершчыка), выявілі разрыў паміж выніковасцю і навучаннем; адно з іх названа настолькі прама, наколькі ўвогуле можна назваць: «менш стрэсу, вышэйшыя балы, тое ж навучанне» (Bassner et al., 2025). А адзіны эфект, які праявіўся як рост настойлівасці на цяжкіх задачах, пераставаў праяўляцца ў той самы момант, калі зваротную сувязь адключалі (Zhou et al., 2025).

Нішто з гэтага не робіць аўтаправерку дрэнным інструментам для той задачы, якую яна відавочна вырашае. Праблема прапускной здольнасці, якую яна здымае, рэальная, і для шэрагу ўстаноў з гэтага агляду не вырашаць яе ніколі не было рэалістычным варыянтам. Але абяцанню пра навучанне так і не далі памерці: Холінгсуорт сфармуляваў яго ў 1960-м; Эдвардс шукаў пад яго лічбы ў 2003-м. Хвалю ІІ-інструментаў 2025 года мераюць ім проста цяпер. Чаго не адбылося ні ў адной кропцы гэтага ланцуга, дык гэта пацверджання. Больш сумленны вынік, заснаваны на тым, што рэальна паказваюць звыш шасцідзесяці прац гэтага агляду, больш вузкі за абяцанне: аўтаправерка паскарае праверку праграм. Ці вучыць яна хоць кагосьці пісаць іх лепш, застаецца, кажучы словамі самой літаратуры, адкрытым пытаннем.

Агляд абапіраецца на 65 прац асноўнага корпуса і 7 нарматыўных дакументаў, знойдзеных пры пошуку 11-13 жніўня 2026 года (два праходы) у пяці моўных зонах: англамоўнай базавай літаратуры, іншай еўрапейскай навуцы, расійскіх і постсавецкіх крыніцах, беларускіх крыніцах і больш шырокім міжнародным пласце, які ахоплівае Кітай, Японію, Індыю, Турцыю, Саудаўскую Аравію, Бразілію і Афрыку. Яшчэ 27 сумежных прац пералічаны асобна, сярод іх і адзіная знойдзеная праца з Мексікі. Для асноўнага корпуса пошук не знайшоў прыдатных прац па Казахстане і Сярэдняй Азіі і па Егіпце, Іарданіі, ААЭ, Іране і Ізраілі. Агляд склаў Андрэй Нясюк, які распрацоўвае AutoLabSuite, платформу для праверкі лабараторных работ па праграмаванні ва ўніверсітэцкіх курсах.

Спіс прац агляду

Спіс падзелены на тры групы: асноўны корпус, на якім трымаюцца высновы артыкула; нарматывы вучэбнай нагрузкі ВНУ, адкуль узятыя нормы часу на праверку; сумежныя працы пра алімпіяды па праграмаванні, антыплагіят, тэставанне ведаў і ўладкаванне сістэм праверкі, якія акрэсліваюць поле, але пытання пра навучанне наўпрост не датычацца.

Асноўны корпус: англамоўная літаратура (31)

Hollingsworth, J. (1960). Automatic graders for programming classes. Communications of the ACM.
Forsythe, G. E., Wirth, N. (1965). Automatic grading programs. Communications of the ACM.
Hext, J. B., Winings, J. W. (1969). An automatic grading scheme for simple programming exercises. Communications of the ACM.
Edwards, S. H. (2003). Rethinking computer science education from a test-first perspective. OOPSLA ’03 Companion.
Edwards, S. H. (2003). Using test-driven development in the classroom: Providing students with concrete feedback on performance. EISTA’03.
Edwards, S. H. (2003). Improving student performance by evaluating how well students test their own programs. JERIC.
Edwards, S. H. (2004). Using software testing to move students from trial-and-error to reflection-in-action. SIGCSE ’04.
Ala-Mutka, K. M. (2005). A survey of automated assessment approaches for programming assignments. Computer Science Education.
Douce, C., Livingstone, D., Orwell, J. (2005). Automatic test-based assessment of programming: A review. Journal on Educational Resources in Computing.
Spacco, J., Hovemeyer, D., Pugh, W., et al. (2006). Experiences with Marmoset: Designing and using an advanced submission and testing system for programming courses. ITiCSE ’06.
Ihantola, P., Ahoniemi, T., Karavirta, V., et al. (2010). Review of recent systems for automatic assessment of programming assignments. Koli Calling 2010.
Rodríguez-del-Pino, J. C., Rubio-Royo, E., Hernández-Figueroa, Z. J. (2012). A Virtual Programming Lab for Moodle with automatic assessment and anti-plagiarism features. EEE’12.
Buffardi, K., Edwards, S. H. (2013). Effective and ineffective software testing behaviors by novice programmers. ICER ’13.
Lobb, R., Harlow, J. (2016). CodeRunner: A tool for assessing computer programming skills. ACM Inroads.
Keuning, H., Jeuring, J., Heeren, B. (2018). A systematic literature review of automated feedback generation for programming exercises. ACM Transactions on Computing Education.
Croft, D., England, M. (2020). Computing with CodeRunner at Coventry University: Automated summative assessment of Python and C++ code. CEP 2020.
Lin, K. (2020). A Berkeley view of teaching CS at scale. arXiv preprint.
Ramos, V. F. C., Cechinel, C., Magé, L., et al. (2021). Student and lecturer perceptions of usability of the Virtual Programming Lab module for Moodle. Informatics in Education.
Félix, E., Amadieu, F., Venant, R., et al. (2022). Process and self-regulation explainable feedback for novice programmers appears ineffectual. EC-TEL 2022.
Paiva, J. C., Leal, J. P., Figueira, Á. (2022). Automated assessment in computer science education: A state-of-the-art review. ACM Transactions on Computing Education.
Paiva, J. C., Figueira, Á., Leal, J. P. (2023). Bibliometric analysis of automated assessment in programming education: A deeper insight into feedback. Electronics.
Van Petegem, C., Maertens, R., Strijbol, N., et al. (2023). Dodona: Learn to code with a virtual co-teacher that supports active learning. SoftwareX.
Messer, M., Brown, N. C. C., Kölling, M., et al. (2024). Automated grading and feedback tools for programming education: A systematic review. ACM Transactions on Computing Education.
Aytutuldu, I., Yol, O., Akgul, Y. S. (2025). Integrating LLMs for grading and appeal resolution in computer science education. arXiv preprint.
Bassner, P., Lenk-Ostendorf, B., Beinstingel, R., et al. (2025). Less stress, better scores, same learning: The dissociation of performance and learning in AI-supported programming education. Computers and Education: Artificial Intelligence.
Jukiewicz, M. (2025). A systematic comparison of large language models for automated assignment assessment in programming education. arXiv preprint.
Policar, P. G., Spendl, M., Curk, T., et al. (2025). Automated assignment grading with large language models: Insights from a bioinformatics course. arXiv preprint.
Zhang, A., Burte, H., Savelka, J., et al. (2025). Auto-grader feedback utilization and its impacts: An observational study across five community colleges. arXiv preprint.
Zhou, Y., Pankiewicz, M., Paquette, L., et al. (2025). Impact of LLM feedback on learner persistence in programming. ICCE 2025.
Heickal, H., Lan, A. (2026). A classroom study of LLM-generated feedback intervention in introductory programming. arXiv preprint.
Mihaylova, T., Logacheva, E., Hellas, A., et al. (2026). The effects of structured LLM-generated feedback on programming assignment performance. arXiv preprint.

Асноўны корпус: іншая еўрапейская навука (10)

Leal, J. P., Silva, F. (2003). Managing programming contests with Mooshak. Software: Practice and Experience.
Goedicke, M., Striewe, M., Balz, M. (2008). Computer Aided Assessments and Programming Exercises with JACK. ICB Research Report, Universität Duisburg-Essen.
Leal, J. P., Santos, A. M. (2008). Avaliação de satisfação dos utilizadores do Mooshak. CIAWI 2008.
Ihantola, P. (2011). Automated Assessment of Programming Assignments: Visual Feedback, Assignment Mobility, and Assessment of Students’ Testing Skills. Aalto University.
Müller, O., Strickroth, S. (2013). GATE – Ein System zur Verbesserung der Programmierausbildung und zur Unterstützung von Tutoren. ABP 2013, CEUR-WS.
Derval, G., Gego, A., Reinbold, P., et al. (2015). Automatic grading of programming exercises in a MOOC using the INGInious platform. EMOOCS 2015.
Breitner, J., Hecker, M., Snelting, G. (2016). Der Grader Praktomat. Automatisierte Bewertung in der Programmierausbildung, Waxmann.
Goedicke, M., Striewe, M. (2017). 10 Jahre automatische Bewertung von Programmieraufgaben mit JACK – Rückblick und Ausblick. INFORMATIK 2017, GI-Edition LNI.
Nina Orellana, J. O. (2024). Plataforma de evaluación automática para programación. Universidad de La Laguna.
Striewe, M. (2024). Integrated E-Assessment. Universität Duisburg-Essen.

Каментарыі

Адказы ад імя гэтага блога рыхтуюцца з дапамогай моўнай мадэлі і публікуюцца пасля праўкі і праверкі чалавекам. Факты ў адказах правяраем гэтак жа, як у артыкулах, са спасылкай на крыніцу і даслоўнай цытатай.

Пасля націску кнопкі віджэт загрузіцца з GitHub. Правілы каментарыяў