The table for the completed review is available here
The table below is for the paper on the first results: Towards a Systematic Review of Automated Feedback Generation for Programming Exercises. Hieke Keuning, Johan Jeuring and Bastiaan Heeren.
Tooltips in the table provide descriptions of the abbreviations and symbols.
Feedback content | Technique | Adaptability | Evaluation | ||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
KTC | KC | KM | KH | EM | |||||||||||||||||||||||||||||
Name | Lang | Ex | TR | TPR | EXP | EXA | TF | CE | SE | SI | PI | EC | TPS | KMC | MT | CBM | AT | SA | PT | IBD | EX | Other | ST | MP | TED | ED | SM | Other | ANC | ANL | LO | SU | TA |
WebToTeach | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
SAC | Imp/OO | C3 | ○ | ● | ● | ● | ● | ||||||||||||||||||||||||||
Online Judge | Imp/OO | C3 | ○ | ○ | ○ | ● | ● | ● | |||||||||||||||||||||||||
(Chen04) | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
PATTIE | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||
Quiver | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||||
AutoGrader | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||
ASSYST | Imp/OO | C3 | ○ | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||
Mooshak | Imp/OO | C3 | ○ | ● | ● | ● | ● | ||||||||||||||||||||||||||
HOGG | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
(Sant09) | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
Bridge | Imp/OO | C2 | ● | ◐ | ◐ | ● | ● | ||||||||||||||||||||||||||
ACT Programming Tutor (APT) | Multi | C2 | ● | ○ | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||
The LISP tutor | Fun | C2 | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||||
JITS | Imp/OO | C2 | ○ | ○ | ● | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||
(Chang00) | Imp/OO | C2 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
RoboLIFT | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
BIP | Imp/OO | C3 | ● | ● | ● | ● | ● | ◐ | ● | ● | ● | ● | ● | ● | |||||||||||||||||||
ITEM/IP | Imp/OO | C3 | ● | ○ | ● | ● | ● | ● | |||||||||||||||||||||||||
RoboProf | Imp/OO | C2 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
(Fischer06) | Imp/OO | C3 | ● | ● | ○ | ○ | ● | ● | ● | ● | |||||||||||||||||||||||
ProPL | Imp/OO | C2 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
(Naur64) | Imp/OO | C3 | ● | ○ | ● | ● | ● | ||||||||||||||||||||||||||
InSTEP | Imp/OO | C2 | ● | ● | ● | ◐ | ● | ● | ● | ● | ● | ||||||||||||||||||||||
(Bettini04) | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||
HabiPro | Imp/OO | C2 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||
INCOM | Log | C3 | ● | ● | ● | ◐ | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||
AutoLEP | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||
DISCOVER | Imp/OO | C2 | ● | ● | ◐ | ◐ | ● | ● | ● | ● | ● | ||||||||||||||||||||||
EduComponents | Multi | C3 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
Ceilidh | Multi | C3 | ● | ● | ○ | ○ | ○ | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||
PASS | Imp/OO | C3 | ● | ● | ● | ● | |||||||||||||||||||||||||||
ASAP | Imp/OO | C3 | ● | ● | ● | ● | |||||||||||||||||||||||||||
APOGEE | Web | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
WebWork-JAG | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
(Harris04) | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
(Jackson00) | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||||
Kassandra | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
autograder | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
Virtual Programming Lab | Multi | C3 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
Scheme-robo | Fun | C3 | ● | ○ | ○ | ● | ● | ● | ● | ● | |||||||||||||||||||||||
Ludwig | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||
MarmoSet | Multi | C3 | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
Automatic Marker for Sakai | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
ELP | Imp/OO | C2 | ● | ● | ◑ | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||
submit | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||||
Praktomat | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
BOSS | Multi | C3 | ○ | ● | ● | ● | ● | ● | |||||||||||||||||||||||||
Web-CAT | Multi | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||||||
CourseMarker/CourseMaster | Multi | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||
datlab | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||||
Ask-Elle | Fun | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||||
ADAPT | Log | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||
(Hong04) | Log | C3 | ● | ◐ | ◐ | ● | ● | ● | ● | ||||||||||||||||||||||||
PROUST | Imp/OO | C3 | ● | ◐ | ● | ● | ● | ||||||||||||||||||||||||||
APROPOS2 | Log | C3 | ● | ● | ● | ● | ● | ● | ● | ||||||||||||||||||||||||
GAME (2, 2+) | Multi | C3 | ○ | ● | ○ | ○ | ● | ● | ● | ● | ● | ||||||||||||||||||||||
PASS | Imp/OO | C2 | ● | ● | ◐ | ● | ● | ● | ● | ● | |||||||||||||||||||||||
INTELLITUTOR (II) | Imp/OO | C2 | ● | ◐ | ● | ● | ● | ||||||||||||||||||||||||||
AnalyseC | Imp/OO | C3 | ● | ◑ | ● | ● | ● | ● | |||||||||||||||||||||||||
SIPLeS-II | Imp/OO | C3 | ● | ◑ | ● | ● | ● | ● | ● | ||||||||||||||||||||||||
LAURA | Imp/OO | C2 | ● | ● | ● | ● | |||||||||||||||||||||||||||
ELM-PE/ELM-ART (II) | Fun | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||
JACK | Imp/OO | C3 | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | ● | |||||||||||||||||
(Coffman10) | Web | C3 | ● | ● | ● | ● | |||||||||||||||||||||||||||
(Isaacson89) | Imp/OO | C3 | ○ | ○ | ● | ● | |||||||||||||||||||||||||||
TRY | Multi | C3 | ● | ● | ● | ||||||||||||||||||||||||||||
xLx | Imp/OO | C3 | ● | ● | ● | ● | ● | ||||||||||||||||||||||||||
(Sztipanovits08) | Web | C3 | ○ | ● | ● |