Abgabe- und Bewertungssystem für Aufgaben (Grader Service)

Mit dem integrierten Grader-Service der TU Wien ist es möglich den "Übungsbetrieb" (Aufgaben erstellen, verteilen, bearbeiten, abgeben, korrigieren, Feedback ausgeben) über bwJupyter abzuwickeln. Dozierende können über die Erweiterung Jupyter Notebooks mit Aufgaben und Punkten annotieren. Zu jeder Aufgabe können Tests geschrieben werden: Nur wenn der Test durchläuft, gibt es die volle Punktzahl. Die Tests können öffentlich und versteckt sein. Öffentliche Tests werden den Studierenden angezeigt. Das kann nützlich sein, um die grobe Funktionalität zu testen. Versteckte Tests werden den Studierenden nicht angezeigt. Sie können genutzt werden, um Randfälle der implementierten Lösung zu testen.

Nachdem das "Assignment" veröffentlicht wurde, können Studierende, die den Link zum Profil haben, die Aufgaben herunterladen. Die Lösung und die versteckten Tests sind nicht sichtbar. Nach der Bearbeitung muss das Notebook abgegeben werden.

Mit der Abgabe wird das Notebook automatisch bewertet: Die Tests werden ausgeführt und geben Punkte. Nach der automatischen Korrektur besteht die Möglichkeit die Abgabe nachträglich manuell zu korrigieren (z.B. für Freitext-Felder und Bonus-Punkte). Wenn die Korrektur abgeschlossen wurde, kann Feedback generiert werden. Das Feedback zeigt das Jupyter Notebook mit den Punkten, ggf. Kommentaren und den ausgeführten Tests. Studierende können sich das Feedback automatisch anschauen und herunterladen. Nach der Übung kann man sich eine CSV-Datei mit den erzielten Punkten herunterladen.

Grader-Service aktivieren
Um den Grader-Service in einem Profil nutzen zu können, muss zunächst die Option "Enable Grading Service for Jupyter Notebooks" in den Profil-Einstellungen aktiviert werden. Danach muss unter "JupyterLab Environment" das korrekte Docker Image gesetzt werden.

Damit der Grader-Service funktioniert, müssen die Python-Pakete grader-service und grader-labextension installiert werden. Wir haben bereits ein Image basierend auf dem Datascience-Profil erstellt. Tragen Sie dazu folgendes Image unter "Provide a custom Docker image" ein:

harbor-bwjupyter.apps.bwkube.scc.kit.edu/bwjupyter/bwj-grader-test:latest 

Wir halten das Image aktuell, um Bug-Fixes und Änderungen am Grader-Service zu übernehmen. Sollten Sie Ihr eigenes Image verwenden, installieren Sie bitte folgende Pakete. Beachten Sie hierbei aber, dass die Versionen ggf. aktualisiert werden müssen, wenn eine neue Version des Grader-Services von uns verwendet wird.

grader-service==0.8.2
grader-labextension==0.8.2

Nach den Änderungen hat das Profil in der Profil-Übersicht ("Profile Selection") unter "Shared Profiles" das Badge "Grading enabled".

Verwendung
Die Person, die das Profil erstellt hat, sowie alle "Profil-Collaborator", können Aufgaben erstellen, Abgaben einsehen, usw. Alle anderen Nutzende werden als "Studierende" betrachtet - auch dann, wenn sie in bwJupyter die Rolle "Lecturer" haben. Für die konkrete Nutzung verweisen wir auf die offizielle Dokumentation für Dozierende und Studierende.

Für einen leichteren Einstieg stellen wir Dozierenden ein Beispiel-Notebook mit Aufgaben und Tests zur Verfügung.

Feedback, Fragen und Probleme
Melden Sie sich gerne bei uns (support∂bwjupyter.de), wenn Fragen oder Probleme auftreten. Gerne leiten wir auch neue Feature-Anfragen weiter. Bitte beachten Sie aber, dass das Projekt open-source ist und wir den Dienst aus Kapazitätsgründen nicht selbst entwickeln bzw. weiterentwickeln können.