Aktuelles Kundenstatement

Dr. Frank Hees,
Bereichsleiter Kommunikations- und Organisationsentwicklung,
ZLW-IMA der RWTH Aachen

Jährlich absolvieren ca. 1.000 Studierende des Bachelor-Studiengangs Maschinenbau eine Prüfung zur Pflicht­veranstaltung „Informatik im Maschinenbau“ an der RWTH Aachen.

Die RWTH stellt hohe Anforderungen an ihre Klausuren. So sollen die Aufgaben einen angemessenen Schwierigkeitsgrad enthalten, die Aufgabenstellung und die Lösungsmöglichkeiten müssen eindeutig sein und die gleichbleibend hohe Qualität der Aufgaben soll über einen langen Zeitraum gewährt werden. Um dies zu gewährleisten, werden in mehreren Durchgängen Probeklausuren geschrieben und dem Hochschullehrer zur Prüfung vorgelegt. Erst nach den strengen Qualitätskontrollen wird die Klausur an die Studierenden zur Prü­fung verteilt. Die Klausurerstellung ist somit sehr zeitaufwendig.

Durch diesen hohen Arbeitsaufwand bei der Erstellung von Klausuren ist zwar die hohe Qualität der Klau­suren sichergestellt, allerdings entstehen pro Klausur auch enorme Kosten. So sind für eine Klausur mit 1.000 Prüflingen folgende Personalkosten (Wissenschaftliche Mitarbeiter) zu veranschlagen:

Aus diesem Grund wurde nach einer qualitativ hochwertigen elektronischen Alternative zur klassischen Klau­sur für die Studierenden mit einem vertretbaren Aufwand auf Institutsseite gesucht. Das Ziel war nach einiger Überlegung die Generierung einer intranetbasierten Klausur zur Minimierung der enormen Prü­fungs­be­las­tung sowohl für das Institut als auch die Studierenden sowie zur deutlichen Reduzierung der Gesamt­kosten.

Für die Umsetzung einer solchen Klausur wurde das bereits erprobte Online-Prüfungssystem (OPS) der inside Unternehmensgruppe angeschafft. Mit dem OPS können Klausuren erstellt, durchgeführt und auto­matisch ausgewertet werden. Es bietet zahlreiche Aufgabentypen wie z.B. Mehrfachwahlaufgaben, Auswahl­aufgaben, Klassifikationsaufgaben, Ordnungsaufgaben und Zuordnungsaufgaben. Darüber hinaus ist die Nutzung von Grafiken, Bildern und Anhängen in allen Bereichen der Aufgaben möglich.

• Hohe Sicherheit gegen Täuschungsversuche durch die Randomisierung von Fragen und Antworten
  
• Steigerung der Beurteilungs- und Auswertungsobjektivität
  
• Wegfall von Material- und Personalkosten für die Vervielfältigung der Klausurbögen
  
• Vereinfachung der Klausureinsicht durch einen elektronischen Fingerabdruck und pdf-Dokument
  
• Wiederaufnahme der Prüfung ohne Datenverlust im Falle von technischen Problemen (Rechnerabsturz)
  
• Minimierung der Personalkosten für die Klausurkorrektur
  
• Vereinfachung der Evaluation
  
• Automatische elektronische Archivierung der Klausurdaten und Fragen
  
• Schnelle und elektronisch automatisierte Bekanntgabe der Ergebnisse
  
• Qualitätssteigerung der Klausuren

• Es sollte eine handschriftliche Klausur im Falle eines Totalausfalls vorhanden bzw. ein Ersatztermin für die Klausur organisiert sein.
  
• Geheimhaltung des Fragenpools
  
• Erhöhter Personaleinsatz in der Entwicklungs- und Initialisierungsphase der Prüfung:
      - Erstellung des Fragenpools anhand von Lernzielen
      - Elektronische Generierung
      - Durchführung eines Pretests

An der RWTH wurde das OPS für die gleichen 1.000 Studierenden des Maschinenbaus im Fach „Kom­mu­ni­ka­tion und Organisationsentwicklung“ eingesetzt, wie die oben beschriebene Klausur mit manu­eller Kor­rek­tur. Im Ergebnis ist festzuhalten, dass nach dem erhöhten Personalaufwand während der Ent­wick­lungsphase der Aufgaben sowohl die Kosten als auch der Zeitaufwand für die Klausurerstellung, die -durchführung und die -korrektur auf Dauer erheblich sinken.

Selbst bei der erstmaligen Erstellung einer Klausur − wenn auch in der geschilderten Fallstudie in zwei unter­schiedlichen Studienfächern − sinkt der Personalaufwand von 261 auf 113 Personentage. Sobald der Fragen­pool erstellt ist, reduziert sich der Aufwand nochmals um 80 (!) Personentage.

Fazit

Der Einsatz des OPS ist gerade für Klausuren mit vielen Studierenden von Vorteil, da auf Dauer ein großes Po­ten­zi­al an Arbeitstagen und somit Kosten eingespart werden.

 

Die Arbeit der Dozenten wird insbesondere in der Entwicklungsphase der Klausuren erleichtert, reduziert die­se jedoch nicht zu jedem Zeitpunkt. Dadurch, dass das OPS den vollständigen Prozess von der Lehr­ziel­defi­nition über die Aufgaben- und Klau­sur­ent­wicklung bis hin zur Auswertung und Evaluation abbildet, bindet es die Dozenten obligat an eine strukturierte Vorgehensweise, die sich an Methoden der Testtheorie orientiert. Das bedeutet in der Initialphase teilweise sogar einen höheren Aufwand. Sobald jedoch erst einmal eine Klausur­definition erstellt und ein Aufgabenpool auf­ge­baut wurde, rentiert sich der erhöhte Aufwand langfristig auf­grund der beschriebenen Vorteile.

 

Das ZLW-IMA ist vom Einsatz des OPS nicht nur wegen des großen Einsparpotenzials überzeugt. Auch unter Qualitätsgesichtspunkten − wie z.B. der Fehlertoleranz, der uneingeschränkten Möglichkeit zur Klau­sur­ein­sicht oder der eindeutigen personellen Zuordnung einer Klausur − hat uns dazu veranlasst, das Sys­tem auch in Zukunft für Klausuren zu nutzen.