An Studierende kommunizierte Bewertungskriterien nicht bindend

[DerLenny]

Hinweis: da es doch ne Wall of Text geworden is, versuche ich mal die Kernpunkte hervorzuheben 

 

Im Master Studiengang Informatik gibt es als eines der ersten Module "Programmieren mit Python." 

Die Aufgabe ist die Erstellung eines Programmes. Ich zitiere wörtlich aus der Aufgabenstellung: "Deine Aufgabe ist, ein Python Programm zu schreiben, welches [...]".

Die Prüfungsform ist "Hausarbeit." Also kein Projektbericht oder Portfolio, sondern eine Hausarbeit.

 

Aufgabe: Erstelle ein Programm

Prüfungsform: Hausarbeit

 

Was zu diversen Problemen führt. Zum einen gibt es keine Fragestellung in dem Sinne, die in der Hausarbeit zu beantworten wäre. Die Aufgabenstellung und die dazu gehörigen Hinweise sind extrem ausformuliert und geben teilweise direkte Anweisungen wie etwas umzusetzen ist, ohne darauf einzugehen, welchen Zweck (über die tatsächlichen Schritte des Programms hinaus) es erfüllt oder warum Dinge getan werden sollen.

Woraus auch ein recht monotones Umsetzen ("Codierschweinarbeit") folgt.

 

Im Tutorium wurde auch gesagt,  die Prüfungsform passe nicht, die wäre halt so. Es ginge auch in erster Linie um das Programm. Daher solle man das ebenfalls hochladen. Die Hausarbeit wäre eben pro forma.

 

Aussage im Tutorium: Programm wichtig, daher Quellcode mit abgeben. Hausarbeit wäre nur der Form halber.

 

Ok, Programm geschrieben, was recht schnell ging, da ich recht gern in Python arbeite und da auch einige Projekte mit umgesetzt habe.

 

Dann die "Hausarbeit" geschrieben. Was echt schwer ist, da das Format halt nicht zur Aufgabe passt. Also habe ich Problem und Lösung beschrieben, die üblichen Diagramme zum Systemaufbau eingefügt, die Ausgabe wie gewünscht dokumentiert und den Quellcode als Anhang eingefügt.

 

Da es keine Probleme gab, die es zu lösen galt und selbst die Wahl der Bibliotheken stark vorgeben war, war hier eine Eigenleistung auf der konzeptionellen Ebene nicht möglich. Bei einer Programmierübung auf Einstiegsebene ist das auch kein Problem.

 

Also, PDF hochgeladen, Programmcode komprimiertund.. hm... man kann den Quellcode gar nicht abgeben. Also nur die HA abgegeben, und den Quellcode an den Tutor geschickt. 

 

Nach Ablauf der Korrekturfrist kommt dann auch die Note. Mit ner 1,7 schlechter als meine Erwartungshaltung, aber ich bin ja eigentlich froh, wenn mal etwas kritischer rangegangen wird. Also direkt mal nen Blick auf die Bewertung geworfen.

 

Die Bewertung bezieht sich nur auf "Hausarbeit".  Die Kommentare, die die Differenz zur 1,0 erklären könnten (also einen Mangel ausgedrückt haben)  waren:

• Die Einleitung solle nicht die Zielvorgabe beschreiben, sondern zur Fragestellung hinführen
• Es fehlt ein Fazit
• Es fehlen Quellenangaben

Bewertung bezieht sich nur auf die HA, keinerlei Kommentare zum Code.

 

Das hat mir jetzt erst mal nicht weitergeholfen. In Projektberichten ist es üblich das Projekt und dessen Umgebung in der Einleitung zu beschreiben. Da ein Projektbericht am nähesten an dem Ding hier dran ist, habe ich das auch hier gemacht. Es gibt somit auch keine Fragestellung, auf die hätte hingearbeitet werden können, da die Aufgabe imperativ gestellt ist.

Und ich habe auch kein Fazit, da es es ja eine sehr simple Programmieraufgabe war, bei der sich der Anspruch wirklich auf das Umsetzen der Vorgaben beschränkt hat. Auscodieren, oder wie wir es früher genannt haben: Codierschweinarbeit.  

 

Bei den Quellenangaben war ich noch irritierter. Es war eine praktische Arbeit in der alles vorgegeben war. Es mussten keine relevante Entscheidungen getroffen werden, da es echt ein simples Batch Programm ist. Folglich habe ich keine Aussagen getroffen, die einen Beleg benötigen. Da es eine wenig komplexe praktische Arbeit ist, die keinerlei Neues schafft oder wirklich sehr kleinteilig vorgegeben ist.

 

Kurzer Blick auf den Bewertungsspiegel um evtl. hier noch Infos zu erhalten: dieser ist komplett leer. Wie sich die Note zusammensetzt, ist daher auch auf diese Weise nicht nachvollziehbar. 

 

Ok, kein Ding, also eine Email geschrieben und nach der Erwartungshaltung gefragt und welche Aussage einen Beleg benötigen würde. Und darauf hingewiesen, dass ich keine Einträge bei den Komponenten habe. Einfach nur, weil ich verwundert war, die Note selbst ist ja im Rahmen. Insbesondere, wenn man bedenkt, dass das nen Wochenendkurs ist.

 

Der Tutor hat mich dann an das Prüfungsamt verwiesen und war so fürsorglich, meine Email direkt weiterzuleiten.

Das Qualitätsmanagement hat mir inzwischen die folgenden Aussagen des Prüfungsamts mitgeteilt:

• Bei der Aufgabenstellung gibt es Mängel, diese wollen sie "zügig anpassen." (Geschickter wäre es evtl. die Art Prüfungsleistung anzupassen damit sie zu einer Programmieraufgabe passt)
• ein Kommentar + Note ist ausreichend, da summativ bewertet wird, 
• Die Bewertungskriterien und deren Gewichtung sind nur ein optionaler Vorschlag, die bewertende Person braucht diese nicht zu nutzen, sondern kann direkt eine. Note vergeben und Feedback in anderer Form geben.

 

Das heisst: Die an die Studierenden kommunizierten Bewertungsrichtlinien sind wohl nicht bindend 

Denn sie können jederzeit wohl gewollt umgangen werden.

 

Die Frage, nach welchen Kriterien denn gewertet wird, wenn die gestellte Aufgabe faktisch keiner der von der IU definierten Prüfungsformen entspricht, und die angegebene nur pro forma ist, wurde nicht beantwortet.

 

Die Frage wie die Gütekritierien der Reliabilität und Validität sichergestellt werden, wurde auch nicht beantwortet - zumindest nicht über die oben erwähnten Punkte hinaus.

Es wird wohl kein Problem darin gesehen, dass die Abgaben, die bis zur Anpassung der Aufgabenstellung eingereicht wurden und werden, eigentlich aufgrund der fehlenden Passung von Aufgabe zu Prüfungsform, einen nicht wirklich definierten Status haben. Und dass, obwohl die aktuelle Situation zumindest so dringend eingestuft wird, dass es einer zügigen Anpassung bedarf. 

 

Aus der  Antwort ergibt sich auch das Folgeproblem, dass den Studierenden nicht mitgeteilt wird, dass die im System hinterlegten Bewertungskriterien nur optional sind. Was dann halt dazu führt, dass man der Meinung ist, diese wären verlässlich.

Evtl. könnte die @IU Internation. Hochschule diesen Hinweis in den Prüfungsleitfäden aufnehmen. Aktuell erwecken die dort gelisteten Kriterien und deren Gewichtung (noch) den Eindruck der Verbindlichkeit. Dass die hohe Flexibilität der IU auch Art, Form und Bewertung von Prüfungsleistungen umschließt, wird hier (noch) nicht erwähnt.

Ob dies nur bei der Hausarbeit der Fall ist, oder sich auf alle Prüfungsformen bezieht, kann ich aktuell nicht sagen. Die Aussage klang allgemeingültig, allerdings war es ein konkreter Fall, daher könnte sich die Aussage nur auf diese bezogen haben. Evtl. könnte die IU auch hier informieren. 

 

 

Da ich in der "Hausarbeit" auf das fehlende Fazit hingewiesen wurde, folgt nun zumindest hier eines.

Fazit:

Ich bin es ja gewohnt, dass "Trust me, Bro" die Quelle für große Teile des Inhalts der Lehrbriefe ist. Bei Prüfungen würde ich es jedoch begrüßen, wenn hier die bisher übliche Nachvollziehbarkeit der Bewertungen erhalten bleiben würde. Auch, weil mein Vertrauen durch die vielen groben Schnitzer in so vielen Lehrbriefen gelitten hat.

 

Seufz.

Dabei eigentlich wollte ich doch nur wissen, was die Erwartungshaltung war und wo mir Belege gefehlt haben.

 

Bearbeitet 19. Januar von DerLenny
Hinweis auf Anpassung der Prüfungsleistung anstatt der Aufgabe

[Muddlehead]

Läuft.🫡 🫢

Bearbeitet 19. Januar von Muddlehead

[Schlumpfgoettin]

Bis jetzt habe ich überwiegend nur positive Rückmeldungen bei Rückfragen zu Abzügen in WB's oder Hausarbeiten erhalten. Selbst wenn die Prüfungsleistung vom Tutor nicht direkt selbst korrigiert wurden, hat dieser sich informiert und dem möglichen Rahmen konstruktives Feedback gegeben. 

Das die Bewertungskriterien optional sind, wurde bis jetzt nicht thematisiert, weder in einer Ilse noch im Sprint. Ganz im Gegenteil, diese wurden vorgestellt und besprochen, auch welche Kriterien mit welcher Gewichtung in die Benotung einfließen.

Allerdings hat auch in den Veranstaltungen, in denen ich war, niemand explizit danach gefragt, ob diese verbindlich sind.

Berichte gerne, wenn es was Neues gibt.

[DerLenny]

Jo, ich hab halt auich gedacht, es wäre nur eine dieser unglücklichen Aufgabenstellungen.

 

Das die Korrektoren sich nicht an die Vorgaben in den Prüfungsleitfäden halten brauchen, war mir auch neu. 

Entweder ist also die Info an mich nicht korrekt gewesen, oder aber die ganzen Prüfungsleitfäden müssen jetzt angepasst werden. Da aber die Info vom  Prüfungsamt kommt, tippe ich mal, dass es passt.

 

Es könnte auch sein, dass hier bei der Bewertung was nicht gepasst hat, und dies durch einen solchen Kommentar überspielt werden sollte. Aber das macht ja wenig Sinn, da "alle Prüfungsleitfäden stimmen nicht" ja schon heftiger ist als "bei der einen Bewertung lief etwas schief."

 

Und ja auch eingestanden wurde, dass die Aufgabe nicht passt, und das auch so dass dies "zügig" angepasst werden sollte. Wobei das ja auch verwirrend ist. "Zügig" weist ja darauf hin, dass sie die Anzahl Abgaben mit dieser Aufgabe möglichst gering halten wollen. Allerdings scheint die Diskrepanz zwischen Modulhandbuch und Realität nicht so problematisch zu sein, dass bereits abgelegte Prüfungsleistungen betroffen sind.  Generell scheint das Modulhandbuch ja eh nur so eine Richtlinie und nicht unbedingt bindend zu sein.

 

[IU Internation. Hochschule]

Hallo @Lenny

 

vielen Dank für Dein Eintrag im Forum und Deine Fragen bezüglich der Bewertungsrichtlinien.

 

Vielen Dank, dass Du Dich auch direkt an unser Fachteam aus dem Qualitätsmanagement gewandt hast. Dieses wird Dich entsprechend updaten, sobald uns hierzu mehr Informationen vorliegen. Bitte wende Dich auch bei weiteren Fragen hierzu, an unsere Kolleg:innen.

 

Wir haben Deine Hinweise aufgenommen und melden uns bei Dir persönlich zurück, sobald uns zu diesem Thema noch mehr Informationen vorliegen.  

 

Im Anschluss teilen wir diese Informationen auch gerne hier im Forum für Alle.

 

Beste Grüße

Larissa vom Team Community & Study-Relations IU Internationale Hochschule

Bearbeitet 22. Januar von IU Internation. Hochschule

[DerLenny]

vor 10 Stunden schrieb IU Internation. Hochschule:

und melden uns bei Dir persönlich zurück

Naja, das habt ihr ja gemacht. Und das war auch sehr eindeutig. 

 

Eure Aussage war ja im Endeffekt, dass eine Note ohne Nutzung der Bewertungskriterien und der Gewichtung absolut ausreichend ist, und dass ein Kommentar der korrigierenden Person in Kombination mit der Note ausreicht.

 

Das ist ja schon globaler. Es sei denn, die Aussage an mich war nicht korrekt. Das halte ich aber für unwahrscheinlich, da es ja vom Prüfungsamt und dem Qualitätsmanagement kam. Also würde ich von einer korrekten Antwort, die auch noch gegengeprüft worden ist, ausgehen.

Daher scheint die logische Folge zu sein, dass die Prüfungsleitfäden nicht ganz aktuell sind, da diese ja Bewertungskriterien (noch) als verbindlich listen.

 

Und das finde ich jetzt schon von generellen Interesse, da man, wenn die Bewertungskriterien optional sind, als studierende Person a) ggf. eine falsche Vorstellung der Bewertungskriterien hat, weil sie dem Leitfaden vertraut und b) keine Option hat, die Bewertung nachzuvollziehen, wodurch es dann auch schwierig wird, ggf. eine Beschwerde anzufragen.

 

Und das betrifft ja jede Studierenden, der eine der schriftlichen Aufgaben im Studiengang hat. Das dürften eine Menge sein.

Bearbeitet 22. Januar von DerLenny

[Markus Jung]

Es gibt technische Probleme, aufgrund derer die IU über ihren Account derzeit hier nicht antworten kann. Daher die Antwort von @IU Internation. Hochschule über mich:

 

Hallo zusammen,

Hallo @DerLenny,

 

gerne gehen wir detaillierter auf Deine Fragen ein. Dazu hat unser Expertenteam aus dem Qualitätsmanegement Dir auch bereits folgende Antworten per E-Mail zukommen lassen.

 

Zunächst möchten wir uns noch einmal für Deine Detailgenauigkeit und Dein gutes Auge bezüglich der Aufgabenstellung bedanken.  
 

Bezüglich der Aufgabenstellung und der Prüfungsform gestaltete es sich so, dass

wir Dir bereits in einer früheren Antwort mitgeteilt haben, dass die Aufgabenstellung derzeit überarbeitet wird, um sie besser auf die wissenschaftliche Argumentation auszurichten und didaktisch optimaler zu gestalten. Dadurch wird das Lern- und Studienerlebnis Deiner Kommiliton:innen weiter optimiert und die Qualität insgesamt erhöht.  

 

Hinsichtlich der Verbindlichkeit der Bewertungskriterien - hier scheint es zu einem Missverständnis bezüglich der getroffenen Aussagen der IU Internationale Hochschule und Deiner Interpretation gekommen zu sein. Gerne stellen wir die scheinbar ungenau formulierte Aussage im Folgenden klar:

 

Selbstverständlich sind unsere Prüfer:innen/Korrektor:innen an den Prüfleitfaden und die darin formulierten Bewertungskriterien gebunden, d.h. die Bewertungskriterien sind für alle Studierenden definitiv verbindlich.Der genannte Bewertungsspielraum meint konkret, dass die auf wissenschaftlicher Expertise beruhende Einschätzung, inwieweit diese Kriterien im Einzelfall erfüllt sind, im Ermessen und in der Bewertungshoheit der Prüfer:innen/Korrektor:innen liegt.

 

Sollten Zweifel an der Reliabilität oder Validität einer Bewertung bestehen, so haben bekanntlich alle Studierenden das Recht, begründete Einwände zu erheben und damit ein Überdenkungsverfahren anzustoßen. Wir nehmen solche Einwände sehr ernst und prüfen sie sorgfältig. 

 

Unser allgemeines Ziel ist es, dass jede Bewertung mit einem konstruktiven Feedback einhergeht, welches den Studierenden hilft, sich weiterzuentwickeln, und wichtige Hinweise für zukünftige Prüfungen liefert. Auch wenn die Prüfer:innen/Korrektor:innen keine Teilkommentare verfasst haben, werden die einzelnen Komponenten dennoch bewertet und fließen in die summative Bewertung ein. Ein zusammenfassendes Feedback, das die wesentlichen Aspekte der Bewertungskriterien abdeckt, ist dabei ausreichend. 

 

Wir möchten ausdrücklich darauf hinweisen, dass Du für Deine Arbeit einen ausführlichen Kommentar erhalten hast, der den oben formulierten Anforderungen an eine hilfreiche und weiterführende Bewertung entspricht. 

 

Wir hoffen, dass diese Informationen für Dich hilfreich sind. Solltest Du weitere Fragen haben, zögere bitte nicht, Dich an das Qualitätsmanagement zu wenden. 

 

Beste Grüße

Larissa vom Team Community & Study-Relations IU Internationale Hochschule

[DerLenny]

Da das quasi die gleiche Mail ist, die ich auch erhalten habe, kommt hier erstmal der allgemeine Teil meiner Antwort: 

 

Nach welchen Kriterien wird/ wurde in diesem Kurs bewertet?

Wenn die Antwort "Prüfungsleitfaden Hausarbeit ist" ergeben sich die Folgefragen:

• wie wird mit der Tatsache umgegangen, dass die Aufgabe nicht zur Prüfungsform passt? 
• warum wird der (scheinbar verbindliche) Bogen mit den gewichteten Teilpunkten nicht genutzt?
• wie wird trotz einer freien, von außen nicht nachvollziehbaren Benotung sichergestellt, dass hier die Bewertung objektiv, valide und reliable sind?

Wenn die Antwort ein anderer Prüfungsleitfaden sein sollte:

• Warum wird dies nicht kommuniziert?
• Warum wurde der hier vorgesehene Gewichtungsbogen nicht genutzt?
• Wie wird sichergestellt, dass die Bewertung objektiv, valide und reliable sind?

Wenn die Antwort "es gibt keine passende Bewertungsgrundlage" sein sollte

• wie wird mit diesem Punkt umgegangen?

Da die IU hier auf meine Bewertung eingegangen ist, gehe ich gleich in einem Folgepost auf diesen hochwertigen Kommentar ein. Nur um die beiden Punkte, getrennt zu halten...

[DerLenny]

Sodele, hier kommen die Teile des Kommentars, zu denen ich Fragen hatte, und die so halbwegs zum Thema "Nachvollziehbarkeit" und "Vorgaben bindend" passen :)

 

Zitat

Du musst in der Einleitung nicht die Aufgabenstellung zusammenfassen. Die Einleitung dient eher dazu konkret auf das Ziel, bzw. die Fragestellung hinzuarbeiten.

Wir erinnern uns, dass es keine Fragestellung gibt, sondern einen Umsetzungsauftrag.

Es gibt folglich keinen Aufbau, da wir uns hier im Bereich einer Programmierübung befinden.

Daher war hier meine Frage an den Tutor, was der Erwartungshorizont ist.

Diese Frage wurde nicht beantwortet. Es wurde auf das Prüfungsamt verwiesen. Dieses meinte, die Aufgabenstellung müsse angepasst werden, weil es nicht passt.

Wodurch immer noch unklar ist, was hier zu erwarten wäre, welche Form die Abgabe zu entsprechen hat und damit auch nach welchen Kriterien denn wertet wird. Da die Aufgabe nicht passend zur Prüfungsform ist, gibt es hier also ein Problem. 

 

Die sich hieraus ergebenden generellen Fragen stehen oben (also: was ist hier der passende Prüfungsleitfaden, plus die sich daraus ergebenden Folgefragen).

 

 

Zitat

Es fehlt ein Fazit

 

Auch hier die Frage zur Erwartungshaltung und er Art der Prüfungsleistung.

Ich rufe hier noch die Aussage des Tutors in Erinnerung, dass die schriftliche Abgabe nicht relevant ist, und eigentlich nur der Code bewertet werden würde. Was sich dann wohl als nicht ganz korrekt herausgestellt hat. 

 

Ich hatte insgesamt drei Kommentare, die die Abzüge bei der Note erklären könnten. Der dritte war "Es fehlt eine Quellenangabe."

IMO ist keiner dieser Kommentare nachvollziehbar. Daher habe ich bei den ersten beiden nach der Erwartungshaltung und bei der dritten nach der Aussage gefragt, für die ein Beleg notwendig wäre gefragt. Die Fragen wurden nicht beantwortet. Statt dessen hat der Tutor  an das Prüfungsamt verwiesen, womit die ganze Geschichte hier ins Rollen gekommen ist. Die Fragen sind weiterhin offen. Aber zumindest die zu der Erwartungshaltung wird ja evtl. durch die Nennung des hier verbindlich anzuwendenden Prüfungsleitfadens beantwortet.

 

Aus Sicht der IU ist dieser nicht ganz so klarer Kommentar in Verbindung mit einer Note genauso gut wie ein ausgefüllter Bewertungsbogen, bei denen die einzelnen Komponenten unterschiedlich gewichtet sind. Denn scheinbar kann letzteres ersteres vollumfänglich ersetzen.

Was dann wiederum bedeutet, dass die Vorgaben aus den Prüfungsleitfäden eben nicht verbindlich sind, da ja jederzeit die Option "Kommentar und nicht nachvollziehbare Note" im Raum steht.

 

Die Probleme mit diesem Kommentar sind ja die Ursache für die ganze Geschichte. Da eben nicht klar ist, was die Bewertungskriterien sind. ... daher hier nochmal die Frage in die @IU Internation. Hochschule:

Nach welchen Kriterien wird/ wurde in diesem Kurs bewertet?

Wenn die Antwort "Prüfungsleitfaden Hausarbeit ist" ergeben sich die Folgefragen:

• wie wird mit der Tatsache umgegangen, dass die Aufgabe nicht zur Prüfungsform passt? 
• warum wird der (scheinbar verbindliche) Bogen mit den gewichteten Teilpunkten nicht genutzt?
• wie wird trotz einer freien, von außen nicht nachvollziehbaren Benotung sichergestellt, dass hier die Bewertung objektiv, valide und reliable sind?

Wenn die Antwort ein anderer Prüfungsleitfaden sein sollte:

• Warum wird dies nicht kommuniziert?
• Warum wurde der hier vorgesehene Gewichtungsbogen nicht genutzt?
• Wie wird sichergestellt, dass die Bewertung objektiv, valide und reliable sind?

Wenn die Antwort "es gibt keine passende Prüfungsform für diese Situation" sein sollte

• wie wird mit diesem Punkt umgegangen?

Ich finde es verwirrend, dass die IU auf der einen Seite bemüht ist, das Problem zügig zu fixen, auf der anderen Seite aber argumentiert es gäbe kein Problem.

 

 

 

Positiv ist allerdings wirklich dieser Satz hier, den ich gerne hervorhebe:

 

vor 3 Stunden schrieb Markus Jung:

Unser allgemeines Ziel ist es, dass jede Bewertung mit einem konstruktiven Feedback einhergeht, welches den Studierenden hilft, sich weiterzuentwickeln, und wichtige Hinweise für zukünftige Prüfungen liefert.

 

Dies ist das genaue Gegenteil von dem, was mir bisher kommuniziert wurde. Ich stimme aber zu, dass dies der Anspruch sein sollte. Ich hoffe, dies wird im Anschluss auch an die Tutoren kommuniziert. 

 

 

Bearbeitet 26. Januar von DerLenny