Automation Short Answer Grading

[Gast]

Glaube hier mal Kommentare / Andeutungen bezüglich AI Auto Grading gelesen zu haben...here we go:

 

https://www.linkedin.com/posts/tim-schlippe_exlainability-in-automatic-short-answer-grading-ugcPost-6958309604116021248-KHCl?

utm_source=linkedin_share&utm_medium=member_desktop_web

 

 

 

Bearbeitet 28. Juli 2022 von Muddlehead

[DerLenny]

Manchmal macht es die iu einem ja schon fast zu einfach...

Warum zum Geier nehmen sie das als Beispiel für einen Talk?

Ich mein... das ist für Informatiker. Die merken doch, dass die erwartete Antwort Müll ist.

Warum merken das nicht die Leute, die die Folien basteln?

 

Ich weine gerade leise.

 

[Gast]

Ich glaube, ich bin heute einfach durch - was meinst du genau?

[DerLenny]

Die Definition von "Variable" ist bonkers.

Auf so vielen Ebenen. Das ist grundlegend gaga.

 

Ich bin gerade platt und angepisst, daher hier mal in kurz.

 

// assuming C

int foo = 10;

// three elememts - type, name, value

 

// address of foo:

int* fooPtr = &foo

// so, yes, variables need to be stored somewhere, but limiting us to that makes no

// sense since, 0x0800 (for example) is just a position in memory. It's not a variable.

// Memory, by definition stores values. So the "model answer" ist a tautology that

// helps not to differentiate between variables and "not variables" - since even

// constants in a program need to be stored in memory. Same for opcodes, etc

 

 

// Some edge cases on the name, type, value thingy:

// value might be implicitly set to a specific value or might be unknown until initialized

// (depending on environment)

int bar;

 

// in some languages type might be implicit or context dependent as well

// but generally, a variable is defined by name and type and has a value.

// and this definition works even in other areas (say math).

 

 

 

Bearbeitet 28. Juli 2022 von DerLenny

[DerLenny]

; in fact, memory is the thing we want to abstract away by using variables.

; Let's take a look at ASM - just to ensure we are as close to the metal as we can get...

 

section .data

foo  DW   42   ; define variable foo as a WORD with value 42

 

; even in ASM, we don't want to deal with memory addresses when using vars -

; because they are meant to be named identifier for a value of a specific type and we couldn't

; care less (most of the time) where they are stored...

 

; speaking of stored...

; the reason there's a "section .data" is that EVERYTHING is in the effin memory...

 

section .text
   global _start

 

_start:

    mov edx,1 ; this constant will be stored in "program memory" which is also just memory

                      ; which means if someone would use the bonkers IU variable definition in earnest

                      ; every opcode and every constant would be a "variable"

                      ; ergo it's a nonsensical definition.

Bearbeitet 28. Juli 2022 von DerLenny

[Markus Jung]

Stellt sich für mich die Frage, wie das dann in der Praxis genutzt wird.

 

Wenn die Bewertungen und dann auch Benotungen von Freitext-Aufgaben rein über die KI laufen, halte ich das für bedenklich. Wenn sie eine Unterstützung für die Korrigierenden darstellt, die dann aber selbst darüber schauen, ob zum Beispiel etwas nur mit anderen Worten und Begriffen, aber inhaltlich doch zutreffend beantwortet wurde, dann kann das hilfreich sein.

 

Ähnlich sehe ich es auch bei anderen Anwendungen, wo die KI Entscheidungen treffen oder vorbereiten soll.

 

Wenn es reine Selbstkontrollaufgaben sind, sehe ich es weniger kritisch und den Vorteil für die Studierenden, dass ein Feedback in Echtzeit möglich wird.

[polli_on_the_go]

vor 17 Stunden schrieb DerLenny:

; in fact, memory is the thing we want to abstract away by using variables.

; Let's take a look at ASM - just to ensure we are as close to the metal as we can get...

 

section .data

foo  DW   42   ; define variable foo as a WORD with value 42

 

; even in ASM, we don't want to deal with memory addresses when using vars -

; because they are meant to be named identifier for a value of a specific type and we couldn't

; care less (most of the time) where they are stored...

 

; speaking of stored...

; the reason there's a "section .data" is that EVERYTHING is in the effin memory...

 

section .text
   global _start

 

_start:

    mov edx,1 ; this constant will be stored in "program memory" which is also just memory

                      ; which means if someone would use the bonkers IU variable definition in earnest

                      ; every opcode and every constant would be a "variable"

                      ; ergo it's a nonsensical definition.

sorry aber bin ich die einzige die zumindest durch die Schreibweise nur Bahnhof versteht außer dass irgendein Beispiel nicht sinnig ist?

Bearbeitet 29. Juli 2022 von polli_on_the_go

[DerLenny]

vor 15 Minuten schrieb polli_on_the_go:

sorry aber bin ich die einzige die zumindest durch die Schreibweise nur Bahnhof versteht außer dass irgendein Beispiel nicht sinnig ist?

 

Ich war gestern etwas platt, das Thema ist auch eher für Informatiker interessant, daher als Quellcode mit Kommentaren. 

 

Wie baue ich das allgemeinverständlich um?

Die erwartete Antwort im Screenshot oben ist auf der folgenden Ebene:

Q: Was ist ein Auto?
A: Ein Auto ist ein physischer Gegenstand.

Die Antwort ist schon korrekt, aber nicht unbedingt eine sinnige Definition eines Autos, da auf relevante definierende Eigenschaften nicht eingegangen wird. Und wenn dies die Definition eines Fahrzeugtechnik B.Eng. wäre, oder in der entsprechenden Klausur so abgefragt werden würde, dann würde ich mir Gedanken machen.