Was hat die IU noch mit Syntea vor? Was kann das KI-System bereits heute? - News aus dem Presseevent

[AZI]

Das hört sich so an, als seie die Gute alte Suchfunktion im Dokument die bessere Wahl als dieses KI Dingsbums...

 

[Markus Jung]

vor 13 Stunden schrieb DerLenny:

@Markus Jung Deine Erfahrung scheint deutlich positiver gewesen zu sein.

Gehe ich da irgendwie falsch ran? 

 

Wir verwenden unterschiedliche Funktionen von Syntea. So wie ich es rauslese, bist Du im Q&A-Modus. Ich hatte zum Test die Gen2-Version des Pre-Assessment-Tools, wo ich in strukturierter Weise zu einem bestimmten Thema abgefragt wurde in Form eines sokratischen Dialogs. 

 

Info für die Mitlesenden: Meine Erfahrungen dazu sind hier zu finden.

[DerLenny]

vor einer Stunde schrieb Markus Jung:

Wir verwenden unterschiedliche Funktionen von Synthea. So wie ich es rauslese, bist Du im Q&A-Modus. Ich hatte zum Test die Gen2-Version des Pre-Assessment-Tools,

Der QA Modus bei mir hat mir die gleichen Fragen gestellt, die ich auch bei der Prüfungszulassung beantworten musste. Die scheinen nicht KI generiert, sondern vorgegeben zu sein. MIt den üblichen damit verbundenen Fehlern, wie ungenauen Fragen / Antworten und Fehlern in den Fragestellungen.

 

 

Evtl. gibt es in anderen Kursen ja KI erstellte Fragen zum Kurs... aber bei mir ist beim Pre-Assesment keinerlei KI erkennbar. Bei ein paar der Fragen aus der Prüfungszulassung hat Synthea, wenn man sie fragt, auch der erwarteten Antwort widersprochen. 

 

Du hattest aber ja auch Gen-2, evtl. habe ich hier noch Gen-1.

 

Bei dem Dialog hatte Synthea aber keinerlei Probleme? Also ähnliche Konzepte zu verwursteln? Oder waren es eher auch sprachlich klar unterscheidbare Bereiche, zu denen Dir Fragen gestellt worden sind?

 

[Nadja_studiert_Informatik]

Hm interessant, @DerLenny

 

Vermutlich ist es so: Deine Anfrage lässt einen Prompt nicht korrekt zusammenbauen. Durch Token-Probleme wird eine Fehlerkorrektur gemacht oder so, sodass du den eigentlich geplanten Weg quasi umgangen hast. Also ich denke irgendwie wurde der geplante Prompt nicht ausgelöst, der normalerweise die Frage an die KI stellt.

 

Macht das Sinn?

 

Sehr interessant!

[Muddlehead]

Ohne den/die (hidden) Context Prompts von Synthea zu kennen, ist das stochern im nebel.

[KanzlerCoaching]

@Markus Jung

Sie haben noch Zugriff auf Ihre Version, die Sie getestet haben? Wenn ja, dann könnten Sie und Lenny ja eine identische Fragestellung eingeben und schauen, welche Ergebnisse Sie bekommen.

[DerLenny]

vor 2 Minuten schrieb Nadja_studiert_Informatik:

 

Macht das Sinn?

Hmn.. ich würde erwarten, dass beim lexing aus Beschreibe / BEschreibe beides mal das gleiche rauspurzelt.
Bei den anderen Punkten bin ich unsicher. Wenn ich es wirklich testen wollen würde, würde ich evtl. das Skript mal bei ChatGPT hochladen und die Ergebnisse vergleichen. Aber das ist mir a) zuviel Aufwand und b) Urheberrechtlich bedenklich.

Und mir lokal nen LLM zu installieren, wäre ja noch mehr mit Kanonen auf Spatzen geschossen.

 

Und da mein Lernen auch mit dem Skript startet und nicht beim Skript aufhört, wäre das generell nicht hilfreich.

Das Ziel sollte ja sein, ein höheres Verständnis zu bekommen, und die Skript / Klausur Konstellation bleibt halt meist auf der untersten Stufe und geht hin und wieder mal auf die zweitunterste Stufe. Und bleibt damit halt beim Regurgitieren, was ich jetzt bei nem HS Studium eher befremdlich finde.

 

Da ich es aufgrund der anteilig widersprüchlichen Informationen in unterschiedlichen Skripten der IU allerdings auch schon unwahrscheinlich halte, dass die IU Synthea auch nur auf "alle Skripte" ausweitet, damit man ggf. mehr Beziehen herstellen / vergleichen / abgrenzen kann, fürchte ich, dass hier ohne eine grundlegende Änderung am Format wenig Spielraum vorhanden ist.

 

Hm.. aber man könnte evtl. dann die Skriptys via Synthea battln lassen. Man nimmt zwei Skripte, eines mit der korrekten eines mit den Falschen Infos, und lässt diese diskutieren, welche Information jetzt korrekt ist. 

Ok, Spaß beiseite - aber ein ähnliches System könnte bei der QS deutlich helfen. Ich hab mal für nen kleines Projekt was ähnliches gebaut (nimm nen Text, extrahiere Definitionen, prüfe,  ob es diese Definition einer früheren entspricht, wenn nicht: gib Laut).

Und da es bei der QS immer luft nach oben gibt, wäre das IMO ein guter Einsatz für ne KI, da bei der QS ja meist die personellen Ressourcen den Engpass bilden. 

[DerLenny]

Die Sache mit den 2 Großbuchstaben funzt aber echt überraschend gut.

[Nadja_studiert_Informatik]

vor 20 Minuten schrieb DerLenny:

Hmn.. ich würde erwarten, dass beim lexing aus Beschreibe / BEschreibe beides mal das gleiche rauspurzelt.

Ja, sollte man meinen. 😂

 

Aber dein zweites Beispiel bestätigt den Verdacht. Keine Ahnung, was das für eine Schnittstelle zur KI ist und wie / was für Prompts da gebildet werden. Aber es kann ja wirklich ganz banal eine Zeile Code sein, die zu Token-Problemen führt und überarbeitet werden muss. Du landest halt in diesen Fällen direkt bei der KI. Da hast du was gefunden mit dem Upper Case. 😂 Es wäre schon spannend mehr zu wissen. Aber @Muddlehead hat natürlich Recht: Es ist geraten. Aber es macht Spaß darüber nachzudenken.

[Markus Jung]

vor 23 Minuten schrieb KanzlerCoaching:

Sie haben noch Zugriff auf Ihre Version, die Sie getestet haben?

 

Ja.

 

Zitat

Wenn ja, dann könnten Sie und Lenny ja eine identische Fragestellung eingeben und schauen, welche Ergebnisse Sie bekommen.

 

Bei mir stellt ja Syntea die Fragen, bewertet meine Antworten und führt mich ggf. zu diesen hin und liefert ergänzende Informationen. Wenn ich Off-Topic-Fragen stelle, führt mich Syntea gleich wieder zum Thema zurück. 

 

vor einer Stunde schrieb DerLenny:

Evtl. gibt es in anderen Kursen ja KI erstellte Fragen zum Kurs..

 

Die Ausgangsfragen sind auch nach meinem Eindruck vorgegeben und immer gleich. Lediglich der Verlauf unterscheidet sich dann. Und es wurde zum Beispiel auch nach Details nachgefragt.