Was hat die IU noch mit Syntea vor? Was kann das KI-System bereits heute? - News aus dem Presseevent

[Markus Jung]

Mit Syn|te|a, dem Synthetic Teaching Assistant, hat die IU Internationale Hochschule noch viel vor, wie beim heutigen Online-Presseevent deutlich wurde.

 

Die Begrüßung hat IU-CEO Sven Schütt übernommen, bevor er dann an sein Team übergeben hat. Ca. 15 Gäste waren neben den Mitarbeitern der IU dabei. Die Veranstaltung fand in englischer Sprache statt. Wobei ich von den Namen der Teilnehmenden den Eindruck hatte, dass die meisten doch aus dem deutschsprachigen Raum kamen.

 

Sven Schütt hat nicht mit Superlativen gespart zu dem, was durch die neuen KI-Tools in der Gesellschaft und besonders auch der Bildung möglich wird. Da war von Revolution, Supernova und einem Schritt wie der Entwicklung von Dampfmaschine, Computer und Internet gleichzeitig die Rede. Er möchte auch eher von Amplified Intelligence, statt von Artificial Intelligence, sprechen, wenn es um AI/KI geht.

 

Seine Vision ist es, Bildung allen jederzeit zur Verfügung zu stellen. Formelles und informelles Lernen soll dabei immer mehr miteinander verschmelzen. Und Prüfungen in den Lernprozess integriert werden, statt diese losgelöst von diesem durchzuführen. Auf dem gesamten Learning Journey soll Syntea künftig begleiten und diesen gestalten. Dadurch wird sich verändern, wie wir lernen. Und es wird sich auch verändern, was wir lernen, welche Skills wir künftig benötigen. Darauf reagiert die IU auch schon jetzt mit neuen Lernangeboten zum Themenfeld der KI.

 

In der Vergangenheit, und oft auch noch in der Gegenwart, fand Lernen entweder mit der Gießkanne statt, oder personalisiert im 1:1-Tutoring, was aber nur in begrenztem Umfang möglich ist. Als Disruption durch den Einsatz von KI wird gesehen, künftig 24/7 einen persönlichen Lernberater an der Seite zu haben, der beliebig skalierbar ist. Die IU sieht sich in diesem Bereich als Leader an.

 

Künftig wird GPT 4.0 für Syntea zum Einsatz kommen und die IU arbeitet bei der Entwicklung des Systems auch eng mit OpenAI zusammen. 

 

Aktuell gibt es ein Q&A-Tool sowie die Möglichkeit des Pre-Assesments, um einen Eindruck zu bekommen, wo ich gerade im Lernstoff stehe, was ich schon gut drauf habe und wo Defizite sind.

 

Bis Ende November soll der Roll-out für alle 1.300 Kurse in deutscher und englischer Sprache abgeschlossen sein.

 

Weitere Details gab es dann vom IU-Team.

 

Alle Antworten des Q&A-Tools werden von Menschen gegengeprüft und erhalten nach abgeschlossener Prüfung ein Badge. Da viele Fragen wiederholt gestellt werden, werden dann auch die Antworten gleich als verifiziert gekennzeichnet. Je häufiger, je mehr das System lernt und je mehr Fragen gestellt werden. Aktuell ist dies bereits bei mehr als 50 Prozent der Fragen der Fall.

 

Die Fragen und Antworten werden also gespeichert und weiterverarbeitet. Dabei hat die IU darauf hingewiesen, dass persönliche Informationen hierbei entfernt werden und die Studierenden selbst entscheiden können, ob sie Syntea nutzen möchten.

 

Aktuell geben 87 Prozent der Studierenden das Feedback, dass sie mit Syntea zufrieden sind.

 

Ziel ist es, auf diesem Wege auch die Studierenden zu Fragen zu ermuntern, die sonst nicht auf die Tutor:innen zugehen oder sich in Live-Veranstaltungen zu Wort melden.

 

Bei den Pre-Assessments geht es darum, für sich selbst einen Lernstand zu ermitteln, ggf. bereits bevor überhaupt mit der Erarbeitung des Lernstoffs begonnen wird. Also eine frühe Form und eher manuelle Form von adaptivem Lernen, um dann zu überlegen, auf welche Inhalte fokussiert werden sollte und welche gleich übersprungen werden können.

 

Dann wurde der Vorhang gelüftet für die Gen2 von Syntea:

Das ist auch die Version, die mir für einen Test zur Verfügung stand, über den ich hier berichtet habe. Dabei handelt es sich um ein Tool zur Prüfungsvorbereitung, dass sich an den Lerner adaptiert und in Form eines sokratischen Dialogs durch den Stoff führt. Dabei werden strukturiert verschiedene Stufen durchlaufen, von der Eingangsfrage bis hin zu einer Zusammenfassung. Off-topic Fragen sind zwar möglich und werden erfasst, es erfolgt dann aber eine Rückführung zum eigentlichen Thema.

 

Bei der Prüfungsvorbereitung wird es möglich sein, sowohl Multiple Choice, als auch Freitext-Aufgaben zu üben. Das Feedback erfolgt dabei dreiteilig:

1. Quantitatives Feedback (Anzahl der Punkte für die Lösung)
2. Musterlösung
3. Qualifiziertes Feedback zur Antwort des Studierenden

Das Anspruchsniveau passt sich dabei an die Leistungen des Teilnehmenden an.

 

Spannend war dann auch der Ausblick auf künftig geplante Ausbaustufen von Syntea:

• Die Möglichkeit, Softskills und Future-Skills zu erlernen
• Simulierte Gruppengespräche
• Integrierte formelle Prüfungen
• Interaktionen per Sprache und mit Avataren, die individuell angepasst werden können
• Ein tief personalisiertes adaptives Lernen

 

Abschließend wurden dann noch Fragen aus dem Chat beantwortet.

 

Auf meine Frage, ob auch Quellen in den Antworten genannt werden (Q&A-Tool) habe ich die Info erhalten, dass alle Antworten Deeplinks  zu den Coursebooks der IU enthalten. Die Tutoren können außerde auch externe Links ergänzen sowie künftig auch Anhänge hinzufügen.

 

Sowohl die Studierenden als auch die Lehrenden können Feedback geben, um die weitere Entwicklung von Syntea zu beeinflussen. Daraus ist zum Beispiel die Möglichkeit hervorgegangen, dass die Toutor:innen künftg auch Anhänge bei den Antworten ergänzen können.

 

In den abschließenden Worten mit dem Ausblick ging es unter anderem darum, dass die Lehrenden künftig davon entlastet werden, immer wieder die gleichen Antworten auf die gleichen Fragen geben zu müssen. Und dass es bei den Prüfungen in der Zukunft immer mehr weg gegen wird von End-of-Course-Exams, hin zu integrierten Prüfungsformen, sodass gar keine formellen Prüfungen mehr stattfinden. Und die Prüfungen auch individuell auf die Studierenden zugeschnitten werden, und somit präziser und näher am echten Leben sind.

 

Die bereits jetzt hohe und künftig sicher noch wachsende Akzeptanz für einen Teaching Bot erklärt sich die IU auch daraus, dass es durch die Integration von generativer KI in immer mehr Alltagsbereichen zunehmend normal wird, sich mit einem Bot zu unterhalten. Wozu sicherlich auch die gestiegene Qualität und empfundene Natürlichkeit der Gespräche beiträgt.

 

Mein Fazit

 

Für mich war es eine interessante Veranstaltung, die sehr deutlich gemacht hat, wie sehr sich das Lernen und auch die Prüfungsformen künftig verändern werden. Hier mit vielen Chancen und sicherlich auch einigen Risiken. Im besten Fall aber mit einem individuellerem und besserem Lernergebnis. Auch wenn zum Beispiel die Vergleichbarkeit künftig deutlich schwieriger werden wird, wenn alle andere Prüfungen durchlaufen. Aber auch das kann ja durchaus eine positive Entwicklung sein, auch weg vom heutigen Notensystem. Ich bin gespannt und freue mich darauf, die Entwicklungen dazu gerade auch in der Fernstudienbranche, die ja immer schon neue Medien und Möglichkeiten besonders früh aufgegriffen hat, hier bei Fernstudium-Infos.de zu begleiten.

 

Disclaimer: Die Informationen in diesem Beitrag basieren auf meinen Notizen während der Veranstaltung, sind frei übersetzt und erheben nicht den Anspruch, vollständig oder in jedem Detail korrekt sein zu können. Es handelt sich auch um eine Zusammenfassung, keine vollständig chronologische Wiedergabe. Verbindliche Angaben kann nur die IU selbst geben.

[ThomasP]

Leider habe ich als aktiver Student mehrfach bei der IU angefragt, ob ich Zugriff zum Testen bekommen darf. Aber weder die Projektverantwortlichen noch die anderen wollten mich als Student testen lassen.

 

Nunja. 

[ThomasP]

Ich habe noch nicht einmal eine Antwort auf meine Anfragen erhalten. Schade eigentlich. Ich hätte einen tollen Anwendungsfall zur Optimierung meines Studiums gehabt.

[TheHumanHunter]

@ThomasP und um was geht es da?

[ThomasP]

vor 7 Stunden schrieb TheHumanHunter:

@ThomasP und um was geht es da?

Sythea soll ein Lernbot auf Basis von ChatGPT 4 sein, aber wie gesagt, leider noch nicht testen können. Synthea steht für meine Kurse nicht zur Verfügung.

[Markus Jung]

vor 12 Stunden schrieb ThomasP:

Synthea steht für meine Kurse nicht zur Verfügung.

 

Bis Ende November soll Syntea ja für alle Kurse zur Verfügung stehen. Berichte dann gerne mal von Deinen Erfahrungen.

[ThomasP]

Ich werde Euch auf dem Laufenden halten. Bin gespannt, ob Synthea das kann, was es verspricht. Bei Udacity.com ist der Bot eine echte Bereicherung beim Lernen.

[DerLenny]

Ich habe jetzt auch Zugriff auf Synthea. Und ich bin nicht sicher, welcher Mehrwert hier aktuell tatsächlich geliefert wird.

 

Ich habe eine relativ einfache Frage zur Abgrenzung zweier klar definierter Begriffe gestellt.

Ich bekam als Antwort, dass ein anderer Studierender die gleiche Frage gestellt hat, und die wie folgt beantwortet wurde "Antwort".

Doof war nur, dass die Antwort falsch war, hier wurde Begriff 1 mit der Erklärung von Begriff 2 versehen.

Also habe ich nach den Definitionen der Begriffe für sich gefragt (und ich weiss, dass diese im Skript sind). Es wurden nicht die Definitionen aus dem Skript wiedergegeben, sondern Zeug zu verwandten Begriffen mit nem Link zur Lektion, in diese Begriffe genutzt wurden.

Alternative Vorgehensweise: Strng-F im PDF hat mich schnell zu den Definitionen geführt.

Google Suche nach "Unterschied Begriff1 Begriff2" hat mir auch ein Ergebnis gebracht.

 

In dem Fall hat mir Synthea also in keinem Fall die erwartete Lösung und in einem Fall eine falsche Lösung präsentiert. 

Oh, und Syntea widerspricht auch der als "richtig" angesehenen Antwort bei einer der Fragen zur Prüfungszulassung - und liegt damit, laut der mir verfügbaren Literatur, auch richtig. Interessanterweise ist hier der Begriff nicht Teil des Skripts (1) - bin daher nicht sicher, wo die Info herkommt. Aber es war korrekt und ich wolte das auch erwähnen, damit es nicht ganz so einseitig ist.

---
(1) Die Frage hatte die Form "Was ist kein X?"  und eine der Antworten ist nicht Teil des Skripts, und die erwartete zu wählende Antwort. Obwohl es eindeutig ein X ist.

[DerLenny]

Ich bin mir nicht sicher, ob ich dem Teil vertrauen soll...

 

Das System hat auch kein Konzept von Lektionen / Kapiteln oder wie man das auch nennen will. Fragen nach spezifischen Lektionen bringen extrem seltsame Antworten. Fragt man, in welcher Lektion etwas zu finden ist, ist die Antwort auch nicht hilfreich / falsch / irreführend (wie "das steht im Kapitel Einleitung").

Ich habe versucht, einen Überblick zu bekommen, in dem ich nach Inhalt / Zusammenfassungen einzelner Lektionen gefragt habe. Und das Ergebnis war irreführend.

 

Das ist insofern problematisch, da oftmals ähnliche / gleiche Wörter in unterschiedlichen Kontexten unterschiedliche Bedeutungen haben. Man müsste also bei Fragen eingrenzen können, worum es geht, damit die Antwort brauchbar ist.

 

Problematisch ist auch, dass das Teil wirklich "aus Sicht des Skripts" falsche Antworten gibt, selbst wenn man es mit wirklich ausführlichen Hinweisen füttert. Eine Frage nach einem Thema, wobei wirklich der Titel der Überschrift genannt wurde, führt zu einer sehr plausibel wirkenden Liste von Punkten aus einem anderen Kapitel, weil da halt das gleiche Wort irgendwie drin vorkommt.

 

So ist es recht schwer bis unmöglich Syntea zur explorativen Erkundung der Skriptinhalte zu nutzen.

Bearbeitet 31. Oktober 2023 von DerLenny

[DerLenny]

Hmm... hat jemand eine Erklärung für das hier?

 

Witzigerweise, wenn man bei "Beschreibe' nicht dicke Finger hat, kennt er den Begriff nicht, nachdem gefragt wird. Was irgendwie seltsam ist...

 

Das funktioniert leider nicht immer...

 

Aber mit dem Vertipper versucht Syntea es wenigstens.

Der Link hat mich dann zu Lektion 6.4 geschickt, was rein gar nichts mit der Frage zu tun hat.

Die Antwort findet sich in Lektion 4:

 

Und da diese Begriffe in der Musterklausur abgefragt werden, und Syntea ja wohl auch auf die Klausur vorbereiten soll, bin ich hier echt irritiert.

 

Das geht soweit, dass Informationen präsentiert, die nicht der Aussage im Skript entsprechen. Das wäre fatal in der Klausur Vorbereitung.

 

Und hier werde ich dann auf Lektion 1.4 verlinkt (wie oben geschrieben, korrekt wäre Lektion 4).

Hm... der erste Link ging auf 6.4, der zweite auf 1.4 -> korrekt wäre ein Unterpunkt von 4.1. 

 

ChatGPT  meint folgendes:

 

Ist jetzt auch nicht das, was im Skript steht, aber ist definitiv näher dran als Syntea.

 

Wenn ich ChatGPT auf Englisch frage, erhalte ich die Antwort, die laut Skript korrekt ist:

 

@Markus Jung Deine Erfahrung scheint deutlich positiver gewesen zu sein.

Gehe ich da irgendwie falsch ran? 

 

Hast du mit Syntea einen Dialog zum Skript führen können? 

Bearbeitet 31. Oktober 2023 von DerLenny