Zum Inhalt springen

Graphische Auswertung der Quellenabdeckung von Lehrbriefen


DerLenny

425 Aufrufe

 Teilen

Ich habe mir ein kleines Skript geschrieben, dass die PDFs der Lehrbriefe ausliest, auf den Seiten nach Quellenangaben sucht und mir dann die Quellenabdeckung als PNG speichert.

 

Farbcodierung:

rot - keine Quellen auf der Seite

orange - eine Quelle auf der Seite

gelb - zwei Quellen auf der Seite

grün - drei oder mehr Quellen auf der Seite

 

Jede Seite hat eine Breite von 4 Pixeln, die Breite der Grafik gibt also ein direkten Hinweis auf die Anzahl der Seiten.

 

Hier mal ein paar paar Beispiele:

ref_medien_produktion.png.9865045abf81cfe0d92d78b5526706c7.png

Das ist die Auswertung der ersten Version von "Digitale Medienproduktion" (das war das Skript mit den vielen nicht als Zitat gekennzeichneten Stellen), das inzwischen eingestampft und neu geschrieben wurde.

 

Das Skript von "Allgemeine Psychologie 2" macht schon einen besseren Eindruck:

ref_alg_psy2.thumb.png.59da458b8251547ccec47fd8f4b5fbf5.png 

 

Psychologie der Überzeugung:

ref_psy_der_ue.png.221d5f3cd653c9c43f569b8b009dc58e.png

Das ist in der Tat eines der kürzeren Skripte.

 

Und hier die Auswertung von "Content Marketing":

ref_content_marketing.png.8822ee471bc1ea742c0b46bc7b2bf39e.png

 

Aktuell erzeugen die Startseiten der neuen Lektionen noch rote Balken, ich bin am überlegen ob ich diese Seiten, zusammen mit den nicht zum Textteil gehörenden Teilen hellgrau einfärben soll, um sie von Inhaltsseiten ohne Quellen unterscheiden zu können. 

Aktuell werden Abbildungen auch nicht berücksichtigt, hierzu muss ich noch das Abbildungsverzeichnis auswerten. Was aufgrund der Art und Weise wie dieses gestaltet ist allerdings nicht ganz so einfach ist.

 

Im nächsten Schritt möchte ich mir dann auch noch die Quellen nach Häufigkeit ausgeben lassen, damit ich die wichtigsten Quellen direkt ablesen kann.

 

 

Bearbeitet von DerLenny

 Teilen

10 Kommentare


Empfohlene Kommentare

Muddlehead

Geschrieben (bearbeitet)

Weiter so, vllt. schaffen wir es ein Bachelor oder Master strategisch und taktisch so zu attackieren, dass wir alle in 6 Wochen , von der Anmeldung, bei der Thesis landen. 😂  Hier bräuchten wir dann den Bewertungsbogen und lassen uns darauf basierend inklusiver Themen-Kategorie ein Text zusammenwürfeln,

Bearbeitet von Muddlehead
Link zu diesem Kommentar

Die beiden Auswertungen sind sehr intressant. Wodurch hast du dies gelernt? Hast du Tipps wie ich als absoluter Anfänger mir solche Programmier-Skripte selber beibringe. Muss man dazu Informatik studieren oder gibt es spezielle Kurse/Bücher/Youtube-Videos bei denen man nach sowas suchen kann?

Link zu diesem Kommentar
polli_on_the_go

Geschrieben (bearbeitet)

Berücksichtigt das denn auch stilistisch verschiedene Zitationsvorgehensweisen. Z.b. gibt es (was ich grausig finde, aber was vor kommt) bei längeren Abschnitten, die sich auf eine Quelle beziehen, die stilistische Option diese z.B. hinter den Punkt des Absatzes zu setzen und so bezieht sie sich auf den gesamten Absatz.

 

Das nur als ein Beispiel. Wenige Belege an sich sagen ja auch überhaupt noch nichts über die Qualität der jeweiligen Belege aus. Denn nur weil überspitzt gesagt 7x verschiedene Wikipediaseiten zitiert werden und es grün ist anstelle 1 fundiertes Grundlagenwerk der Psychologie (rot) macht es das ja nicht wertiger. Ist nett, erlaubt aber keinen wirklichen qualitativen vergleich lediglich einen quantitativen und der ist ohne den qualitativen ein nettes Spielzeug, sagt aber eben nur sehr begrenzt etwas über die tatsächliche Qualität der Hefte aus. Sorry wenn ich hier eher kritisch schaue und nicht freudig im Kreis springe. es ist einfach zu einfach gedacht bzw. ein zu oberflächlicher Vergleich, der die Handarbeit nicht ersetzt.

Bearbeitet von polli_on_the_go
Link zu diesem Kommentar

Hui, das sind ne Menge Fragen, ich versuche das mal der Reihe nach...

 

vor 9 Minuten schrieb Anna15:

Die beiden Auswertungen sind sehr intressant. Wodurch hast du dies gelernt?

 

Regel 1: Programmierer sind faul. Das ist mit einer der Gründe, warum sie Entwickler geworden sind.

Die Auswertung oben kann man zum Beispiel auch von Hand machen: 

  • Seite für Seite durchgehen die Anzahl der Referenzen pro Seite in ein Excel packen
  • Aus dem Excel eine Grafik erstellen

Nur ist dieses Seite für Seite insbesondere wenn man das für viele Skripte machen will eher zeitaufwändig. Also schreibt man sich ein Programm, dass das macht. Bei mir war das Vorgehen in etwa:

  • Prüfen in welcher Programmiersprache es passende PDF Bibliotheken gibt
  • Sprache auswählen (war bei mir Python, da ich da wenig Erfahrung drin habe und etwas mit machen wollte)
  • Einfaches Programm schreiben, dass mal ein PDF öffnet, und die Anzahl der Seiten ausgibt und mal die prüfen, wie man an die Daten kommt.
  • Prüfen wie man dann in den Seiten die Referenzen automatisch erkennen kann
  • Rumspielen, bis sie tatsächlich gefunden werden, und hier dann auch manuell gegenchecken ob es passt. Ich hatte eine Seite, da hat mein Skript eine Referenz wenig angegeben, als ich "optisch" gesehen habe... hab lange nach nem Fehler im Code gesucht, bis ich gemerkt habe, dass die Referenz im Skript ungültig ist.
  • Checken welche Bibliothekn es gibt, um Bilder in Python zu erzeugen, und die erstbeste auswählen.
  • Bild erzeugen und speichern
vor 17 Minuten schrieb Anna15:

Hast du Tipps wie ich als absoluter Anfänger mir solche Programmier-Skripte selber beibringe

Schritt eins: Nicht unbedingt mit solchen Skripten anfangen

Programmieren ist immer das gleiche, ein sehr großer Teil der Programmiersprachen hat irgendwo etwas, das C oder Pascal ähnlich ist im Stammbaum, daher sind viele Konzepte gleich.

Und das ist auch der Rat den ich geben würde: Konzepte > Programmiersprachen.

Programmieren ist in erster Linie herausfinden, wie man ein Problem zerlegt und dann eine wiederholbare Vorgehensweise zu finden, wie man es lösen kann.

 

Schritt 2-n: Zeug programmieren. Mit einfachen Übungsaufgaben anfangen, und dann langsam in die Richtung vorarbeiten, in die man will. Evtl. nen Blick auf HumbleBundle werfen, die haben immer mal wieder Aktionen, in denen ein Schwung Bücher für nen Appel und nen Ei verkauft werden. In den letzten Monaten war da euch häufiger was im Bereich Daten Analyse / Auswertung dabei.

 

Formale Ausbildung ist gut, ich hab allerdings auch schon aufm Gymmi nebenher kleine Auftragsarbeiten erledigt. Dann Ausbildung zum staatl. gepr. Informatiker, dann Job und jetzt eben das Studium noch dazu.

 

Wenn Du was in der Richtung machen willst würde ich Dir evtl. Einsteiger Tutorials in Python empfehlen, da es für Datenauswertung gut geeignet ist, eine relativ gut lesbare Syntax hat und es extrem viele Einsteiger Tutorials im Netz gibt.

Studium ist um Entwickeln zu lernen eher nicht ganz so toll geeignet, da würde ich eher die Fachinformatiker oder staatl. gepr. Informatiker vorschlagen. Oder eben Studieren und nebenher viel entwickeln... Codieren ist ein Skill. Und daher macht Übung den Meister.

 

Sorry für die lange Antwort, evtl. war was dabei, was Dir weiterhilft.

Link zu diesem Kommentar
vor 6 Minuten schrieb polli_on_the_go:

Berücksichtigt das denn auch stilistisch verschiedene Zitationsvorgehensweisen. Z.b. gibt es (was ich grausig finde, aber was vor kommt) bei längeren Abschnitten, die sich auf eine Quelle beziehen, die Stilistusche Option diese z.B. hinter den Punkt des Absatzes zu setzen und so bezieht sie sich auf den gesamten Absatz.

 

Weder im iu Stil noch im jetzt verwendeten APA Stil ist diese Vorgehensweise gültig.

Wäre aber für das Skript auch egal, da ich nur die Anzahl der Referenzen pro Seite zähle, nicht auf wieviel Text sich die eine Referenz erstreckt.

Die Auswertung ist also rein quantitativ auf Seitenebene. Für eine Textflächen Abdeckung wäre  deutlich mehr Aufwand notwendig. Und da würde ich dann auch eher in den Bereich Textanalyse AI gehen wollen. Ich hab mal angefangen mich in den Bereich einzulesen. Man kommt damit sicher auf eine bessere Auswertung, allerdings ist der initiale Aufwand deutlich höher.

 

Und mir ging es in erster Linie darum zu erfahren: Welche Quellen werden am häufigsten zitiert (potentiell guter Einstig in das Thema), und welche Seiten/ Abschnitte haben wenige Referenzen. 

 

Ich würde gern die Auswertung auch etwas weiter runtersplitten, ebenfalls Seiten anzeigen die nur aus Abbildungen bestehen, bzw. auf den Seiten den prozentualen Teil von Abbildungen mit anzeigen, Lektionsgrenzen in der Grafik vermerken und pro Lektion die Top 3 genannten Quellen angeben.

 

Ich überlege mir auch die Skripte nach "wichtigen" Begriffen zu durchforsten.

Eigentlich sollte man damit thematische Nähe zwischen Skripten aufzeigen können. Was dann wiederum einen "Pfad durchs Studium" mit vielen Synergie Effekten aufzeigen könnte.

 

In Verbindung mit den Referenzen ergeben sich so wahrscheinlich Themen-Cluster mit einer zugeordneten Liste von Literatur. 

 

Etwas ähnliches habe ich mir für die Modulhandbücher überlegt.

Auf der Ebene zu arbeiten hätte den Vorteil (für den Anbieter), dass man bereits vor Beauftragung des Lehrbriefes anhand der Moduldefinition relevante, bereits existierende Lehrbrief (Abschnitte) finden kann.

Diese könnten dann als Grundlage für das neue Skript genutzt werden. Vorteile wären unter anderem eine einheitliche Nutzung der Begrifflichkeiten, ggf. erkennt man auch Überschneidungen, und kann bereits in der Designphase des Curriculums entsprechend (um)planen.

 

vor 34 Minuten schrieb polli_on_the_go:

Wenige Belege an sich sagen ja auch überhaupt noch nichts über die Qualität der jeweiligen Belege aus. Denn nur weil überspitzt gesagt 7x verschiedene Wikipediaseiten zitiert werden und es grün ist anstelle 1 fundiertes Grundlagenwerk der Psychologie (rot) macht es das ja nicht wertiger.

 

Hui. Viele Dinge hier drin.

Mal der Reihe nach:

Zum einen soll das Tool nichts über die Qualität aussagen. Daher wird auch nirgends von der Qualität gesprochen, sondern rein über das was es tut.

Ich finde den Sprung zur Qualität verständlich, aber dafür ist es aktuell nicht geeignet. Der Hinweis auf die Quellen hat mir aber eine Idee gegeben. Dazu unten mehr.

 

Da jede Aussage belegt werden sollte, heisst dies im Umkehrschluss, dass eine Seite mit nur einer Referenz (was übrigens Orange wäre, nicht rot), hier nur ein Kernpunkt erklärt oder belegt wird.

 

Das ist etwas mau. Daher Orange.

 

Spinnt man den Faden mal etwas weiter, dann könnte man mit der Analyse und einer "manuellen" Bewertung der Quellen, sagen wir auf einer 3 oder 5 stufigen Skala von "unterirdisch" bis "hochwertig" in Folge auch die die Auswertung oben anpassen.

Zum Beispiel könnten Referenzen auf "unterirdische" Quellen wie keine Referenz gewertet werden. Mittlere Bewertungen würden auch die Referenz nur anteilig zum Score hinzurechnen, etc.

 

Und ja, ein Skript dass ich total übermüdet in 2h zusammengebastelt habe wird sicher keine QM ersetzen 🙃

Soll es ja auch nicht, und niemand ausser Dir hat etwas in der Richtung gesagt. Ich denke, eben weil es auch recht klar ist, dass es dazu auch gar nicht gedacht ist.

Ich könnte hier wieder auf die entsprechende rhetorische Taktik hinweisen, dass hat aber in allen anderen Fällen bisher nichts gebracht, also lass ich es an dieser Stelle.

 

Was das Skript allerdings leisten kann:

Aber es gibt einen visuellen Anhaltspunkt wo die Abdeckung mit Quellen fehlt. Was es dann erlaubt gezielter in Skript zu kucken, bzw. wenn es im Rahmen der QM eingesetzt werden würde, hier in den Dialog mit dem Autor zu treten und darum zu bitten es nachzuschärfen.

 

Man erkennt auch leichter Muster. Das ist das Schöne an der Visualisierung.

Bei Content Marketing ist die Quellenabdeckung recht... uneinheitlich. 

 

Man erkennt die grünen Bereiche... die sind in der Tat auch von der Textqualität höher. Evtl. hatte hier die Autorin mehr Erfahrung. Je "roter" der Bereich, desto absonderlicher der Text.

Also, in diesem einen Fall. 

Trotzdem ist das Skript als Gesamtwerk auch nicht so prickelnd, da es von der didaktischen Struktur her nicht passt und einfach extrem unscharf erklärt wird. Und das kann mit einer rein quantitiven Herangehensweise nicht gefunden werden.

Aber sie kann eben der Ausgangspunkt für eine gezielte Untersuchung oder Rücksprache sein.

 

Und das ist für 2h Arbeit ein ganz brauchbares Ergebnis. Eher ein Startpunkt denn ein Endpunkt,

aber das hier war ja auch ein Blog Post, keine wissenschaftliche Arbeit 🙃

 

Link zu diesem Kommentar
DerLenny

Geschrieben (bearbeitet)

So, hab jetzt noch ein paar Wohlfülfunktionen eingebaut.

Name des Skripts und Kurskürzel, Anzeige des techn. Apparats (grau), Anzeige von Lektions Grenzen und durchschnittliche Referenzen pro Seite für die einzelnen Lektionen.

 

1172384672_ref_ContentMarketing(DLBOMCM01).png.548857ff21bd3f9cdefbe5147ab212c7.png

631734946_ref_DigitaleMedienproduktion(DLBMDWDMP01).png.f1fb867f1ad323d3a212f3f0d3f9ac0d.png

2076392725_ref_DigitaleMedienproduktion(DLBMDWDMP01-01).png.74b9a1e98b8aa49f6043e4a4a23a5876.png

1389976989_ref_EinfhrungindiePsychologie(DLBPSEP01).png.3f848b3eb460abfc133e623d56884e92.png

Und, als guter Beleg dafür das Quellenabdeckung nicht alles ist:

347647759_ref_PositivePsychologie(DLBKPSPP01).png.a778b8a5cbb88d97e51de78dd64956f9.png

Als Beispiel für "gefühlt" gute Skripte:

566262309_ref_Medienpsychologie(DLBMIMPS01).png.d2d569dc7c753ceb0c3bc5f538890ca9.png

2117010712_ref_Kommunikationspsychologie(DLBKPSKPS01).png.0d4312478792e5fa9caa1ff373924dc5.png

244322007_ref_AllgemeinePsychologieWahrnehmungGedchtnisSpracheDenkenundProblemlsen(DLBPSAPWGSDP01).thumb.png.a94508e88068be35dc8a500f0c80f01a.png

221361292_ref_Verhaltens-undEvolutionsforschung(DLBKPSVUEF01).png.32fcae935b13386d7ecddaca923505bd.png

1038237630_ref_ModerationvonGruppen(DLBKPSMVG01).png.5297637d01b808bd2b143bc8b59586d6.png

Bearbeitet von DerLenny
Link zu diesem Kommentar

Erstelle ein Benutzerkonto oder melde Dich an, um zu kommentieren

Du musst ein Benutzerkonto haben, um einen Kommentar verfassen zu können

Benutzerkonto erstellen

Neues Benutzerkonto für unsere Community erstellen. Es ist einfach!

Neues Benutzerkonto erstellen

Anmelden

Du hast bereits ein Benutzerkonto? Melde Dich hier an.

Jetzt anmelden


×
×
  • Neu erstellen...