HT: LV Evaluierungen

In einem Studium werden überlicherweise Leistungen von Studierenden durch die Lehrenden bewertet. Aber es gibt diverse Möglichkeiten, wo die Studiernden uns Feedback geben können, insbesondere über LVs, Studiengang, Organisation und Infrastruktur. In dieser Folge diskutieren wir mit Clemens Reindl von unserer Stabstellte Qualitätsmanagement über diese Evaluierungsmöglichkeiten in unserem Studiengang.

Evaluierungen sind für uns das wichtigste Instrument, um Einblicke aus der Sicht der Studierenden und Absolvent*innen zu bekommen. Das ermöglicht uns, kontinuierlich besser zu werden. Denn, wie das Marie von Ebner-Eschenbach treffend formuliert hat: „Wer aufhört, besser werden zu wollen, hört auf, gut zu sein.“

Transcript

00:00:05
 Intro Speaker : Wissenswertes und Wissen, News aus den Studiengängen der Technik an der FH Campus Wien.

00:00:23
 Igor Miladinovic: In einem Studium werden üblicherweise Leistungen von Studierenden durch die Lehrenden bewertet, aber es gibt diverse Möglichkeiten, wo die Studierenden uns Feedback geben können, insbesondere über Lehrveranstaltungen, Studiengang, Organisation und die Infrastruktur. In dieser Folge diskutieren wir mit Clemens Reindl von unserer Stabsstelle Qualitätsmanagement über diese Evaluierungmöglichkeiten in unserem Studiengang.

00:00:56
 Sigrid Schefer-Wenzl: Evaluierungen sind für uns das wichtigste Instrument, um Einblicke aus der Sicht der Studierenden und Absolvent*innen zu bekommen. Das ermöglicht uns, kontinuierlich besser zu werden. Denn, wie das die Schriftstellerin Marie von Ebner-Eschenbach treffend formuliert hat: "Wer aufhört, besser werden zu wollen, hört auf, gut zu sein."

00:01:23
 Igor Miladinovic: Die Entwicklung der Informatik und digitalen Kommunikation war nie so schnell wie heute.

00:01:29
 Sigrid Schefer-Wenzl: Und sie wird nie so langsam sein wie heute.

00:01:35
 Igor Miladinovic: In diesem Podcast stellen wir wichtige Themen rund um unsere Informatik Studiengänge der FH Campus Wien vor.

00:01:43
 Sigrid Schefer-Wenzl: Die Sie optimal für diese Entwicklung vorbereiten werden.

00:01:49
 Igor Miladinovic: Willkommen zu dieser Folge von unserem Podcast 10 nach 10. Mein Name ist Igor Miladinovic und ich bin der Studiengangsleiter von den Studiengängen Computer Science and Digital Communikations, Software Design and Engineering und Multilingual Technologies.

00:02:05
 Sigrid Schefer-Wenzl: Willkommen auch von meiner Seite. Mein Name ist Sigrid Schefer-Wenzl und ich unterrichte in diesen beiden Studiengängen.

00:02:12
 Igor Miladinovic: In dieser Folge wollen wir über Evaluierungen reden: Evaluierungen mit unseren Absolvent*innen, mit unseren Studierenden. Und zum Glück hat unsere Fachhochschule dafür eine eigene Stabsstelle. Die nennt sich Qualitätsmanagement und heute haben wir als Gast einen Vertreter von dieser Stabsstelle: Clemens Reindl. Clemens, darf ich dich jetzt am Anfang bitten, dass du dich kurz vorstellst?

00:02:39
 Clemens Reindl: Ja, Hallo! Clemens Reindl, Danke für die Einladung. Genau, also ich komme aus der Stabsstelle Qualitätsmanagement und diese ist halt aufgebaut mit mehreren Funktionen. Wir haben da ein Prozessmanagement definiert. Wir haben dort Dokumentendenken definiert, aber wir haben eine eigene Stelle drinnen für Evaluierung und das bin ich halt dann sozusagen. Also meine Funktionsbeschreibung nennt sich Evaluierungsmanagement. Vielleicht ganz kurz, was wir da machen im Qualitätsmanagement. Grundsätzlich ist ja jede Hochschule verpflichtet, sogar in irgendeiner Form Qualitätsmanagement zu haben, sonst könnte sie gar nicht akkreditiert werden und Titel verleihen. Wir nehmen diese Aufgabe sehr ernst und würde mal sagen wir sind ein bisschen die Streber unter den Hochschulen. Also wir sind nach der ISO 9001 zertifiziert. Das ist eine Qualitätsmanagementnorm, wo beschrieben ist, welche Anforderungen ein Qualitätsmanagementsystem haben muss und wir arbeiten auch nach dem EFQM Ansatz. Das ist ein Ansatz des Total-Quality-Managements. Das heißt wir betreiben das ja umfangreich und detailliert und haben auch für die einzelnen Arbeitsbereiche dann eine Person, die dafür zuständig sind. Und ich mache alles, was mit Evaluierung zu tun hat, bei der Evaluierung sehr viel verstehen kann. Bei uns an der FH versteht man unter generell, im Hochschulbereich versteht man unter Evaluierung in erster Linie Befragungen, vor allem quantitative Befragungen. Alles, was damit zu tun hat, das leite ich, wenn es um systematische Ansätze geht.

00:04:15
 Sigrid Schefer-Wenzl: Vielen Dank und jetzt unabhängig von der gesetzlichen Verpflichtung, was würdest du sagen, warum sind Evaluierungen gerade an Hochschulen wichtig?

00:04:24
 Clemens Reindl: Ja, Evaluierungen, man kann ja auch im Wortsinn ja sagen: also Bewertungen dienen ja dazu, um zu bewerten, wie meine Vorgehensweisen, meine Ansätze, wie die laufen, ob die Ziele, die ich mir gesetzt habe, ob ich die erreiche bzw. wie ich sie erreiche und und was ich besser machen könnte. Also in der ISO 9001 gibt es ja diesen schönen Begriff des kontinuierlichen Verbesserungsprozesses. Das heißt das Ziel ist, dass man sich in einer Schleife ständig verbessert und in diesem kontinuierlichen Verbesserungsprozess spielt eben die Evaluierung eine wichtige Rolle. Also man spricht hier von dem PDCA-Zyklus: Plan-Do-Check-Act und das heißt, man setzt sich ein Ziel, man leitet Maßnahmen ab, man setzt diese Maßnahmen um und irgendwann sollte dann auch der Punkt kommen, wo man dann überprüft: so wie ich mir das vorstelle, läuft es auch tatsächlich so und das wäre das Check und dann kommen auch die Evaluierung im Spiel wo wir dann eben schauen, ist alles, was wir uns vorgenommen haben, auch nach Plan.

00:05:32
 Igor Miladinovic: Vielen Dank. Und jetzt ist es so: wenn unsere Studierende und auch Vortragende an Evaluierungen so denken. Das erste woran man denkt, ist eine Lehrveranstaltung Evaluierung, aber das ist das sind nicht die einzigen Evaluierungen, die wir haben. Kannst du uns vielleicht kurz sagen Welche Arten von Evaluierungen gibt es bei uns?

00:05:52
 Clemens Reindl: Ja, genau. Also wie gesagt, ich habe schon früher gesagt, Hochschulkontext wird unter Evaluierung in erster Linie Befragung bestanden und bei uns wird sehr viel befragt. Wir haben sehr viele unterschiedliche Stakeholder-Interessengruppen und da versuchen wir, dass wir von all diesen Interessengruppen Meinungen und und Erfahrungen erheben. Also auf Seite der Studierenden ist das die jährliche Studierendenbefragung, wo wir auch noch unterscheiden zwischen Erstsemestrigen und Höchersemestrigen, dann haben wir auch die Studienabschlussbefragung, die unmittelbar nach Studienabschluss stattfindet. Es gibt dann in einem Kooperationsprojekt mit circa 70 Hochschulen aus dem deutschsprachigen Raum: unsere Absolventinnen Studie, die KOAB Studie das zwei Jahre ungefähr nach Abschluss des Studiums. Und dann gibt es die die Königsdisziplin. Das ist eben die Lehrveranstaltungsevaluierung, an die wirklich jeder zunächst mal denkt, wenn es um Evaluierungen an Hochschulen geht.

00:06:46
 Sigrid Schefer-Wenzl: Und was würdest du sagen? Warum sollte man als Studierende/Studierender oder Absolvent/Absolventin an Evaluierungen teilnehmen?

00:06:55
 Clemens Reindl: Das sind die Evaluierung, das habe ich gesagt, man möchte Feedback bekommen. Es gibt für uns extrem viele handelnde Akteurinnen und Akteure. Wir haben 300 Mitarbeitende und hauptberuflich Lehrende, wir haben 2000 nebenberuflich Lehrende, wir haben zig Führungskräfte und alle diese Akteur*innen an der Hochschule, die die treffen Entscheidungen. Und diese Entscheidungen werden natürlich besser, wenn sie fundiert sind durch Feedback der verschiedenen Interessengruppen, aber natürlich auch vor allem durch studentisches Feedback. Und je mehr dann von diesem Feedback zutage kommt, also je mehr Studierende mitmachen, auch je ausführlicher zum Beispiel die Antworten auf Kommentarfelder sind, desto mehr kann unsere Organisation daraus lernen und desto mehr kann man Verbesserungen gearbeitet werden. Das heißt, es ist im Sinn jeder Einzelnen, jedes einzelnen Studierenden hier mitzumachen und quasi gemeinsam an kontinuierlichen Verbesserungsprozess mitzuwirken.

00:07:57
 Igor Miladinovic: Danke und jetzt kommen wir zu einem umstrittenen Thema. Also früher waren also ich kann mich erinnern, früher waren Evaluierungen immer mit Paper und Pencil. Da gab es einen Fragebogen, jeder und jede hat das ausgefüllt. Da war Anonymität, war ziemlich gut gewährleistet. Man könnte natürlich über die Handschrift noch irgendwas machen, wenn man will, aber heutzutage sind die Evaluierungen elektronisch, nicht nur bei uns, sondern überall, was ich zumindest kenne. Wie kann man da die Anonymität sicherstellen, wenn man sich zum Beispiel im Portal einloggen muss, um zu evaluieren. Wie funktioniert da diese Anonymität? Also ich kann sagen als Studiengangsleiter, ich kann nicht sehen, wer welche Evaluierung geschrieben hat. Wie wird das implementiert? Wie wird das umgesetzt?

00:08:48
 Clemens Reindl: Es ist auf technischer Ebene passiert, dass das Anonymität garantiert ist. Übrigens auch bei all unseren anderen Befragungen, die wir haben, die werden auch alle elektronisch durchgeführt und auch hier wird gewährleistet, dass Anonymität vorhanden ist. Vielleicht mal vorausschickend, denn wir wissen, dass Studierenden die Anonymität hoch wichtig ist. Das ist ein Hauptgrund, warum Studierende nicht mitmachen bei Evaluierungen, weil sie Zweifel an dieser Anonymität haben. Aber was wir eigentlich der Sinn dahinter ist und wer profitiert, würde von unserer Seite davon profitieren wenn Anonymität nicht gegeben wäre? Soll der Studiengangsleiter dann vielleicht Studierende dissen oder ein Lehrende schlechtere Noten geben? Das ist nicht in unserem Sinne. Auf technischer Ebene ist es umgesetzt. Da bin ich jetzt ja nicht der Experte. Das ist bei uns eine eigene Abteilung. Die Online Services, die das gesamte Portal, wo die sämtliche Verwaltung der Hochschule läuft. Über dieses Portal funktioniert auch die Lehrveranstaltungsevaluierung und dort ist ich kann es leider technisch auch nicht besser ausdrücken, aber dort war das halt möglich ist es gemacht worden um Anonymität herzustellen. Sprich, dass alle Leute an den verschiedenen Frontends dieses Portals, das jetzt die Sekretariate sind, die Studiengangsleitungen, die Lehrenden oder die Studierenden selber, die haben ja alle Zugang auf dieses Portal mit unterschiedlichen Zugriffsrechten. Dass an keiner Stelle irgendwo die Möglichkeit besteht, die Evaluierungsergebnisse nachvollziehbar zu machen, im Sinne, dass man weiß, von wem die kommen. Also Studiengangsleitung und Lehrende sehen die Ergebnisse im Sinne von Durchschnittswerten mit Balkendiagrammen. Und die werden dargestellt, sobald mindestens zwei Studierenden bei einer Evaluierung mitgemacht haben. Davor sehen sie keine Ergebnisse. Das einzige, wo man sagen könnte, es wäre keine Anonymität mehr gegeben, das ist, das liegt in der Hand der Studierenden, wie weit sie in den Kommentarfeld dann selber sich quasi öffnen, sagen, ganz konkrete Situationen nennen, dann natürlich kann es sein, dass die Lehrende das dann nachvollziehen kann. Aber wenn das alles nicht reicht wir haben gemeinsam mit der Österreichischen HochschülerInnenschaft ein Gutachten in Auftrag gegeben von unabhängiger IT-Experten Seite. Und dieses Gutachten stellt eben uns was im Ausweis aus, dass bei uns Anonimität herrscht und, dass es keine Möglichkeit gibt nachzuvollziehen, wer, wie geantwortet hat.

00:11:17
 Sigrid Schefer-Wenzl: Was würdest du sagen, sind die Vorteile, wenn man so eine elektronische Evaluierung einsetzt? Ich weiß, ihr habt da auch verschiedene Dinge ausprobiert.

00:11:25
 Clemens Reindl: Ja, grundsätzlich. Von den Methoden gibt es die klassische - du hast es schon angesprochen die Paper Pencil Evaluierung. Die hat den großen Vorteil, dass wenn der Lehrende oder die Lehrende durch die Klasse geht oder durch den Raum geht und die austeilt, dass dann wirklich alle Studierenden animiert sind mitzumachen und man bekommt einfach einen bis zu 100 % Rücklauf und das will man ja möglichst im Rücklauf. Aber riesige Nachteile von Paper Pencil ist halt der riesige Verwaltungsaufwand. Jeder einzelne hat das ja viel zu tun. Die Studierenden mit handschriftlichen Ausfüllen, die Lehrenden mit austeilen usw. und das ganze muss dann auch noch systematisch irgendwo dann eingepflegt werden und ausgewertet werden und all das macht die elektronische Form, die Online Form automatisch und zentral und das ist ein viel geringere Aufwand und in Zeiten wie diesen natürlich auch ein ökologischer Aspekt dabei. Man spart natürlich Unmengen an Papier im Vergleich zu früher Pepper Pencil und das Neueste, was wir jetzt machen: vielleicht hätten wir die Idee noch auf das gekommen , die sind die sogenannte In-Class Evaluierung. Da versuchen wir, die beiden großen Vorteile von Paper Pencil und von Online Evaluierungen zu verheiraten, sozusagen. Das heißt, es wird gleichzeitig im Lehrsaal oder auch im Online Format vor dem Bildschirm und gleichzeitig von allen die Evaluierung durchgeführt, aber halt nicht Paper Pencil, sondern über das Tool, das unsere Portal bietet. Das verheiratet ihm dann einerseits Ökologie, Effizienz und auf der anderen Seite hohe Rücklaufquote.

00:13:03
 Igor Miladinovic: Dankeschön! Das heißt da versucht man durch diese Anonymität plus dedizierte Zeit für eine Evaluierung eine Rücklaufquote zu erreichen, die man mit Paper und Pencil gehabt hat. Wie wichtig ist diese Rücklaufquote überhaupt für eine Evaluierung?

00:13:17
 Clemens Reindl: Das soll man nicht unterschätzen. Die Rücklaufquote ist sehr, sehr wichtig, aus mehreren Gründen. Der wichtigste Grund, würde ich sogar sagen, ist die Akzeptanz. Man will ja etwas damit bewirken und die Ergebnisse einer Evaluierung werden halt umso mehr akzeptiert, je höher die Rücklaufquote ist. Also Lehrende haben eine gute Argumentation gegenüber ihren Vorgesetzten, wenn sie mit schlechten Evaluierungsergebnissen konfrontiert werden. Wenn sie sagen na ja, da habt ihr nur jeder fünfte, sechste oder siebte mitgemacht, das ist ja nicht aussagekräftig. Wenn hohe Rücklaufquote da sind, ist auch hohe Repräsentativität da und das natürlich hat an sich schon einen Wert. Und dann kommt noch mal die Repräsentativität ins Spiel. Das heißt, dass das die Aussagen, die einzelnen Studierenden machen, wirklich dann für die gesamte Gruppe gelten. Und je mehr Leute mitmachen, desto höher ist diese Repräsentativität. Und es sind nicht so wie bei den Lehrveransaltungsevaluierungen, wo wirklich nur ganz wenige mitmachen, wo dann hauptsächlich die sogenannten Hater dabei sind, die, die halt da irgendwie vielleicht eine Rechnung mit dem oder der Lehrenden offen haben, sondern es gibt dann wirklich das ganze Spektrum rein von Ansichten. Und deswegen ist es wichtig, möglichst hohe Rücklaufquote zu haben.

00:14:31
 Igor Miladinovic: Ja, das kann ich definitiv so bestätigen. Nicht nur gegenüber den Vorgesetzten, auch gegenüber sich selbst. In die leeren Zonen, die Evaluierung schlecht ist. Und da evaluieren 10 von 50 Studierenden, dass man sagt, das sind eher die Unzufriedenen. Und die restlichen 40 sind eh zufrieden, aber sie haben nicht evaluiert und dann tut man nichts. Und das ist nicht gut. Es wäre viel besser, höhere Rücklaufquote zu haben. Dann hat man ein vollständiges Bild und dann weiß man, an welchen Schrauben man drehen sollte, damit man sich verbessert. Und das ist das, was wir alle wollen.

00:15:06
 Clemens Reindl: Ja, da kann ich nur mitgeben, vielleicht auch noch ein Punkt zu diesen Unzufriedenen oder zu der Gruppe, den Hatern. Da möchte ich auch einen Appell, wenn das jetzt vielleicht Studierende hören, die, die jetzt nur studieren und vielleicht auch noch künftig Evaluierungen als Bögen ausfüllen werden. Wir haben wirklich ein Problem. Es kommt nicht oft vor, aber es kommt vor, dass Kommentare unter die Gürtellinie kommen, die einfach wirklich nichts mit dem Gegenstand an sich zu tun haben, sondern wo jemand einfach Rache oder was auch immer an den Lehrenden üben möchte. Und das kann wirklich sehr, sehr demotivierend wirken. Also man hört immer wieder von Lehrenden, dass sie das psychisch fast ein bisschen angeknackst bis hin, dass nebenberuflich Lehrenden Hut darauf hauen. Das brauche ich mir eigentlich nicht bieten lassen. Also wir bitten da auch um Fairness bei der Durchführung der Evaluierung. Und wir haben ja einen Code of Contact bei uns an der FH und nach dem sollte man sich auch bei der Evaluierung richten.

00:16:02
 Sigrid Schefer-Wenzl: Okay, vielen Dank. Evaluierungen sind ja nicht nur im Hochschulbereich, aber gerade eben im Hochschulbereich ein ganz wichtiges Thema. Was sind denn da so Best Practices an anderen Hochschulen, die du uns da nennen könntest?

00:16:16
 Clemens Reindl: Wir sind eigentlich von der QM Seite sehr gut vernetzt, zumindest im deutschsprachigen Rahmen mit andern Hochschulen. Wir sind regelmäßig auch bei Tagungen, zum Beispiel bei der DeGEval-Tagung, dass die Gesellschaft für Evaluation und dort wird genau auf dieser Flughöhe passiert der Austausch, wo wir uns viele Anregungen holen können. Ein tolles Best Practice ist jetzt schon sehr lange her, war zum Beispiel von der Universität Frankfurt: die In-Class Evaluierung. Ist nicht so, dass das jetzt schon seit Ewigkeiten gibt, sondern dass es konkret etwas, was wir uns dort abgeschaut haben und jetzt im Laufe der Jahre bei uns weiterentwickelt haben. Vielleicht muss man dazu sagen, es ist zwar das Evaluierungsmanagement liegt bei uns in der Stabsstelle, aber es gibt da im Haus ein sogenanntes Nutzer*innen Gremium zur LV Evaluierung, des drinnen der Vizerektor für Lehre, das bin ich selber drinnen, das sind einige Studiengangsleitungen, Lehrenden, natürlich auch Studierendenvertreter drinnen. Das Teaching Support Center und die Online Services, die auf die Implementation der Evaluierung zuständig sind. Und über dieses Gremium wird die Evaluierung immer weiterentwickelt. Konkret: wir hatten Best Practice gibt das ein und über die Jahre wird das dann halt immer weiterentwickelt.

00:17:33
 Igor Miladinovic: Vielen Dank. Wenn wir schon über Best Practices reden, was sind die Trends im Bereich Evaluierungen oder wo werden Evaluierungen in fünf oder in zehn Jahren sein? Wie ist da die Entwicklung?

00:17:45
 Clemens Reindl: Ich verfolge das inzwischen ja schon sehr lange. Bis jetzt war der Trend eben Rücklaufquoten, Steigerungen eben durch Online Formate und so weiter. Was jetzt schon seit einigen Jahren ein neuer Trend ist, das ist auch methodischer Hinsicht, dass man in das Qualitative geht. Also wir versuchen ja hier sehr effizient, quantitativ, zentralisiert abzufragen. Es gibt aber ein ganzes Mix an Methoden, wie man Lehrveranstaltungen qualitativ evaluieren kann, zum Beispiel: das können auch Studierende sein, aber ich sag jetzt mal Lehrveranstaltungsfremde Personen reingehen in die Klasse und "in den Lehrsaal gehen" und die Lehrperson verlässt den Lehrsaal und dann passieren dort zum Beispiel Gespräche. Das ist eine Form, aber da gibt es wirklich ganze Bündel davon. Es gibt Hochschulen, die bieten da einen sogenannten qualitativen Werkzeugkoffer an, wir haben das alles natürlich auch angedacht. Es ist natürlich immer eine Ressourcenfrage und flächendeckender Evaluierung kann man da auf keinen Fall sprechen. Das wäre viel, viel zu aufwendig. Aber so stichpunktartig sind das natürlich Ansätze, die auch bei uns vorstellbar sind. Und das würde ich sagen, ist jetzt der Trend, dass man, wenn ich mir jetzt persönlich ein Ziel setze, wo sind wir da bei der Evaluierung Thematik in fünf oder zehn Jahren, dass wir zumindest solche Formate eingesetzt haben und ausgetestet haben, dann schon im Entwicklungsstadium sind.

00:19:14
 Igor Miladinovic: Vielen Dank.

00:19:14
 Sigrid Schefer-Wenzl: Vielen Dank.

00:19:15
 Igor Miladinovic: Es geht fast ein bisschen in Richtung Design Thinking, also diese qualitative, empathische Interviews und hot Meinungen nicht nur zu uns, sondern auch gut zu verstehen.

00:19:26
 Clemens Reindl: Genau. Aber wie gesagt, ich habe vorher schon das Thema Repräsentativität angesprochen. Dann wird es vielleicht auch noch gehen das Thema Vollständigkeit und wir wollen natürlich schon die Qualitätskontrolle über das gesamte Paket quasi haben und da führt meiner Ansicht nach über die quantitativen Ansätze nichts hinaus.

00:19:48
 Igor Miladinovic: Dann vielen Dank, Clemens. Die Stabsstelle heißt zwei Qualitätsmanagement und wir reden immer über Kontrolle und so, aber ich habe das nie, oder wie in unserem Studiengang kann das nie als Kontrolle gesehen, sondern es ist wirklich eine Unterstützung, ein Miteinander. Und es ist natürlich wichtig, wenn man Studiengänge entwickelt, wenn man Lehrveranstaltungen entwickelt, dass man auch externe Unterstützung für die Qualität bekommt. Und wir sind sehr froh, dass wir so eine Stabsstelle hier im Haus haben.

00:20:16
 Clemens Reindl: Das freut mich!

00:20:17
 Igor Miladinovic: Dann nochmals vielen Dank, dass du uns diese Einblicke in deinen Arbeitsbereich gegeben hast. Ich hoffe, liebe Studierenden, dass sie jetzt besser verstehen können, wieso diese Evaluierungen so wichtig sind und wie wichtig die Rücklaufquote ist. Wir bleiben weiter mit interessanten Themen dran und freuen uns auf die nächste Folge.

00:20:38
 Sigrid Schefer-Wenzl: Bis zum nächsten Mal!

00:20:41
 Clemens Reindl: Tschüss.