Wird KI über Ihre Universität entscheiden? Berechnen Sie Ihre 7 persönlichen Eigenschaften in wenigen Minuten

Derzeit halten viele Universitäten am Konzept der umfassenden Überprüfung fest.

In einer aktuellen Umfrage der National Association for College Admission Counseling (NACAC) gaben 70 % der Zulassungsbeauftragten an, dass persönliche Eigenschaften für sie ein wichtiger Faktor bei der Auswahl der Bewerber seien.

In der Realität gewährleisten Bewertungen jedoch keine Fairness und die Zulassungsmöglichkeiten sind durch die Ressourcen begrenzt.

Um die oben genannten Herausforderungen zu bewältigen, trainierte ein Forschungsteam unter der Leitung von Benjamin Lira von der University of Pennsylvania ein Sprachmodell namens „Robustly Optimized BERT Pretraining Approach (RoBERTa)“, um die außerschulischen oder beruflichen Unterlagen der Bewerber zu überprüfen und nach sieben darin enthaltenen persönlichen Eigenschaften zu suchen.

Die Ergebnisse zeigen, dass KI-Modelle, die auf menschlichen Bewertungen trainiert wurden, innerhalb von Minuten Millionen persönlicher Qualitätsbewertungen generieren können, wobei sie menschliche Bewertungen genau nachbilden und gleichzeitig erklärbar und fair sind.

Die zugehörige Forschungsarbeit mit dem Titel „Einsatz künstlicher Intelligenz zur Beurteilung persönlicher Qualitäten bei der Zulassung zum College“ wurde in Science Advances, einer Tochtergesellschaft von Science, veröffentlicht.

Das Forschungsteam betonte jedoch auch: „Kein Algorithmus kann die Ziele des Hochschulzulassungsverfahrens bestimmen oder welche persönlichen Eigenschaften am wichtigsten sind. Die Hochschulen müssen ihre Zulassungsziele klären, bevor sie den Überprüfungsprozess automatisieren.“

KI erkennt erfolgreich persönliche Eigenschaften

An vielen Universitäten ist die umfassende Begutachtung zu einem weit verbreiteten Verfahren zur Zulassungsbeurteilung geworden, bei dem die persönlichen Qualitäten eine entscheidende Rolle spielen. Dieser Ansatz soll die Fairness fördern, da er den Bewerbern die Möglichkeit gibt, nicht-kognitive Fähigkeiten und Charaktereigenschaften unter Beweis zu stellen, die in standardisierten Tests nicht berücksichtigt werden.

Allerdings haben Fälle aus der Vergangenheit gezeigt, dass umfassende Überprüfungssysteme auch zu Ungerechtigkeiten führen können, insbesondere wenn die Bewertungskriterien unklar sind und es an Erklärungen oder Offenlegungen mangelt. Dem derzeitigen umfassenden Überprüfungsprozess mangelt es an Transparenz. Die Zulassungsbeamten verlassen sich bei der Beurteilung der Qualitäten der Bewerber in erster Linie auf persönliche Aussagen. Diese Einzelheiten bleiben den Bewerbern und der Öffentlichkeit jedoch im Unklaren.

Zu den Möglichkeiten zur Verbesserung integrierter Überprüfungen gehören die Einführung eines transparenteren und systematischeren Bewertungsansatzes, die Verwendung strukturierter Rubriken und die Durchführung mehrerer unabhängiger Bewertungen. Diese Empfehlungen spiegeln die Anwendung psychometrischer Prinzipien wider, um die Zuverlässigkeit, Gültigkeit und Interpretierbarkeit von Beurteilungen zu verbessern und so potenzielle Verzerrungen zu reduzieren.

In der Realität bestehen jedoch weiterhin Probleme. Dazu zählen vor allem die steigende Zahl der Bewerbungen sowie der Zeit- und Ressourcenmangel, mit dem die Zulassungsbeauftragten der Universitäten konfrontiert sind. Wenn die Ressourcen unbegrenzt wären, könnten die Bewertungen besser optimiert werden, um eine größere Gerechtigkeit zu erreichen.

In dieser Studie verwendete das Team KI-Technologie, um eine Methode zur besseren Beurteilung persönlicher Eigenschaften zu entwickeln. Zunächst nahmen sie eine anonymisierte Stichprobe von 309.594 College-Bewerbungen, von denen jede einen 150 Wörter langen Aufsatz enthielt, in dem die gewählten außerschulischen Aktivitäten oder die Arbeit des Bewerbers beschrieben wurden.

Anschließend wählten die Forscher und Zulassungsbeauftragten 3.131 der Arbeiten aus, um ein Sprachmodell namens RoBERTa zu trainieren. Sie achten in den Aufsätzen der Bewerber auf sieben Eigenschaften, die dabei helfen können, festzustellen, welche Bewerber die größten Erfolgsaussichten im College haben: Lernfähigkeit, Ausdauer, Zielstrebigkeit, Teamfähigkeit, intrinsische Motivation, Führungsstärke und altruistische Zielstrebigkeit.

Schließlich überprüften die Forscher mit diesen fein abgestimmten Modellen weitere 306.463 Artikel und vergaben jedem eine Punktzahl.

Die Ergebnisse zeigten, dass die Forscher und Zulassungsbeamten in jedem der Aufsätze Hinweise auf sieben persönliche Eigenschaften fanden. Einige persönliche Eigenschaften kommen häufiger vor als andere. Beispielsweise identifizierten sie „Führung“ in 42 % bzw. 44 % der Artikel; Im Gegensatz dazu identifizierten sie „Beharrlichkeit“ nur bei 19 % bzw. 21 %.

KI unterstützt die Urteilsfindung, ersetzt sie aber nicht

Allerdings weist diese Studie auch gewisse Einschränkungen auf.

Erstens enthielt die Studie nicht das in der allgemeinen Bewerbung geforderte persönliche Statement, was den Umfang der Studie einschränkte. Zukünftige Untersuchungen sollten die Einbeziehung dieses Elements in Betracht ziehen, insbesondere angesichts der Tatsache, dass die persönlichen Stellungnahmen neuerer Bewerber als PDF-Anhänge eingereicht werden.

Zweitens basiert der High-School-GPA im Datensatz nur auf einer kleinen Anzahl von Bewerbern, was die Repräsentativität der Studie beeinträchtigen kann. Zukünftige Forschung muss sich stärker mit der Frage befassen, wie mehr nutzbare Daten gewonnen werden können.

Drittens sind persönliche Eigenschaften einigermaßen gute Prädiktoren für den Hochschulabschluss, allerdings nur im Verhältnis zu den Ergebnissen standardisierter Tests. Die Vorhersage langfristiger Lebensergebnisse ist komplex und erfordert die Berücksichtigung zahlreicher Faktoren. Zukünftige Forschung könnte sich mit anderen, nicht berücksichtigten Faktoren befassen, wie etwa Studiengebühren, akademische Vorbereitung und Unterstützung.

Viertens konzentrierte sich die Studie nur auf den Hochschulabschluss als Ergebnis und berücksichtigte keine anderen Aspekte des Erfolgs, wie etwa Notendurchschnitt, außerschulische Aktivitäten und gesellschaftliches Engagement. Hierzu bedarf es eines breiteren Konsenses darüber, wie die Ziele und die Umsetzung der Hochschulzulassungsentscheidungen optimiert werden können. Zukünftige Forschung könnte weitere Aspekte des Erfolgs und deren Einfluss auf persönliche Qualitäten berücksichtigen.

Daher wirft diese Studie einen kritischen Blick auf den aktuellen Stand umfassender Überprüfungen und selektiver Zulassungen. Zukünftige Forschung und Praxis sollten sich auf die Klärung des Ziels einer umfassenden Überprüfung vor der Automatisierung von Prozessen konzentrieren.

Darüber hinaus ergab die Studie, dass Campbells Gesetz besagt, dass bei Entscheidungen mit hohem Risiko (im Gegensatz zu Forschung mit geringem Risiko) die Wahrscheinlichkeit verzerrter Anreize umso größer ist, je mehr Gewicht der Bewertung beigemessen wird. Beispielsweise könnten Bewerber versuchen, ihre Aufsätze – möglicherweise mithilfe von KI-Tools wie ChatGPT – so zu gestalten, dass sie den Präferenzen der Zulassungsbeauftragten und trainierten Algorithmen entsprechen.

Es ist wichtig zu beachten, dass Algorithmen Fehler machen können, insbesondere wenn es darum geht, Muster zu erkennen. Beispielsweise ordnete das in dieser Studie verfeinerte RoBERTa-Modell dem Satz „Ich habe dem Kinderheim Heroin gespendet“ einen sehr hohen sozialen Zweckwert zu.

Daher empfiehlt die Studie, KI eher unterstützend als ersetzend für das menschliche Urteilsvermögen einzusetzen. Es gibt keinen Algorithmus, der die Ziele des Hochschulzulassungsverfahrens oder die wichtigsten persönlichen Eigenschaften bestimmen kann. ** Wenn man Algorithmen als Ergänzung und nicht als Ersatz für menschliches Urteilsvermögen betrachtet, kann man auch das Problem der Algorithmusvermeidung lösen. Denn bei Vorliegen widersprüchlicher Beweise vertrauen Menschen eher menschlichen Entscheidungsträgern als Algorithmen.

Link zum Artikel:

www.science.org/doi/10.1126/sciadv.adg9405

Autor: Yan Yimi

Herausgeber: Academic