Citation
Downloads
Abstract
Die zunehmende Verwendung großer Sprachmodelle (LLMs) hat zu einer intensiven Debatte über ihre Fähigkeit geführt, sprachliches Verstehen zu simulieren. Dieses Abstract trägt zu dieser Diskussion bei, indem es eine Methode zur Generierung von Testdatensätzen vorstellt, die auf spezifischen Sprachtheorien basieren. Diese Methode ermöglicht die Bewertung, inwieweit das Verhalten eines LLMs mit dem eines kompetenten Sprechers übereinstimmt, wie er von der zugrunde liegenden Sprachtheorie definiert wird. Die Methode wird exemplarisch anhand der Sprachphilosophie von Donald Davidson erläutert. Durch die Erstellung eines Datensatzes, der zentralen theoretischen Prinzipien einer Sprachtheorie widerspiegelt, können wir das Verhalten von LLMs in verschiedenen Sprachkontexten untersuchen und beurteilen. Diese Arbeit leistet einen Beitrag zur methodischen und theoretischen Analyse der Fähigkeiten von LLMs und bietet ein Werkzeug zur Evaluierung ihrer sprachlichen Kompetenz.
BibTeX
@inproceedings{pichler2025a,
author = {Axel Pichler and Dominik Gerstorfer and Jonas Kuhn and Janis Pagel},
booktitle = {{Book of Abstracts of DHd}},
doi = {10.5281/zenodo.14887461},
location = {Bielefeld, Germany},
month = {3},
pages = {235--238},
title = {{Empirische Evaluation des Verhaltens von LLMs auf Basis sprachphilosophischer Theorien: Methode und Pilotannotationen}},
year = {2025},
}
RIS
TY - CPAPER TI - Empirische Evaluation des Verhaltens von LLMs auf Basis sprachphilosophischer Theorien: Methode und Pilotannotationen AU - Axel Pichler AU - Dominik Gerstorfer AU - Jonas Kuhn AU - Janis Pagel PY - 2025 J2 - Book of Abstracts of DHd DO - 10.5281/zenodo.14887461 CY - Bielefeld, Germany SP - 235 EP - 238 ER -