Effekte der Quantisierung auf Retrieval-Augmented-Generation Language Modelle für die Parkinson-Versorgung

Large Language Models bieten großes Potenzial für assistive Anwendungen in der Parkinsonversorgung, sind jedoch aufgrund ihres hohen Speicherbedarfs bislang schwer in der Praxis einsetzbar. Dieser Beitrag untersucht den Einfluss verschiedener Quantisierungsmethoden auf ein Retrieval-Augmented-Generation-System auf Basis eines Qwen-Modells. Die Ergebnisse zeigen, dass sich der Speicherbedarf auf bis zu 36 % reduzieren lässt, bei leichter bis moderater Beein-trächtigung der Antwortqualität. Die Ergebnisse demonstrieren, dass lokal ausführbare Parkinson-Assistenzsysteme technisch realisierbar sind.