Effekte der Quantisierung auf RAG Language Modelle für Parkinson

Large Language Models bieten großes Potenzial für assistive Anwendungen in der Parkinsonversorgung, sind jedoch aufgrund ihres hohen Speicherbedarfs bislang schwer in der Praxis einsetzbar. Dieser Beitrag untersucht den Einfluss verschiedener Quantisierungsmethoden auf ein Retrieval-Augmented-Generation-System auf Basis eines Qwen-Modells. Die Ergebnisse zeigen, dass sich der Speicherbedarf auf bis zu 36 % reduzieren lässt, bei leichter bis moderater Beeinträchtigung der Antwortqualität. Die Ergebnisse demonstrieren, dass lokal ausführbare Parkinson-Assistenzsysteme technisch realisierbar sind.