Wie wir KI-Notiz-Apps testen
und bewerten

Jede Vergleichsseite auf dieser Website enthält eine Benchmark-Tabelle, die zeigt, wie Audionotes und ein bestimmter Konkurrent in vier oder fünf Metriken abschneiden. Dieses Dokument erläutert genau, wie jede Metrik gemessen wird, was die Punkte bedeuten und woher die Zahlen stammen. Unser Ziel ist vollständige Transparenz, damit Sie selbst beurteilen können, wie viel Gewicht Sie einer bestimmten Bewertung beimessen möchten.

Alle Tests wurden vom Audionotes-Team im März 2026 durchgeführt, sofern auf einer Vergleichsseite nichts anderes angegeben ist. Wir testen jede App unabhängig mit derselben Quellaufnahme, werten die Ergebnisse anhand fester Rubriken aus und erfassen die Punkte vor der Veröffentlichung.

Testaufnahme

Wir verwenden für alle direkten Vergleiche eine einzige, standardisierte Testaufnahme. Die Verwendung derselben Quelldatei stellt sicher, dass Unterschiede im Ergebnis die Fähigkeiten der App widerspiegeln und nicht auf Variationen der Eingabe zurückzuführen sind.

Meeting-Bot-Produkte (z. B. Fireflies, Granola) wurden separat über ihren nativen Kalender-Join-Workflow mit demselben Meeting-Inhalt als Live-Anruf getestet. In diesen Fällen wird die Zuverlässigkeit anders bewertet — Details finden Sie auf der jeweiligen Vergleichsseite.

Punktzahl für Transkriptionsgenauigkeit

Die Transkriptionspunktzahl gibt an, wie genau die App gesprochene Sprache in Text umwandelt. Ein menschlicher Gutachter vergleicht die Transkription der App mit der Referenz-Transkription (erstellt von einem professionellen Transkriptionisten) und bewertet das Ergebnis anhand der folgenden Kriterien:

• Wortfehlerrate (WER)— der Anteil der Wörter, die im Vergleich zur Referenz-Transkription ersetzt, eingefügt oder gelöscht wurden.
• Eigennamen und Fachbegriffe— ob Namen, Produktbegriffe und fachspezifisches Vokabular korrekt verarbeitet werden.
• Zeichensetzung und Satzgrenzen— ob die Transkription ohne umfangreiche manuelle Korrekturen verwendbar ist.
• Sprecherzuordnung— ob die App Sprecher korrekt trennt, wenn Diarisierung angeboten wird.
• Umgang mit Füllwörtern— ob „ähm“, „äh“ und Versprecher bereinigt oder unverändert belassen werden (beides ist akzeptabel; der Gutachter prüft die Konsistenz).

Bewertungsskala

Punktzahl für Zusammenfassungsqualität

Die Qualität der Zusammenfassung wird von einem LLM-Richter (GPT-4o) anhand einer festen Rubrik bewertet. Der Richter erhält die Referenz-Transkription und die Zusammenfassung der App nebeneinander und wird gebeten, die Zusammenfassung in fünf Dimensionen zu bewerten:

Bewertungsskala

Unbestimmt

Wenn eine App überhaupt keine Zusammenfassungen erstellt oder nur eine umgeschriebene Prosa-Version der Transkription ohne extraktive Struktur erzeugt, wird die Qualitätspunktzahl der Zusammenfassung als Unbestimmt und nicht als null markiert, da das Produkt für einen anderen Anwendungsfall konzipiert ist.

Punktzahl für Aufnahmezuverlässigkeit

Zuverlässigkeit erfasst, wie konsistent die App Audio aufnimmt und verarbeitet. Anders als Transkriptionsgenauigkeit oder Zusammenfassungsqualität ist Zuverlässigkeit schwer in einer einzigen Testsitzung zu messen. Wir leiten die Zuverlässigkeitspunktzahl aus einer Kombination aus Direkttests und App-Store-Rezensionsanalysen ab.

• Direkttests— wir nehmen drei Sitzungen mit jeder App auf und notieren Abstürze, Verarbeitungsfehler, Upload-Fehler oder verlorene Audiodaten.
• App-Store-Rezensionsmuster— wir codieren die zum Testzeitpunkt aktuellsten Rezensionen (mindestens 50 pro App) auf zuverlässigkeitsbezogene Beschwerden: Abstürze, hängende Verarbeitung, verlorene Aufnahmen und Synchronisierungsfehler.
• Zusammengesetzte Punktzahl— Direkttests fließen zu 60 % in die Zuverlässigkeitspunktzahl ein; die Rezensionsanalyse zu 40 %.

Bewertungsskala

Unbestimmt

Für Apps mit weniger als 50 App-Store-Rezensionen zum Testzeitpunkt oder kürzlich gestartete Apps markieren wir die Zuverlässigkeit als Unbestimmt und stützen uns ausschließlich auf unsere Direkttestbeobachtungen, was auf der Vergleichsseite vermerkt wird.

Einschränkungen

Keine Methodik ist perfekt. Die folgenden Einschränkungen gelten für alle auf dieser Website veröffentlichten Punktzahlen:

• Momentaufnahme. Die Punktzahlen spiegeln die im März 2026 verfügbaren App-Versionen wider. Sowohl Audionotes als auch Wettbewerber aktualisieren häufig; die Leistung kann sich seit den Tests verbessert oder verschlechtert haben.
• Nur Englisch. Die Testaufnahme ist auf Englisch. Apps, die auf mehrsprachige Transkription spezialisiert sind, können bei nicht-englischen Inhalten anders abschneiden als die Punktzahlen vermuten lassen.
• Einzelner Aufnahmetyp. Wir verwenden eine standardisierte Aufnahme (zwei Sprecher, 30 Minuten, moderates Rauschen). Apps, die für Solo-Diktat, Vorlesungen oder Großgruppen-Meetings optimiert sind, können durch diese Punktzahlen unter- oder überrepräsentiert sein.
• iOS-Priorisierung. Direkttests wurden auf iPhone 15 Pro durchgeführt. Android- oder Web-App-Versionen desselben Produkts können unterschiedlich abschneiden.
• Varianz des LLM-Richters. GPT-4o wird als Zusammenfassungsrichter verwendet. LLM-Evaluierungen haben eine inhärente Varianz. Wir führen jede Evaluierung mit einem festen Prompt und einer festen Temperatur durch, um diese zu minimieren, aber ein wiederholter Durchlauf könnte eine Punktzahl liefern, die um ±1 Punkt abweicht.
• Interessenkonflikt von Audionotes. Wir sind ein Wettbewerber aller auf dieser Website besprochenen Apps. Wir veröffentlichen unsere vollständige Methodik und Rubriken, um eine unabhängige Prüfung zu ermöglichen, und freuen uns über Korrekturen per E-Mail.

Wenn Sie der Meinung sind, dass eine Punktzahl für eine App falsch, veraltet oder auf einer falschen Anwendung der Rubrik basiert, kontaktieren Sie uns unter support@audionotes.app.