Auf dem Gebiet des maschinellen Lernens gibt es eine Vielzahl von Metriken. Neben Klassikern wie Recall, Precision und f1-Score gibt es auch außergewöhnlichere Metriken wie Normalized Discounted Cumulative Gain. Bei der hohen Anzahl an zur Verfügung stehenden Metriken, kann die richtige Auswahl schwierig sein.
In diesem Artikel wird die Metrik „mean Average Precision“ kurz mAP, eine beliebte Metrik in der Objekterkennung genauer erläutert. Es wird gezeigt, was sie ist, worauf man bei ihrer Verwendung achten muss und welche Beziehung sie zu den zugrunde liegenden Daten hat.
Wie der Name schon sagt, handelt es sich um den Mittelwert der durchschnittlichen Genauigkeit (AP) jeder Objektklasse. Die durchschnittliche Genauigkeit ist die Fläche unter der sogenannten Precision-Recall-Kurve eines Objektdetektors für eine Klasse. Die erste Abbildung zeigt ein Beispiel für die AP der Klasse „Auto“.
Diese wird dann für jede Klasse berechnet. Schließlich kann der Mittelwert aller verfügbaren Klassen gebildet werden.
Die genaue Berechnung der Fläche unter der Kurve kann variieren, je nachdem welcher Wert als Vergleichsgrundlage dient. Auch das IoU-Verhältnis (Intersection over Union), das als angemessen für eine positive Detection eingestuft wird, kann die Zahlen beeinflussen.
Im beschriebenen Beispiel wird jede Klasse gleich gewichtet. Betrachtet man die Daten stellt man jedoch fest, dass dies hier nicht der Fall ist. In vielen Datensätzen ist die Anzahl der Objekte aus den einzelnen Klassen unterschiedlich. So entstehen oft große Ungleichheiten innerhalb der Klassen und sind daher nicht gleich zu bewerten. In der folgenden Abbildung wird ein mAP aus einer früheren Analyse dargestellt, um die Wichtigkeit der Datenqualität darzustellen Die Daten wurden künstlich in unterschiedlichem Maße verfälscht, um die Auswirkungen auf die Qualität bewerten zu können. Die Daten stammen aus einem KITTI-Datensatz für falsch-negative Ergebnisse:
Der mAP-Wert, der mit 0,23 zunächst nicht sehr hoch ist, sinkt bei 50 % falsch negativer Ergebnisse auf nahezu Null. Dies erweckt den Eindruck, dass der trainierte Objektdetektor (Retina Net) insgesamt keine gute Leistung erbringt. Tatsächlich zeigt der mAP Wert jedoch nicht alle Details. In der Abbildung unten werden zusätzlich AP für die Klassen Auto, Fußgänger und LKW gezeigt.
Es zeigt sich, dass der Detektor für die Klassen Pkw und Fußgänger gut, hingegen der für LKW jedoch nicht ausreichend funktioniert. Da alle APs in den Durchschnitt einfließen, wird der Gesamt-mAP reduziert. Außerdem ist ersichtlich, dass die Klasse LKW deutlich stärker von Qualitätsproblemen betroffen ist als die anderen Klassen.
Die Leistungsunterschiede zwischen den Klassen lassen sich durch einen Blick auf den Datensatz erklären. In der folgenden Abbildung werden die in der Trainingsmenge vorkommenden Klassen aufgeführt.
In der Klasse LKW gibt es im Vergleich zu den beiden anderen Klassen Auto und Fußgänger deutlich weniger Stichproben. Dadurch ist eine unterdurchschnittliche Leistung für die Klasse LKW zu erwarten. Außerdem deutet dies darauf hin, dass es möglicherweise kein Problem mit der Architektur des neuronalen Netzes gibt, sondern mit den Daten, die für das Training verwendet werden. Ein Beispiel wie dieses zeigt, dass eine einzelne Kennzahl wie hier mAP nur begrenzt Aufschluss geben kann. Es ist wichtig, alle Aspekte zu verstehen, woher die Daten abgeleitet werden.
Mit unserem Know-how und den dafür entwickelten Softwarelösungen lösen wir Probleme wie das aufgezeigte. Datensätze werden tiefgreifend analysiert, um sicherzustellen, dass kein Ungleichgewicht innerhalb der Klassen auftritt. Zusätzlich wird mit unseren QA-Prozessen sichergestellt, dass sowohl für häufig als auch für selten auftretende Klassen die gleiche Label-Qualität sichergestellt wird. Auf diese Weise können wir eine hohe Qualität der Datensätze in allen Aspekten gewährleisten.