Protokoll der 7. Seminarsitzung
29. November 2012
Thema: » Was wird in öffentlichen Performanztests wie der Fingerprint Verification Competition getestet? «
Autor: Christian Steinfeldt
Referent: Uwe
- Fingerprint Verification Competition Die Fingerprint Verification Competition ist ein halboffener Performancevergleich von handbasierten Biometriealgorithmen. Die Initiatoren des Projekts sind die San Jose State University, University of Bologna, Universidad Autonoma de Madrid und das MIT. Jeder kann seine eigene Implementation bei der FVC einreichen, allerdings bleiben die Ergebnisse, auch für Entwickler, auf die offiziellen Veröffentlichungen der Universitäten beschränkt. 2000 bis 2006 erfolgte die Veröffentlichung der Benchmarkingergebnisse in Form von 2-jährlichen Treffen; seitdem ist es eine laufende Studie, in der bereits 1908 Algorithmen in 6 Klassen bewertet wurden (s. Link oben). Das Projekt wird größenteils von der EU finanziert.
- Diskussion
Zuerst haben wir nochmals die Begriffe Equal Error Rate, False Acception Rate und False Rejection Rate geklärt:
- False Acception Rate (FAR): Prozentualer Anteil der fälschlicherweise
positiven Matchings.
- False Rejection Rate (FRR): Prozentualer Anteil der fälschlicherweise
negativen Matchings.
- FAR und FRR lassen sich beliebig auf Kosten des anderen optimieren.
- Equal Error Rate (EER): Der Punkt, in dem FAR=FRR gilt.
Darauf stellte sich sofort die Frage, was mit diesen Werten und der Matching-Geschwindigkeit passiert, wenn die Anzahl der in den Datenbanken gespeicherten Datensätze rasant ansteigt. Um die Geschwindigkeit auf einem akzeptablen Level zu halten, sind uns sture Rechenkraft oder das automatische Sortieren der einzelnen Abdrücke in verschiedene Musterklassen eingefallen. Bei der Vorsortierung erkannten wir die eindeutige Zuordnung zu einer Musterklasse als Problem, das katastrophale Ausmaße annehmen kann, wenn z.B. ein eigentlich korrekter Match bereits im ersten Schritt aussortiert wird. Außerdem wird statistisch gesehen die Anzahl der Unique Properties die ein Fingerabdruck aufweisen kann, mit der Anzahl der registrierten Finger sinken, was das Vergleichen zusätzlich erschwert. Für die Anzahl der tatsächlich gemachten Fehler würden wir, auch auf die Statistik gestützt, eine exponentielle Entwicklung prognostizieren, weil die Möglichkeiten, Fehler zu machen, mit wachsender Datenmenge entsprechend steigt. Sind AFIS mit Millionen oder Milliarden registrierter Fingerabdrücke also jemals einsatzfähig oder handelt es sich vielmehr um einen ständigen Beta-Test?
Der FVC könnte ein Ansatz sein, diese Frage zu beantworten. Wir fanden keinen wissenschaftlichen Mehrwert im FVC, da der gesamte Prozess zu intranspartent verläuft. Es handelt sich um einen Kampf der geschlossenen Systeme, die teilweise patentiert sind und deren Öffnung somit nicht im Sinne ihrer Entwickler liegt. Auf Sicherheitsfirmen oder Staaten mag diese Security by Obscurity verlockend wirken. Wir sehen das aber kritisch, weil schon oft bewiesen wurde, dass mangelnde Informationen über ein System nichts mit dessen Sicherheit oder Zuverlässigkeit zu tun haben. Der Auftritt als Wettkampf unterstreicht unserer Meinung nach nur den Charakter einer Werbeveranstaltung für den Sicherheitsmarkt. Außerdem verharmlost es die Problematik um biometrische Identifikationssysteme, indem es deren Legitimation nicht mehr hinterfragt. Auch sind die verwendeten Datenmengen zu klein, um Aussagen über das Verhalten von großen Datenbanken (z.B. Aadhaar, FBI, EURODAC) mit unter Umständen vielen verschiedenen Ethnien zu treffen.
Zuletzt betrachteten wir noch die Situation als Betroffener in einem biometrischen Identifikationssystem. Die Informationslage ist hier noch schlechter. Wenn (Firmennamen werden teilweise aus sicherheitstechnischen Gründen in EU-Dokumenten geschwärzt), dann ist es nur unter großem Aufwand möglich, den verwendeten Algorithmus eines konkreten Fingerabdrucklesegerätes in Erfahrung zu bringen. Für die meisten Anwender ist der Identifikationsprozess eine riesige Black-Box, obwohl die Daktyloskopie doch historisch nach Offenheit strebte und die Perfektion und Schönheit beweisen wollte. Würde folglich eine Öffnung dieser Black-Box die Akzeptanz für biometrische Identifikationssysteme in der Gesellschaft vergrößern oder unterminiert z.B. ein offengelegter Flughafen-Check-In per Gesichtserkennung diese? Kritisch ist, dass in jedem Fall die Frage der Legitimation dieser Systeme wiederum implizit mit ja beantwortet wird und dem Benutzer als alternativlos verkauft werden soll.