Eine ausreichende Datenqualität ist eine wichtige Voraussetzung für fundierte Entscheidungen auf der Grundlage von Datenanalysen. Eine außergewöhnliche Datenqualität gewährleistet sowohl die Glaubwürdigkeit als auch die Zuverlässigkeit der Analyse.
Um eine ausreichende Datenqualität zu gewährleisten, verwendet Frontmatec BIS die neuesten Algorithmen für maschinelles Lernen, technisches Know-how und statistische Maßnahmen, um Daten in mehreren Schritten zu verarbeiten und für die Analyse vorzubereiten. Diese Verarbeitungsschritte umfassen eine technische Validierung der Daten, die Erkennung von Anomalien und die Imputation fehlender Daten.
Die Datenverarbeitung soll transparent und modular sein, indem die Daten je nach Qualität oder Herkunft mit einem eindeutigen Flag versehen werden, sodass das geeignete Modul für die Datenqualität ausgewählt werden kann.
Dies bietet verschiedene Qualitätsstufen zur Unterstützung mehrerer Stufen der Datenanalyse (roh, behandelt und angereichert) und ermöglicht den Kunden eine Versionskontrolle der Datenqualität im „Self-Service-BI“ sowie Einblicke in den Verarbeitungsprozess.
Frontmatec BIS wurde auf Basis der neuesten Microsoft Azure-Technologien entwickelt und nutzt die Apache Spark-Engine für die Verarbeitung von Big Data.
Dadurch können Petabytes an Daten verarbeitet werden, was die Einschränkungen hinsichtlich Datenumfang und Verarbeitungsgeschwindigkeit erheblich reduziert und die Möglichkeit bietet, Daten in Echtzeit zu verarbeiten.
Die Einführung des Frontmatec BIS-Datenqualitätspakets bietet:
- Eine detaillierte Überprüfung der aktuellen Datenqualität.
- Datenmessungen, die anhand der technischen Spezifikationen der Einrichtung oder des Instruments technisch validiert werden.
- Umfassende Erkennung von Anomalien und Ausreißern.
- Reduzierung der negativen Auswirkungen fehlender Werte und Ausreißer durch maschinell generierte Werte.
- Datenqualitätskontrolle im „Self-Service-BI”.