In dieser Arbeit werden grundlegende KPIs für IT-Projekte herausgearbeitet und in Bezug auf Data Science Projekte analysiert. In Data Science Projekten spielt das Projektcontrolling eine zentrale Rolle, da die zeitlichen Aufwände und Kosten häufig schwer einzuschätzen sind. Auftraggeber möchten ihre Use Cases mit Methoden des Machine Learnings effizient und erfolgreich umsetzen. In diesem Zusammenhang ist das erfolgreiche Projektcontrolling während des Projektverlaufs ein entscheidender Aspekt. Das konsequente Projektcontrolling kann durch den Einsatz von aussagekräftiger Kennzahlen, sogenannter Key Performance Indikatoren (KPIs) positiv beeinflusst werden. Nach einigen Studien schlagen 85% aller Data Science Projekte fehl, deshalb ist ein frühzeitiges Erkennen von Hindernissen essenziell. In klassischen IT-Projekten existieren viele KPIs zum Projektcontrolling, diese sind allerdings nicht ausreichend für Data Science Projekte.
INHALTSVERZEICHNIS
1 Einführung
2 Grundlagen
2.1 Projektcontrolling
2.2 Balanced-Scorecard-Konzept
2.2.1 Key Performance Indikatoren
3 analyse
3.1 Geschäftsverständnis
3.2 Datenverständnis
3.3 Datenvorbereitung
3.4 Modellierung / Evaluation
3.3 Bereitstellung
4 Diskussion
3 Zusammenfassung
Literatur
ZUSAMMENFASSUNG
In Data Science Projekten spielt das Projektcontrolling eine zentrale Rolle, da die zeitlichen Aufwände und Kosten häufig schwer einzuschätzen sind. Auftraggeber möchten ihre Use Cases mit Methoden des Machine Learnings effizient und erfolgreich umsetzen. In diesem Zusammenhang ist das erfolgreiche Projektcontrolling während des Projektverlaufs ein entscheidender Aspekt. Das konsequente Projektcontrolling kann durch den Einsatz von aussagekräftiger Kennzahlen, sogenannter Key Performance Indikatoren (KPIs) positiv beeinflusst werden. Nach einigen Studien[I] schlagen 85% aller Data Science Projekte fehl, deshalb ist ein frühzeitiges Erkennen von Hindernissen essenziell. In klassischen IT-Projekten existieren viele KPIs zum Projektcontrolling, diese sind allerdings nicht ausreichend für Data Science Projekte. Aus diesem Grund werden in dieser Arbeit grundlegende KPIs für IT- Projekte herausgearbeitet und in Bezug auf Data Science Projekte analysiert. Als Ergebnis hat sich gezeigt, dass durch spezifische KPIs das Projektcontrolling von Data Science Projekten transparenter gestaltet werden kann.
ABBILDUNGSVERZEICHNIS
Abbildung 3.1 CRISP-DM Prozessmodell (i.A. [WHoo])
EINFÜHRUNG
In IT-Projekten ist das Projektcontrolling ein essenzieller Bestandteil des Projektmanagements, da zeitliche Aufwände und Kosten frühzeitig gesteuert werden müssen. Eine Definition des Projektcontrollings ist in der DIN 699012 zu finden. Es umfasst die „Sicherung des Erreichens der Projektziele durch: Soll-Ist-Vergleich, Feststellung der Abweichungen, Bewerten der Konsequenzen und Vorschlagen von Korrekturmaßnahmen, Mitwirkung bei der Maßnahmenplanung und Kontrolle der Durchführung". Das Projektcontrolling ist also als Funktion des Steuerns, Regelns und Lenkens zu verstehen (vgl. [Tiei8], S. 334). Außerdem konzentriert sich das Projektcontrolling auf die Einhaltung der Projektziele und die resultierenden Maßnahmen zur Zielerreichung. Im Rahmen des Projektcontrollings kommen Key Performance Indikatoren (KPIs), also sogenannte Schlüsselkennzahlen, zum Einsatz. KPIs sind von bloßen Kennzahlen abzugrenzen, den eine Kennzahl ist nur quantitativ [Roti9]. KPIs hingegen sind Metriken, mit denen der Zustand des Projekts in Bezug auf eine Zielsetzung abgebildet werden kann (vgl. [Rot19]). Aus diesem Grund beschäftigt sich diese Arbeit mit dem Einsatz von KPIs in Data Science Projekten. Hieraus ergeben sich folgende Forschungsfragen:
- (RQi) Welche Key Performance Indikatoren sind für Data Science Projekte geeignet?
- (RQi) Wie können Key Performance Indikatoren in Data Science Projekten beim Projektcontrolling erfolgreich eingesetzt werden?
In der Literatur finden sich viele unterschiedliche KPIs für unterschiedliche Anwendungsfälle aus dem IT-Umfeld. In dieser Arbeit werden diese KPIs herausgearbeitet und in Bezug auf Data Science Projekte untersucht. Im Weiteren werden zusätzliche Herausforderungen beim Projektcontrolling in Data Science Projekten herausgearbeitet.
Die Arbeit beschäftigt sich zunächst mit den Grundlagen zum Projektcontrolling und stellt einige wichtige KPIs aus dem IT-Umfeld vor. In einem weiteren Abschnitt wird die Anwendbarkeit der vorgestellten KPIs auf Data Science Projekte anhand des Prozessmodells CRISP-DM (CRoss-Industry Standard Process for Data Mining) analysiert. Anschließend werden die Ergebnisse aus der Analyse in Bezug auf eine These und die Forschungsfragen diskutiert, wobei auch persönliche Projekterfahrungen mit einbezogen werden.
2 GRUNDLAGEN
2.1 projektcontrolling
Das Projektcontrolling ist als ein zentraler Bestandteil des Projektmanagement zu verstehen und dient zur Unterstützung von Projektentscheidungen. In diesem Zusammenhang ergeben sich folgende Ziele des Projektcontrollings (vgl. [Tiei8], S. 334):
- Abstimmung von Zielvorgaben
- Unterstützung des Projektmanagements und Feststellung von Planabweichungen und deren Ursachen
- Bewertung von Risiken und Einleitung von Maßnahmen zur Risikobeherrschung oder -reduktion
Die Überwachung vom Projektstatus, Terminen, Kosten, Qualität und Zielen liegt im Verantwortungsbereich der Projektleitung. Bei größeren Projekten kann es sinnvoll sein diese Aufgaben an einen Projektcontroller zu übergeben, dann müssen die Zuständigkeiten allerdings eindeutig geregelt sein (vgl. [Tie 18], S. 333). In diesem Zusammenhang setzen die Verantwortlichen des Projektcontrollings Instrumente zur Steuerung des Projekt ein, dazu zählt bspw. auch ein Kennzahlen-Cockpit.
Die Steuerung von IT-Projekten erfolgt in der Regel basierend auf einem Projektauftrag. In einer Leistungsbeschreibung wird meistens der Projektumfang und die erwarteten Projektziele seitens des Auftraggebers festgelegt. In der Leistungsbeschreibung befinden sich allerdings häufig nur grobe Beschreibungen, deshalb ist in der Regel eine Verfeinerung notwendig. Daraus muss schließlich eine Roadmap mit Meilensteinen und darüber hinaus die Ressourcen- und Kostenplanung abgeleitet werden. Die Meilensteine sind beim Projektcontrolling von besonderer Bedeutung, da diese den Zeitpunkt von Reviews festlegen und somit die Einordnung des Arbeitsstands in das Gesamtprojekt erleichtern.
Die KPIs zur Unterstützung des Projektcontrollings werden in dieser Arbeit schwerpunktmäßig betrachtet. Erfahrende Projektleiter setzen meist auf wenige, klar definierte und gut interpretierbare KPIs. Im nächsten Abschnitt wird ein Konzept zur Ableitung von aussagekräftiger KPIs für IT-Projekt vorgestellt.
2.2 balanced-scorecard-konzept
Bei der Betrachtung von Kennzahlen sollte neben dem Ressourceneinsatz und den Kosten auch Indikatoren für die Produktqualität und den Pro jektfortschritt ermittelt werden. Im Idealfall sind diese Kennzahlen in einem Kennzahlenhandbuch dokumentiert und sind somit für alle Stakeholder nachvollziehbar. (vgl. [Tiei8], S. 366)
Im Weiteren ist es sinnvoll zum Projektbeginn einige überwachende und steuernde Funktionen/ Kennzahlen mit dem Projektteam festzulegen. In der Praxis liegt der Fokus meist nur auf wesentlichen Elementen wie Kosten, Ressourcen, Terminen oder Qualität, notwendig ist allerdings häufig ein ganzheitliches System. (vgl. [Tie 18], S. 370-371)
Das Konzept „Balanced Scorecard" (kurz: BSC)3 hat sich als ganzheitlicher Ansatz zur Entwicklung und Umsetzung von Kennzahlen in der Praxis bewährt. Unter der BSC wird ein ausbalanciertes Kennzahlensystem verstanden. Wesentlich für das Konzept ist eine Konkretisierung des Phänomens Erfolg sowie die Integration nicht-monetärer Kennzahlen. (vgl. [Tie 18], S. 374). Bei dem Konzept werden die folgenden vier Perspektiven betrachtet (vgl. [Tie18], S. 375):
- Finanzen: Welche finanziellen Aspekte sind zu beachten und welche Kennzahlen werden benötigt?
- Kunde: Welche Erwartung und Einstellung hat der Kunde gegenüber dem Projekt?
- Interne Prozesse: Wie effizient sind interne Prozesse bezogen auf die Kosten, Zeit und Qualität?
- Lernen und Entwicklung: Wie zielgerichtet werden die Mitarbeiter eingesetzt?
Der Rahmen für die Balanced Scorecard wird durch diese vier Perspektiven geschaffen, diese können allerdings auch noch erweitert werden bspw. durch Projektergebnisse. (vgl. [Tie 18], S. 374). Es müssen also zunächst die Perspektiven für das jeweilige Projekt abgeleitet werden, daraus können schließlich Projektziele und Anforderungen definiert werden. Anschließend werden für jede Perspektive der Balanced Scorecard folgende Vereinbarungen abgeleitet (vgl. [Tie 18], S. 376):
- Definition der Zielsetzungen, die das Projekt unter der jeweiligen Perspektive verfolgt.
- Zuordnung von Kennzahlen
- Festlegung von Vorgaben für jede Kennzahl
- Maßnahmen, die bei Abweichungen erfolgen.
Schließlich können auf Basis von kritischen Erfolgsfaktoren und strategischen Zielen für jede Perspektive Kennzahlen abgeleitet werden. Kritische Erfolgsfaktoren sind für die Perspektive Finanzen bspw. Projektbudget, Projektkosten und Projektnutzen (ROI des IT-Projekts). Bei der Perspektive Kunde sind dies bspw. Kundenzufriedenheit, Akzeptanz der Projektarbeit bei den Stakeholdern und Nutzung der Softwarelösung durch den Kunden. Bei der Perspektive interne Prozesse sind kritische Erfolgsfaktoren bspw. Projektfortschritte (Meilensteine), Produktivität der Aktivitäten und Innovationsunterstützung der Prozesse. Bei der Mitarbeiterperspektive können kritische Erfolgsfaktoren bspw. die Zufriedenheit der Projektmitarbeiter, Qualifikation der Projektmitarbeiter und Teamentwicklung sein.
2.2.1 Key Performance Indikatoren
In diesem Abschnitt werden einige wichtige KPIs für jede Perspektive abgeleitet und definiert.
Finanzen:
KPI: Budgeteinhaltung (vgl. [Tie 18], S. 378)
- Ziel: Abweichung unter 10%
- Einheit: Zahl in Prozent
- Formel: Ist-Budget/Soll-Budget
KPI: Projektnutzen (ROI des Projekts) (vgl. [Tiei8], S. 381)
- Ziel: Nutzwert des IT-Projekts transparent darstellen und kommunizieren
- Einheit: Absolute Zahl
- Formel: Ermittlung nach der Nutzwertanalyse (Kriterien x Gewicht) Kunden:
KPI: Kundenzufriedenheitsindex (vgl. [Tiei8], S. 381)
- Ziel: Zufriedenheitsindex von mindestens 98%
- Einheit: Zahl in Prozent
- Formel: Ergebnis aus Kundenbefragung Interne Prozesse:
KPI: Termintreue im Projekt (vgl. [Tie 18], S. 382)
- Ziel: Vereinbarten Termine zu 99% einhalten
- Einheit: Zahl in Prozent
- Formel: Tatsächliche Projektdauer/prognostizierte Projektdauer KPI: Projektplanabweichung (vgl. [Brü18])
Ziel: Projekt in Plan abschließen Einheit: Absolute Zahl
- Formel: Erzielter Wert - Geplanten Wert KPI: Realisierungswert (vgl. [Brüi8])
- Ziel: Erreichen eines positiven Realisierungswerts
- Einheit: Absolute Zahl
- Formel: Anzahl der geplanten Stunden - Anzahl der bezahlten Stunden Personalkennzahlen:
KPI: Personalzufriedenheitsindex (vgl. [Tie 18], S. 381)
- Ziel: Hohe Zufriedenheit der Projektmitarbeiter sichern
- Einheit: Zahl in Prozent
- Formel: Ergebnis aus Mitarbeiterbefragung
In diesem Abschnitt wurden einige KPIs aus einem klassischen IT-Projekt aufgezeigt. Die Liste ist nicht vollständig, da die KPIs für jedes IT-Projekt individuell aus den strategischen Ziele ableitet werden müssen.
Abbildung in dieser Leseprobe nicht enthalten
In diesem Abschnitt wird analysiert, welche Kennzahlen in Data Science Projekten im Vergleich zu klassischen IT-Projekten eingesetzt werden können. Im Weiteren soll herausgearbeitet werden, welche zusätzlichen KPIs in Data Science Projekten Verwendung finden.
Data Science Projekte laufen in der Praxis häufig nach dem CRISP-DM Prozessmodell ab. Aus diesem Grund wird anhand dieses Prozessmodells analysiert, an welcher Stelle im Data Science Prozess welche KPIs eingesetzt werden können. Das CRISP-DM Prozessmodell (siehe Abbildung 3.1) ist in die Phasen Geschäftsverständnis (engl. Business Understanding), Datenverständnis (engl. Data Understanding), Datenvorbereitung (engl. Data Preparation), Modellierung/ Evaluation (engl. Modeling/ Evaluation) und Bereitstellung (engl. Deployment) unterteilt.
[...]
[I] https://designingforanalytics.com/resources/failure-rates-for-analytics-bi-iot-and-big-data- projects-85-yikes/ (Zugriff: 18.02.2021)
2 https://www.din.de/de/meta/suche/6273o!search?query=6990i (Zugriff: 09.01.2021)
3 Das „Balanced Scorecard" wurde Anfang der 1990er Jahre an der Harvard Business School von den beiden Controlling-Experten Robert S. Kaplan und David P. Norton entwickelt.