In diesem abschließenden Teil wird die Aufmerksamkeit dem eigentlichen Benchmark-Ablauf gewidmet und die entscheidenden Bestandteile in diesem Prozess beschrieben. Weiterhin werden Abgrenzungen gegenüber solchen Projekten definiert, die zwar als Benchmarking etikettiert sind, aber damit wenig zu tun haben. Als hocheffizientes Management-Werkzeug gehört IT-Benchmarking in die Verantwortung kundiger Führungskräfte. Goldene Regeln helfen ihnen und den Spezialisten zum Erfolg.

IT-Benchmarking wie es in diesem Text definiert wird, ist auf Dauer, Regel-mäßigkeit und Wiederholbarkeit ausgelegt. Daher bietet es sich an, IT-Benchmarking als Gruppe von Prozessen anzulegen. Die Autoren unter-scheiden:
- Initiierung
- Datenerhebung
- Datenanalyse
- Ableitung von Maßnahmen
Als beteiligte Rollen sehen die Autoren den Moderator und den Teilnehmer.

Der Initiierungsprozess
Der Initiierungsprozess kann von einem potenziellen Moderator oder Teil-nehmer ausgehen. Hier werden die Zielsetzung, Teilnehmer, Benchmarking-Objekte und die einzusetzenden Verfahren festgelegt. Da wir Benchmarking als leistungs- und effizienzorientiert definiert haben, sind die Ziele stets Leistungssteigerung und Effizienzerhöhung für jeden Teilnehmer – unabhängig von den gewählten Objekten. Unverbindlicher Erfahrungsaustausch ist kein Benchmarking. Und das lernen vom Besten oder dem Besseren macht nur dann Sinn, wenn man selber besser werden will. Gefährlich ist es, wenn sich IT-Verantwortliche die eigene Zielfindung durch unkritische Übernahme von Benchmarks ersparen oder erleichtern wollen. So wird man nicht zum Top Performer! Benchmarks können Orientierungshilfe geben, aber sie können keinesfalls die inhaltliche Zieldiskussion im (IT-) Management ersetzen. Natürlich muss sich Benchmarking bezüglich der spezifischen Verbesserungen grundsätzlich offenhalten, denn welche Maßnahmen sinnvoll sind, entscheidet sich nur und erst auf Basis der Datenanalyse.

Die Datenerhebung
Beim Datenbank-Benchmarking ist der Moderator zugleich Eigentümer der Datenbank. Die Datenerhebung muss jeder Teilnehmer nach dem abge-stimmten Verfahren selber vornehmen. Der Moderator unterstützt und sorgt dafür, dass vereinbarte Termine eingehalten werden. Er prüft zudem die Qualität der vorgelegten Daten.

Die Datenanalyse
Die Datenanalyse inklusive der Aufbereitung und Dokumentation der Daten wird vom Moderator durchgeführt. Er legt seine Ergebnisse vor, die dann im Plenum der Teilnehmer abgestimmt und abschließend freigegeben werden. (Das gilt insbesondere für das Partner- und Kollegial-Benchmarking. it manage-ment März-2008)

Ableitung von Maßnahmen
Die Ableitung von Maßnahmen erfolgt individuell durch jeden Teilnehmer in seiner eigenen Organisation. Ob denkbare, sinnvolle Maßnahmen im Teil-nehmerkreis offen diskutiert werden, hängt von den Vereinbarungen (siehe Initiierungsprozess) oder dem aktuellen Willen der Teilnehmer ab. Da beim Datenbank-Benchmarking Moderator und Teilnehmer relativ distanziert sind, wird die Ableitung von Maßnahmen immer individuell von den einzelnen Teilnehmern erfolgen – möglicherweise mit Beratung oder Unterstützung durch den Moderator. Der sollte dann aber klar signalisieren, wann er als Moderator des Benchmarking und wann als Berater agiert.

Was gutes IT-Benchmarking auszeichnet

- Viele Teilnehmer: Je mehr Teilnehmer ein Benchmarking hat, desto besser und abgesicherter sind die erzielten Aussagen. Die Vergleichs-Daten – meist Mittelwerte, Quantile, Prozentile – müssen auf ausreichend großen Grundge-samtheiten (Stichprobengröße) basieren.
- Regelmäßigkeit und Dauer: IT-Benchmarking darf kein einmaliges Projekt sein, sondern muss die IT in regelmäßigen Abständen und mit konsistenten Verfahren begleiten. Im Allgemeinen genügen jährliche Abstände.
- Keine Teilnehmerfluktuation: Die Teilnehmergruppe sollte über die Zeit möglichst stabil sein. Nur dann ergeben sich für die Teilnehmer positive Erkenntnisse aus dem Zeitreiheneffekt.
- Definition und Dokumentation der Daten: Die von den Teilnehmern zu liefernden Daten müssen klar und präzise definiert sein. Jeder Teilnehmermuss erkennen (können), ob, wie und in welcher Genauigkeit er die geforderten Daten generieren kann bzw. muss. Es muss sichergestellt sein, dass die Datendefinitionen von allen Teilnehmern gleich verstanden werden. Idealer-weise gäbe es allgemeine Definitionen, die in jedem Benchmarking verwendet werden.
- Die Erfahrung zeigt, dass selbst unscheinbare Abweichungen – z.B. bei den Server-Typen-Bezeichnungen oder bei Transaktionen – für große Ergebnis-Unterschiede verantwortlich sein können. Daher müssen die bereitgestellten Daten von den Teilnehmern vollständig dokumentiert, kommentiert und gegen-seitig verstanden werden.
- Qualitätsgesicherte Daten: Bereitgestellte Daten sollten durch unabhängige Prüfungsrechnungen plausibilisiert und verifiziert werden.
- Transparenz der Daten und Teilnehmer: Eine Liste der Teilnehmer sollte dokumentiert sein; jeder Teilnehmer muss wissen, in welchem Feld er sich bewegt. Eine Anonymisierung oder sogar Geheimhaltung der einzelnen Benchmark-Vektoren mag aus Vertraulichkeitsgründen geboten sein, mindert aber auch die Ergebnistiefe für jeden einzelnen Teilnehmer. Bei Beachtung der Benchmarking-Ethik besteht eigentlich keine Veranlassung, Daten zu anony-misieren.
- Transparenz der Methoden und Resultate: Das Verfahren muss für alle Teil-nehmer vollständig transparent sein. Nur dann kann das notwendige Vertrauen in die Ergebnisse entstehen. Die Methoden müssen in jedem Fall offen gelegt werden (vom Benchmarking-Moderator).Die Ergebnisse eines Benchmarking sollten allen Teilnehmern so kommuniziert werden, dass jeder seinen maxi-malen Nutzen daraus ziehen kann. Da es sich manchmal um komplexe Fragestellungen und abstrakte Vorgänge handelt, muss sichergestellt werden, dass auch die Zwischenschritte der Auswertung und Berechnung von den Teilnehmern nachvollzogen werden können.
- Kosten- und Leistungsdaten (Input- und Outputdaten): Die Erhebungsdaten sollten die Verbrauchs- und die Leistungsseite gleichermaßen abdecken. Ideal wären unabhängige und neutral definierte Erhebungsdaten und Benchmarks (Norm!). In den meisten Fällen handelt es sich um Benchmarks mit klarem Kosten- oder Preis-Bezug. Deswegen kommt es darauf an, dass den Kosten entsprechende Leistungsmengen gegenüberstehen.
- Offenheit gegenüber den Resultaten: Sobald die Ergebnisse einer Bench-marking-Iteration vorliegen, sind daraus Schlussfolgerungen zu ziehen und geeignete Maßnahmen zu initiieren. Wer Benchmarking ernsthaft betreibt, nimmt nicht nur die für ihn positiven, sondern ebenso die für ihn negativen Ergebnisse an und setzt sich aktiv damit auseinander. Wer wegen „schlechter“ Ergebnisse das Benchmarking verlässt, hat den Sinn und Zweck nicht verstanden.

Was kein Benchmarking ist

Natürlich sind die Grenzen fließend – wie immer. Aber auf Basis unserer Definition lässt sich schon in vielen Fällen sagen, was eben kein Benchmarking ist. So sind viele einmalige Beratungsaktivitäten, auch wenn sie intensive und umfangreiche Datenvergleiche durchführen, kein Benchmarking, denn es fehlt das Element der regelmäßigen Wiederholung. Damit ist nichts über die Qualität oder Professionalität dieser Aktivitäten gesagt. Es ist eben nur kein Benchmarking. Auch ist bei solchen Beratungsprojekten nicht immer si-chergestellt, dass alle genutzten Daten zum selben Zeitpunkt erhoben worden sind. Auch das zeigt, dass es sich nicht um Benchmarking handeln kann. Diese Argumentation gilt analog auch für diejenigen Fälle, in denen nach Ver-gleichsdaten gesucht wird, um bestimmte Aussagen zu bestätigen oder zu verwerfen. Abgesehen davon, dass es sich meistens um einmalige Aktionen handelt, fehlt es auch an der einem Benchmarking eigenen Offenheit gegenüber den Ergebnissen. Auch wenn die Vergleichsdaten nicht mehr direkt, sondern nur noch über statistische Kenngrößen zugänglich sind, handelt es sich nicht um Benchmarking, denn eine wesentliche Transparenzforderung kann nicht erfüllt werden. Desgleichen sind Preisvergleiche oder Vertragsanalysen Preisvergleiche oder Vertragsanalysen, aber eben kein Benchmarking. Auch kann man bei den eingeholten Anbieterpreisen keinerlei Analysen durchführen, denn dann müsste ja der Anbieter seine Kalkulation offen legen. Und schließlich sind Umfragen, ob in der klassischen Fragebogen-Form oder als „multi-client-study“ organisiert, ob sie von wissenschaftlicher Seite, einschlägigen Fachorganen oder von kommerziellen Institutionen durchgeführt werden, natürlich kein Benchmarking.

A Fool with a Tool is still a Fool

IT-Benchmarkin ist ein Werkzeug und gehört in die Toolbox des IT-Controllers. Ob es zum Guten oder zum Schlechten gebraucht wird, hängt vom Verwender ab. Natürlich wird IT-Benchmarking von verschiedenen Parteien – seien es An-wender, Hersteller oder Berater – instrumentalisiert. IT-Verantwortliche wollen mit Benchmarks demonstrieren, dass sie gut sind, haben aber nicht immer Interesse daran, noch besser zu werden. Hersteller wollen mit Benchmarks zeigen, dass ihre Produkte die besten sind und wählen möglicherweise Mess-verfahren und Kenngrößen geeignet. Berater demonstrieren mit Benchmarks ihre Marktkenntnis und untermauern damit Beratungsansätze und Emp-fehlungen. Bei solchen Ansätzen werden Benchmarks oftmals gezielt erzeugt oder selektiert. Es fehlt das Moment der Offenheit und solche Benchmarks dürften in der Regel auch nicht vergleichbar sein. Wenn Erhebungsbasis (Datenquellen), Messverfahren und Berechnung der Benchmarks offengelegt werden, dann wird der Prozess nachvollziehbar. Das geschieht in diesen Fällen aber – analog zu den unterschiedlichen TCO-Kalkulationen – üblicherweise nicht.

DR.MARTIN KÜTZ
DIPL.-ING. JOCHENMICHELS

Diesen Artikel finden Sie auch in der Ausgabe Mai 2008 des it management.