Bewertungsschema SoftWert

Basierend auf den gesammelten Erfahrungen verschiedener Einrichtungen und einer Literaturrecherche zu bestehenden Bewertungssystemen für Forschungssoftware, wurde im Projekt ein Bewertungsschema entwickelt, das bei der Bewertung des Verwertungspotenzials von Forschungssoftware helfen soll. Die Einteilung der relevanten Fragen (die auch im Fragenkatalog nachgelesen werden können) folgt dabei der Vierteilung “Software, Team, Einrichtung und Markt”. Dieses Schema kann als Grundlage für eine einheitliche Bewertungsmethodik innerhalb einer Einrichtung dienen. Das Schema wurde in Form eines Bewertungstools umgesetzt, um die Eingabe der erforderlichen Daten und die Auswertung zu vereinfachen.

Sowohl das Schema als auch das Tool sind nicht als starres Konstrukt gedacht, vielmehr sind verschiedene Anpassungsmöglichkeiten vorgesehen. So können Fragen und Antworten ausgetauscht, erweitert oder gekürzt werden. Auch die Gewichtung der einzelnen Aspekte sowie die Festlegung von Schwellenwerten bieten Möglichkeiten, die Auswertung passgenau auf die Anwendungszwecke abzustimmen. Das genaue System sowie die Einstellungsmöglichkeiten werden im Folgenden beschrieben.

Abgefragte Inhalte

Das Bewertungsschema enthält eine Reihe von Fragen, die für die Potenzialanalyse wichtig sind. Diese sind in die 4 Dimensionen Software, Team, Einrichtung und Markt unterteilt. Zu jeder Frage gibt es auch vorgefertigte Antworten, die die Einstufung vereinfachen und konsistenter machen sollen. Im Fragenkatalog finden sich auch verschiedene Versionen von Fragen zu den gleichen verwertungsrelevanten Aspekten, die sich hauptsächlich in der Detailtiefe unterscheiden. Je nachdem, wie die Verwertung in den Einrichtungen durchgeführt wird, kann es z.B. notwendig sein, die rechtliche Situation der Software genauer abzufragen, um zu einer Bewertung zu kommen. Das Schema kann also durch die Auswahl der Fragen angepasst werden.

Art der Antworten

Für die Bewertung der Software selbst werden für jede Frage zwei Informationen abgefragt, für die es jeweils eine Liste von Antwortmöglichkeiten gibt:

1. Die Bewertung: Hier wird abgefragt, inwieweit der abgefragte Aspekt durch die vorliegende Software erfüllt wird. Alle Fragen sind so formuliert, dass die möglichen Antworten eine der drei folgenden Optionen sein können:
nein, Aspekt ist noch nicht erfüllt bzw. es bestehen gravierende Probleme
ja, Aspekt ist erfüllt
dazwischen, der Aspekt ist noch nicht erfüllt, aber es gibt keine unüberwindbaren Hindernisse.

2. Die Zuversicht: Hier wird gefragt, wie sicher man sich mit der gegebenen Einschätzung ist. Folgende Antwortmöglichkeiten stehen zur Verfügung:
unsicher: Die Einschätzung ist nur eine Einschätzung aus dem Bauch heraus. Es liegen noch keine genauen Informationen vor, man hat aber schon eine sehr grobe Vorstellung.
sicher: die Einschätzung ist schon relativ sicher, muss aber noch einmal abschließend überprüft werden.
sehr sicher/belegt: die Antwort ist belegt, so dass eine Fehleinschätzung ausgeschlossen werden kann.

Zusätzlich gibt es bei jeder Frage die Möglichkeit anzugeben, dass man sich noch zu unsicher ist, um überhaupt eine Antwort geben zu können, sowie die Möglichkeit, eine Frage für den aktuellen Fall als nicht relevant zu markieren, so dass sie nicht in die Bewertung einfließt. Die Möglichkeit, bestimmte Fragen als kritisch zu kennzeichnen, wurde ebenfalls in Betracht gezogen, um diese je nach Wunsch doppelt zu bewerten oder nur in der Auswertung hervorzuheben, wenn es bei diesen Fragen Probleme gibt.

Auswertung und Gewichtung

Aus den Antworten auf die einzelnen Fragen werden nach folgendem Schema Endwerte berechnet, die für die Handlungsempfehlungen verwendet werden:

Die Bewertungen werden in Prozentwerte umgerechnet (ja = 100 %, mittel = 50 %, nein/leer = 0 %).
Für jede Dimension werden Mittelwerte berechnet, die das Potenzial der Software in dieser Dimension angeben.
Für jede Frage kann zusätzlich eine Gewichtung angegeben werden, um sie stärker oder schwächer in die Berechnung einfließen zu lassen.
Für das Vertrauen werden die Antworten ebenfalls in Prozentwerte umgerechnet (sehr sicher/sicher = 100%, sicher = 66%, unsicher = 33%, keine Antwort = 0%).
Auch diese werden pro Dimension zu einem Wert gemittelt (ebenfalls entsprechend der Gewichtung), der insgesamt die Zuversicht in dieser Dimension angibt.
Fragen, die nicht relevant sind, gehen nicht in die Bewertung ein und verringern somit nicht den Mittelwert.

Am Ende erhält man zwei Werte pro Dimension, die mit den festgelegten Schwellenwerten verglichen werden (können angepasst werden, die besten Erfahrungen wurden mit 60% für die Bewertung und 70% für das Vertrauen gemacht). Liegen die Werte der Bewertung in einer Dimension unter diesem Schwellenwert, so wird diese Dimension als kritisch angesehen, da hier noch viele Hindernisse bestehen, die zunächst beseitigt werden müssen. Für das Vertrauen gilt, dass ein Endwert unter dem Schwellenwert bedeutet, dass in dieser Dimension noch viele Ungenauigkeiten bestehen und die Bewertung daher nur als kritisch eingestuft wird.

Beispielauswertung der vier Dimensionen des Bewertungsschema SoftWert

Handlungdsempfehlungen und nächste Schritte

Auf Basis der Bewertung können verschiedene Schlussfolgerungen für die nächsten Schritte gezogen werden:

Eine Liste von Fragen, die noch nicht oder nur mit sehr großer Unsicherheit beantwortet werden konnten. Diese können als To-do-Liste für den Technologiemanager verwendet werden, die anzeigt, zu welchen Aspekten weitere Informationen eingeholt werden müssen.
Eine Liste der Fragen, die mit Nein beantwortet wurden. Diese wiederum können als ToDo-Liste für die größten Hindernisse angesehen werden, die für eine weitere Nutzung beseitigt werden müssen.
Eine Einordnung der Software in ein Szenario mit entsprechenden Handlungsempfehlungen. Dies gibt an, wo die Verwertung der Forschungssoftware ungefähr steht und was generell die besten nächsten Schritte sind, um die Software kontinuierlich in einen Superstar zu verwandeln.

Bewertung des Ausgründungspotenzials

Wie bereits bei den Bewertungsdimensionen beschrieben, ist die Bewertung des Verwertungspotenzials unmittelbar mit der Bewertung des Ausgründungspotenzials verbunden. Im Bewertungsschema SoftWert wird dies erreicht, indem jeder Frage ein Faktor zwischen -1 und 1 zugeordnet wird (im Fragenkatalog gibt es bereits eine entsprechende Gewichtung für die Ausgründung, die entsprechend angepasst werden kann). Werte über 0 bedeuten hier, dass die Frage eine gewisse Relevanz für die Ausgründung hat und normal in die Berechnung eingeht. Werte unter 0 bedeuten, dass die Frage zwar relevant ist, diese aber einen gegenläufigen Einfluss auf eine normale Verwertung haben kann. So kann z.B. die Möglichkeit der Hochschule, zusätzliche Ressourcen in die Verwertung zu investieren, einen negativen Einfluss auf die Verwertung durch die Hochschule selbst, aber einen positiven Einfluss auf die Gründung eines Start-ups haben. Der Wert 0 bedeutet, dass die Frage nicht relevant ist und nicht in die Berechnung eingeht.

Alle relevanten Fragen werden nach den obigen Regeln zu einem Bewertungs- und einem Konfidenzwert verrechnet. Liegen diese über einem zusätzlichen Schwellenwert für die Ausgründung, ergibt sich daraus eine Empfehlung, die Ausgründung in Betracht zu ziehen.

Manuelle Schnellauswertung

Neben dem Bewertungstool SoftWert gibt es auch noch eine Schnellauswertung zum ausdrucken. Diese kann für eine initiale Einordnung des Verwertungspotenzials verwendet werden, wenn man für die vier Dimensionen ein grobes Bauchegfühl hat ob in diesen kritische Probleme vorliegen. So kann man schon eine erste Idee bekommen in welches Verwertungsszenario die Forschungssoftware fallen könnte.