Potenzialanalyse - Bewertung des Verwertungspotenzials von Forschungssoftware¶
Es gibt viele Gründe, warum nicht jede Software für eine Verwertung geeignet ist, einschließlich begrenzter Marktbedingungen, rechtlicher Beschränkungen oder mangelnder Unterstützung durch die Einrichtung oder das Entwicklerteam. Durch eine gründliche Analyse können potenzielle Hindernisse für die Verwertung ermittelt werden.
Warum sollte Software bewertet werden?¶
Die Bewertung des Verwertungspotenzials von Forschungssoftware ist entscheidend für die Frage, ob sich eine Verwertung lohnt, in welchem Umfang sie durchgeführt werden kann und welche Maßnahmen erforderlich sind. Eine frühzeitige Evaluierung kann dazu beitragen, die Entwicklungskosten zu senken, indem Probleme identifiziert werden, bevor zu viel Zeit und Ressourcen investiert wurden. Darüber hinaus kann eine Evaluation dazu beitragen, dass die Institution und das Entwicklungsteam gezielt an der Lösung von Problemen arbeiten und somit das Potenzial für eine erfolgreiche Verwertung erhöhen. Insgesamt ist eine frühzeitige Bewertung des Verwertungspotenzials für eine erfolgreiche Verwertung von Forschungssoftware unerlässlich.
Wann sollte Software bewertet werden¶
Es gibt verschiedene Zeitpunkte im Verwertungsprozess, zu denen es sinnvoll sein kann, eine Bewertung durchzuführen. Bereits wenn eine Software gemeldet oder durch ein Screening entdeckt wurde sollte eine Bewertung durchgeführt werden, um festzustellen, ob eine Verwertung der Software überhaupt sinnvoll ist und wie viel Arbeit es sich lohnt, in die Software zu investieren. Es können auch die Haupthindernisse für eine Verwertung identifiziert werden.
Es ist jedoch zu beachten, dass am Anfang nicht immer genügend Informationen zur Verfügung stehen, um alles richtig einschätzen zu können. In diesen Fällen können kurze Gespräche mit den Beteiligten (Entwickler:innen und Wissenschaftler:innen) weitere Informationen zu Tage bringen, um darauf aufbauend das Verwertungspotenzial der Software so gründlich wie möglich mit den vorhandenen Informationen zu analysieren. Dabei bewertet man zu Beginn wirklich nur die Punkte, die man bereits bewerten kann, um eine erste Einschätzung des Potenzials der Software zu erhalten und erstellt eine Checkliste der offenen, unklaren und problematischen Aspekte.
Hierfür hat das SoftWert-Team ein Schema entwickelt. Solange die Bewertung anhand dieses Systems eine positive Perspektive für die Verwertung der Software bietet und die Maßnahmen aus der Checkliste umsetzbar erscheinen, kommt man Schritt für Schritt zu einer möglichst aussagekräftigen Bewertung des Verwertungspotenzials der Forschungssoftware.
Im Laufe des Verwertungsprozesses gibt es weitere Zeitpunkte, zu denen die Software bewertet werden sollte:
bei der Auswahl der Transferwege (siehe Entscheidungshilfe)
bei der Gestaltung von Geschäftsmodellen (siehe Gestaltung der Verwertung)
Grundsätzlich gilt, dass im Laufe der Verwertung viele verschiedene Aspekte der Software, wie z.B. die technische Qualität der Software, der Bedarf am Markt, die rechtlichen Rahmenbedingungen und die Finanzierbarkeit der Verwertung, Einfluss auf jede Entscheidung haben und daher zu jedem Zeitpunkt bewertet werden müssen. Dies spricht wiederum dafür, dass die Bewertung der Software parallel zur Verwertung immer wieder aktualisiert werden sollte, um stets alle wichtigen Faktoren im Blick zu haben.
Was sollte bei einer Software bewertet werden?¶
Für eine erfolgreiche Verwertung von Forschungssoftware sind viele verschiedene Faktoren wichtig, die in die Bewertung einfließen müssen. Diese beschränken sich nicht nur auf technische Aspekte wie die Qualität und Innovationsgrad der Software oder den Stand der Entwicklung und Dokumentation, sondern erstrecken sich auf viele weitere Bereiche. Beispielsweise sollten das Entwicklerteam und die Einrichtung über das notwendige Know-how und die Motivation verfügen, um die Verwertung durchführen zu können.
Darüber hinaus sind rechtliche und marktrelevante Faktoren zu berücksichtigen. Insbesondere die rechtliche Situation kann die Verwertung stark beeinflussen. Hier spielen Fragen des Urheberrechts, des Datenschutzes und der Haftung eine Rolle und sollten in die Bewertung einbezogen werden.
Bei den marktrelevanten Faktoren geht es um die Frage, ob und inwieweit die Software am Markt nachgefragt wird und wie die Wettbewerbssituation geschaffen ist. Eine umfassende Marktanalyse kann hier helfen, das Verwertungspotenzial der Software zu ermitteln und gegebenenfalls Anpassungen an der Software vorzunehmen, um sie marktfähiger zu machen.
Spezielle Faktoren, die sich auf das Potenzial einer Ausgründung mit der Forschungssoftware beziehen, können ebenfalls evaluiert werden, wobei es viele Überschneidungen mit den bereits genannten Aspekten gibt.
Eine detaillierte Übersicht findet sich in der Fragensammlung, in der die wichtigsten Fragen für eine Bewertung aufgelistet sind.
Zuversicht der Bewertung¶
Die Evaluation von Forschungssoftware ist eine anspruchsvolle Aufgabe, da je nach Zeitpunkt und Software nicht alle Informationen zur Verfügung stehen. Dies kann dazu führen, dass oft nicht alle relevanten Fragen beantwortet werden können oder die Bewertung bestimmter Annahmen unterliegt, die im weiteren Verlauf noch validiert werden müssen. Daher wurden die einzelnen Antworten in dem SoftWert-Bewertungstool mit einem sogenannten Konfidenzkoeffizienten versehen. Eine einfache Einstufung, die zwischen unsicher, sicher und belegbar unterscheidet. So ist auch später und für andere nachvollziehbar, wie vollständig und mit welcher Sicherheit die Bewertung erfolgte. Fragen, die noch mit unsicher beantwortet wurden, können zudem besonders hervorgehoben werden, um sie weiter zu bearbeiten.
Wie sollte Software bewertet werden?¶
Bei der Bewertung von Forschungssoftware sind verschiedene Faktoren zu berücksichtigen:
Umfang¶
Eine Kurzbewertung hat den Vorteil, dass sie schnell und mit wenig Aufwand durchgeführt werden kann. Sie basiert jedoch auf weniger Informationen und ist daher weniger genau, aber genauso aussagekräftig. Länge und Umfang sind von Fall zu Fall unterschiedlich variieren insbesondere je nach strategischer Bedeutung des Falls. Jede Einrichtung sollte sich im Vorfeld Gedanken über einen grundsätzlichen Umfang und Inhalt der Bewertung machen.
Bewertungsdimensionen¶
Unabhängig davon, wie umfassend die Evaluation durchgeführt wird, sind in jedem Fall sehr viele unterschiedliche Faktoren zu berücksichtigen und miteinander zu vereinen. Die Gruppierung von Fragen in verschiedene Bereiche oder Dimensionen bei der Evaluation von Forschungssoftware hat den Vorteil, dass die Darstellung der Ergebnisse vereinfacht und übersichtlicher wird. Durch die Gruppierung ähnlicher Fragen können zusammenhängende Aspekte der Software identifiziert und eine fundierte Entscheidung getroffen werden. Darauf aufbauend können allgemeine Szenarien und Handlungsempfehlungen abgeleitet werden, die auch für ähnliche weitere Fälle gelten. Die Gruppierung hilft zudem, den Überblick über die anstehenden Aufgaben nicht zu verlieren. Insbesondere wenn, wie oben empfohlen, die Bewertung regelmäßig aktualisiert wird, kann der Fall anhand einzelner Bereiche und Dimensionen weiterentwickelt werden.
Die Anzahl der Dimensionen sollte jedoch mit Bedacht gewählt werden. Bei zu wenigen Dimensionen werden die Empfehlungen zu unspezifisch und es können keine sinnvollen Empfehlungen gegeben werden. Bei zu vielen Dimensionen wiederum wird die Bewertung zu unübersichtlich und schwer handhabbar. Vorschläge und Erläuterungen zu praktikablen Dimensionen finden sich hier.
Reproduzierbarkeit¶
Um sich auf die Bewertung verlassen zu können, muss die Bewertung möglichst reproduzierbar sein. Dies ist besonders wichtig, wenn die Bewertung eines Softwareprodukts zu verschiedenen Zeitpunkten oder von verschiedenen Personen durchgeführt wird. Das Bewertungssystem sollte so robust sein, dass die Fragen und Antworten so klar formuliert sind, dass kleine Abweichungen in den Antworten entweder sehr unwahrscheinlich sind oder nur geringe Auswirkungen auf die Ergebnisse haben. Darüber hinaus sollte die Bewertung über verschiedene Softwareprodukte hinweg konsistent sein, um die Vergleichbarkeit zu erhöhen und den Einfluss subjektiver Verzerrungen zu reduzieren. Um die Reproduzierbarkeit zu erleichtern, sollte versucht werden, eher ausformulierte Fragen zu verwenden, als nur bestimmte Faktoren zu nennen (z.B. Marktpotenzial, Entwicklungsstand, etc.). Bei jeder Frage sollte direkt klar sein, was damit gemeint ist, ohne auf eine zusätzliche Beschreibung zurückgreifen zu müssen. Zusätzliche Beschreibungen zu den Fragen können für das Verständnis der Frage hilfreich sein, sollten aber nur als Ergänzung dienen. Die Reproduzierbarkeit kann auch durch die Wahl des Fragetyps verbessert werden. Die häufig verwendete Bewertung eines Aspektes anhand einer Punkteskala ist nicht immer leicht zu beantworten und erfordert eine gewisse Einarbeitung in die eher abstrakte Skala. Wenn man die Fragen entsprechend formuliert und z.B. nur eine Ja- oder Nein-Antwort erwartet (evtl. noch eine Antwortmöglichkeit für Vorkommnisse), ist dies leichter zu verstehen und zu beantworten, als wenn man einen Aspekt auf einer Skala von 1 bis 10 bewerten soll. Die Fragen sollten auch einheitlich formuliert sein, d.h. bei Ja/Nein-Fragen ist z.B. Nein immer die “schlechtere” Option. So muss nicht bei jeder Frage neu überlegt werden, was positiv und was negativ ist. Auch die Antworten können explizit formuliert werden: Anstatt nur Ja/Nein oder Zahlenwerte zur Auswahl zu stellen, kann es hilfreich sein, zu jeder Antwortmöglichkeit einen kurzen Satz zu schreiben, der die Antwort erklärt. So weiß jeder, der den Bewertungsbogen ausfüllt, was genau mit den Antworten gemeint ist und es gibt weniger Verwirrung.
Handhabung¶
Die Bewertung sollte auch einfach durchzuführen sein, so dass sie von allen Beteiligten verwendet werden kann, auch wenn sie nur geringe Vorkenntnisse im Bereich der wissenschaftlichen Software oder des Technologietransfers haben. Wenn die Bewertung zu komplex oder kompliziert wird, wird sie wahrscheinlich nicht verwendet. Es ist schon schwierig genug, den Überblick über alle Aspekte zu behalten, so dass die Technologiemanager:innen nicht noch mehr Zeit damit verbringen sollte, über die Verwendung der Bewertung oder den Prozess der Ergebnisfindung nachzudenken. Die bisher genannten Punkte, insbesondere Umfang (nicht zu umfangreich) und Reproduzierbarkeit (klare und verständliche Fragen), haben wahrscheinlich den größten Einfluss auf die Benutzerfreundlichkeit: ein zu umfangreicher Bewertungsbogen oder unklar formulierte Fragen schrecken die Benutzer:innen ab. Es ist auch zu überlegen, ob statt eines analogen Fragebogens eine digitale Variante vorzuziehen ist. Insbesondere bei der hier vorgestellten Idee eines ständig aktualisierten Bewertungsbogens macht eine digitale Bewertung Sinn, da zum einen Zwischenergebnisse gespeichert und wieder abgerufen werden können und zum anderen die Auswertung auch automatisiert ablaufen kann. Es ist jedoch zu bedenken, dass auch bei einer digitalen Version auf die Benutzeroberfläche geachtet werden muss und diese für jedermann zugänglich und verständlich gestaltet werden sollte.