Der Studie des US-amerikanischen Software-Unternehmens zufolge sollen die Entwicklungsprozesse in Open-Source-Communities erhebliche Mängel aufweisen. Außerdem bemängelt der Autor, dass die Nutzer der freien Software bei der Fehlermeldung und -behebung nicht ausreichend betreut würden. Tatsächlich untersucht wurden einige ausgewählte Java-Server wie JBoss und Tomcat, die in der Folge verallgemeinernd für das weite Feld der Open Source Software zitiert werden.

Fortify Software finanzierte die Studie und beauftragte damit den unter IT-Experten umstrittenen Sicherheitsberater Larry Suto. Als Vorgehensweise für den vorliegenden Report habe er elf der gebräuchlichsten Java-Open-Source Pakete untersucht, mit den Maintainern kommuniziert und die dokumentierten Abläufe in der Entwicklung untersucht. An dieser Stelle sieht Nils Magnus, Security-Redakteur beim Linux-Magazin, bereits erste Widersprüche im Report: „In der Tabelle I führt der Autor elf Open-Source-Projekte auf, die er in seiner Studie betrachtet. In den Tabellen III und V werden dann allerdings auch ganz andere Projekte untersucht, wohingegen er einige des Testfeldes nicht näher betrachtet.“

Im nächsten Schritt habe der Autor mehrere Versionen der jeweiligen Pakete heruntergeladen und mittels der Software des Auftraggebers, Fortify SCA, auf Schwachstellen untersucht. Auch diese Untersuchungsmethode hält Magnus für lückenhaft: „Die Versionsnummern, die im Report bemängelt werden, scheinen willkürlich ausgewählt. Mal wird die älteste Version aufgelistet, dann die neueste, dann eine zwischendrin. Es scheint fast so, als habe die Studie gezielt die Pakete gelistet, in denen Fehler zu finden waren.“ Und auch die Ergebnisse des Paket-Scan zweifelt der Linux-Magazin-Experte an: „Insbesondere die Ergebnisse der Tabelle V lassen aufhorchen: Erfahrungen mit anderen Analysen zeigen, dass sich in produktiv genutztem Code etwa 0,2 - 5 Fehler pro 1000 Zeilen Quelltext automatisch zu finden sind. Das Projekt 'Hipergate' soll laut Studie über 14.000 Probleme in rund 81.000 Zeilen Code enthalten. Das wäre ein Fehler alle fünf Zeilen. So einen Ausreißer in einer Studie nicht zu kommentieren erscheint mir unprofessionell.“ Das Dokument von Larry Suto belege diese außergewöhnlichen Zahlen nicht, wie Magnus bemerkt. Er ist der Meinung, dass diese nicht unkommentiert übernommen werden dürften. Er meint: "Unklar bleibt weiterhin, inwiefern die untersuchten Projekte Gelegenheit zur Stellungnahme der Untersuchungsergebnisse hatten. So hätten vielleicht extreme Ausreißer wie bei Hipergate geklärt werden können.“

Die Autor behauptet, dass innerhalb der Community keine Sicherheitsvorabläufe und -routinen eingeführt werden, die für Unternehmen nötig seien und gibt Unternehmen die wenig überraschende Empfehlung, die Fortify-Software zur Sicherheitsprüfung einzusetzen. Dies verbindet er mit der Aussage, dass Open-Source-Software nur mit äußerster Vorsicht für Unternehmenszwecke eingesetzt werden könne. Nils Magnus hält diese Argumentation nicht für schlüssig: "Es bleibt unklar, wie der Autor seine harsche Kritik sachlich begründet. Es fehlen etwa Vergleichswerte mit proprietären Produkten, erhoben mit dem gleichen Werkzeug."

Magnus verweist darauf, dass auch frühere Analysen von Larry Suto in der Kritik standen: Beispielsweise der Security-Fachmann Adam Ely kritisierte an einer Studie im Jahr 2007 die undurchsichtige Methodologie, ebenso machten Experten von IBM und HP erhebliche Mängel aus.

Redakteur Nils Magnus kommt zu dem Schluss, dass das Unternehmen sich mit dem Report keinen Gefallen getan hat: „Es erscheint nachvollziehbar, wenn ein Anbieter eines Werkzeuges zur statischen Software-Analyse sein Werkzeug zum Gegenstand einer Studie macht, um dessen Vorzüge herauszustellen. Hier hat Fortify sich jedoch einen Bärendienst erwiesen, indem das Unternehmen eine Studie herausgebracht hat, die offenkundige Mängel aufweist.“