Masterarbeit "A Distributed Architecture for the MediaSearch Framework"

Das Fraunhofer SIT MediaSearch Framework ist ein lose gekoppeltes, eventbasiertes Softwaresystem, welches Internetplattformen wie BitTorrent, Rapidshare oder YouTube nach Medien, die vorher spezifizierte Suchkriterien erfüllen, durchsucht, diese herunterlädt und auf digitale Wasserzeichen überprüft. Da die Menge an im Internet verfügbaren Medien riesig ist, muss das System skalierbar sein, damit so viele Daten wie möglich gleichzeitig verarbeitet werden können.

Die Entwicklung einer skalierbaren Architektur für das MediaSearch Framework hat mehrere Schwierigkeiten, die in dieser Arbeit untersucht werden. Besonders wichtig sind die hohen Anforderungen an die Netzwerkbandbreite für Downloads und an die Rechenleistung für das Auslesen von Wasserzeichen. Die geforderte Skalierbarkeit könnte durch das Verteilen der Verarbeitung auf mehrere Rechner erreicht werden, indem ihre gesammelte Bandbreite und Rechenleistung für Download und Wasserzeichensuche ausgenutzt wird.

In dieser Arbeit werden verschiedene mögliche verteilte Architekturen und ihre Auswirkungen auf das Framework und seine Skalierbarkeit analysiert, die Ausfallsicherheit des Systems untersucht und Maßnamen gegen Ausfälle von Systemteilen entwickelt. Zuletzt wird eine Implementierung einer verteilten Architektur für das MediaSearch Framework vorgestellt, ihre Vor- und Nachteile betrachtet und gezeigt, dass sie eine mögliche Plattform zur Vervollständigung des passiven Urheberrechtsschutzes mit digitalen Wasserzeichen durch eine aktive Suche ist.

The Fraunhofer SIT MediaSearch Framework is a loosely coupled, event based software system that searches internet platforms such as BitTorrent, Rapidshare or YouTube for media that match specified search criteria, downloads them and examines them for the presence of digital watermarks. Since the amount of media available on the internet is huge, the system is required to be scalable so that large amounts of data can be processed simultaneously.

The scalability of the MediaSearch Framework faces several possible impediments that we will examine in this thesis. Especially noteworthy are the requirements of high network bandwidth for downloads and large computing resources for the retrieval of watermarks. The required scalability might be achieved by distributing the execution of the system to multiple machines to utilize their aggregate bandwidth and computing power.

In this thesis, we examine possible distributed architectures and their implications on the Framework and its scalability. We also discuss impacts on the reliability of the system as a whole and countermeasures against failures of parts of the system. Finally, we propose an implementation of a distributed architecture for the MediaSearch Framework, evaluate its benefits and shortcomings, and show that it is a feasible operation platform for complementing passive copyright protection using digital watermarks with an active search component.