Verlustlose und verlustbehaftete Kompression von Screen-Content-Daten mit Hilfe von maschinellem Lernen / Lossless and lossy Compression of Screen Content Data using Machine Learning

This project explores a novel approach for the compression of screen content data, taking into account different aspects of the image properties and the specific objective of the compression. Unlike traditional photo or broadcast video data, the content of screen content images is very diverse in terms of its statistical properties. Often, certain regions within the images are characterized by two typical properties: a limited number of colors and repeating patterns. Studies have shown that conventional compression methods are not able to store screen content data efficiently, even with the inclusion of special tools. Much more successful is a method based on ideal data encoding, whose success depends on optimal modeling of the probability distributions of the pixel symbols. For this new compression method, a model approach has already been implemented (prototype), but it is still limited to lossless compression and achieves high compression efficiency only for image content with certain properties. The project investigates new methods for better modeling of the probability distributions of the image point symbols using machine learning methods. Overall, the project pursues several approaches:

• Der vorhandene Prototyp verwendet in einigen Verarbeitungsstufen lediglich globale Bildinformation für das Modellieren der Wahrscheinlichkeitsverteilungen. Durch Schätzverfahren, die mehr Vorwissen, z. B. lokaler Natur, einfließen lassen, sind deutliche Gewinne in der Kompression zu erwarten. Dafür werden alternative Lernverfahren in Betracht gezogen. Generell geht es um das Lernen mit wenigen Beispielen. Für diesen Ansatz sind höhere Kompressionsverhältnisse zu erzielen als mit klassischen Verfahren, welche zunächst das Bild in Regionen unterschiedlichen Typs segmentieren und anschließend ggf. auf herkömmliche Kompressionsmethoden umschalten.
• The existing prototype uses only global image information in some processing stages for modeling the probability distributions. Significant gains in compression can be expected through estimation techniques that incorporate more prior knowledge, e.g., of a local nature. Alternative learning methods are considered for this purpose. In general, the focus is on learning with few examples. For this approach, higher compression ratios can be achieved than with classical methods, which first segment the image into regions of different types and then switch to conventional compression methods if necessary.
• An extension of the model approach to image sequence compression is possible in principle and is being pursued. Taking the temporal component into account can lead to improved modeling of the probability distribution depending on the situation and must therefore be explored. In image sequences, changes in signal statistics typically occur due to newly emerging content or scene changes. It must be specifically investigated how the existing or new learning procedure can be supplemented with suitable elements for forgetting or relearning.

Dieses Projektes erforscht einen neuartigen Ansatz für die Kompression von Screen-Content-Daten unter Berücksichtigung von verschiedenen Facetten der Bildeigenschaften und der spezifischen Zielstellung der Kompression. Im Gegensatz zu klassischen Foto- oder Broadcast-Videodaten ist der Inhalt von Screen-Content-Bildern sehr divers hinsichtlich seiner statistischen Eigenschaften. Häufig sind bestimmte Regionen innerhalb der Bilder durch zwei typische Eigenschaften gekennzeichnet: eine begrenzte Anzahl von Farben und sich wiederholende Muster. Untersuchungen haben gezeigt, dass konventionelle Kompressionsverfahren auch mit Einbeziehen von speziellen Werkzeugen nicht in der Lage sind, Screen-Content-Daten effizient zu speichern. Deutlich erfolgreicher ist eine Methode basierend auf der idealen Datencodierung, deren Erfolg von einer optimalen Modellierung der Wahrscheinlichkeitsverteilungen der Bildpunktsymbole abhängt. Für diese neue Kompressionsmethode wurde bereits ein Modellansatz implementiert (Prototyp), welcher jedoch noch beschränkt ist auf die verlustlose Kompression und nur für Bildinhalte mit bestimmten Eigenschaften eine hohe Kompressionseffizienz erreicht. Das Projektvorhaben untersucht neue Verfahren zum besseren Modellieren der Wahrscheinlichkeitsverteilungen der Bildpunktsymbole unter Einbeziehung von Methoden des maschinellen Lernens. Insgesamt verfolgt das Vorhaben mehrere Ansätze:

• Der vorhandene Prototyp verwendet in einigen Verarbeitungsstufen lediglich globale Bildinformation für das Modellieren der Wahrscheinlichkeitsverteilungen. Durch Schätzverfahren, die mehr Vorwissen, z. B. lokaler Natur, einfließen lassen, sind deutliche Gewinne in der Kompression zu erwarten. Dafür werden alternative Lernverfahren in Betracht gezogen. Generell geht es um das Lernen mit wenigen Beispielen. Für diesen Ansatz sind höhere Kompressionsverhältnisse zu erzielen als mit klassischen Verfahren, welche zunächst das Bild in Regionen unterschiedlichen Typs segmentieren und anschließend ggf. auf herkömmliche Kompressionsmethoden umschalten.
• Das Forschungsvorhaben soll weiterhin untersuchen, wie eine geeignete Rate-Distortion-Optimierung das Verfahren zu einer nahezu-verlustlosen oder verlustbehafteten Kompression erweitern kann. Diese Optimierung kann durch eine dedizierte Bildanalyse parametrisiert werden, um Wahrnehmungsmodelle des menschlichen Sehens zu berücksichtigen.
• Eine Erweiterung des Modellansatzes auf Bildsequenzkompression ist prinzipiell möglich und wird angestrebt. Das Berücksichtigen der zeitlichen Komponente kann situationsabhängig zu einer verbesserten Modellierung der Wahrscheinlichkeitsverteilung führen und muss deshalb erforscht werden. In Bildsequenzen treten typischerweise Änderungen in der Signalstatistik durch neu auftauchende Inhalte oder Szenenwechsel auf. Es ist speziell zu untersuchen, wie das vorhandene bzw. neue Lernverfahren mit geeigneten Elementen zum Vergessen bzw. Umlernen ergänzt werden können.