22.9.2023
In diesem Expertenartikel dreht sich alles um Empfehlungssysteme, die sich von frühen Methoden bis hin zum Einsatz von Deep Learning und Transformatoren weiterentwickelt haben. Diese sind für personalisierte Online-Erlebnisse von entscheidender Bedeutung und werden nun auf Transparenz und ethische Überlegungen hin überprüft.
Fatih Gedikli
Guest Author & AI Expert
Empfehlungssysteme sind Anwendungen, die üblicherweise in Webshops integriert werden und den Verkauf unterstützen. Sie bieten Nutzern personalisierte Empfehlungen für Produkte und Dienstleistungen, die ihren Interessen entsprechen und die sie bisher noch nicht erworben haben. Empfehlungssysteme sind nicht nur auf den Verkauf von Produkten beschränkt, sondern haben auch in anderen Bereichen Relevanz. So werden sie in Bereichen wie Streaming-Plattformen, Nachrichtenportalen, sozialen Medien, Reiseplanung, Musikempfehlungen, Jobvermittlung und vielen anderen eingesetzt.
Um sich die Bedeutung von Empfehlungssystemen vor Augen zu führen, reicht es aus, sich der Rolle von Empfehlungen auf der YouTube-Plattform bewusst zu werden. Ohne die bekannten Empfehlungen auf der Startseite bzw. auf der rechten Seitenleiste ist diese Plattform, die neben Google zu den beliebtesten Webseiten der Welt gehört, kaum vorstellbar. YouTube-Empfehlungen spielen als Schlüsseltechnologie eine entscheidende Rolle, um Benutzer auf der Plattform zu halten, die Benutzererfahrung zu verbessern, die Entdeckung neuer Inhalte zu erleichtern und personalisierte Werbung bereitzustellen.
Empfehlungssysteme gehören daher zu den bedeutendsten Technologien des World Wide Web und werden seit den Anfängen des Webs eingesetzt. Sie werden auch als "Recommender Systems" bezeichnet und spielen eine maßgebliche Rolle bei der Personalisierung des per se zustandslosen Webs.
In den 1990er Jahren wurden bedeutende Fortschritte im Bereich des Kollaborativen Filterns erzielt, insbesondere in Bezug auf die Empfehlung von Nachrichten, Musikalben und Filmen. Das Prinzip des Kollaborativen Filterns besteht darin, Ähnlichkeiten zwischen Nutzern zu identifizieren und auf dieser Grundlage Empfehlungen zu generieren. Das Ziel ist es, Nutzern Produkte oder Inhalte vorzuschlagen, die von ähnlich gesinnten Personen positiv bewertet wurden.
Das Tapisserie-System (Goldberg et al., 1992), entwickelt am Xerox Palo Alto Research Center, war eines der ersten Systeme, das die Idee und Terminologie des Kollaborativen Filterns vorstellte. Es wurde ursprünglich als E-Mail-System konzipiert, um Nachrichten von Mailinglisten zu filtern und den Benutzern nur relevante Informationen zuzusenden. Diese frühe Anwendung des Kollaborativen Filterns legte den Grundstein für die spätere Entwicklung von Empfehlungssystemen.
Das GroupLens Projekt xrn (Resnick et al., 1994) an der University of Minnesota trug zur Weiterentwicklung des Kollaborativen Filterns bei. Das xrn-System von GroupLens ermöglicht das Filtern von Usenet-Nachrichten, um Benutzern relevante Nachrichten basierend auf den Interessen und Vorlieben anderer Benutzer zu empfehlen. Das Projekt legte den Fokus auf die Einbindung sozialer Interaktionen und nutzte das Feedback der Gemeinschaft, um personalisierte Empfehlungen zu verbessern.
Das Ringo System (Shardanand und Maes, 1995), entwickelt am Massachusetts Institute of Technology (MIT), war eines der ersten Systeme, das das Kollaborative Filtern zur Empfehlung von Musikalben und Künstlern einsetzte. Es ermöglichte den Benutzern, ihre musikalischen Vorlieben anzugeben und basierend auf den Präferenzen anderer Benutzer passende Empfehlungen zu erhalten. Das Ringo-System trug dazu bei, das Kollaborative Filtern auf den Bereich der Musikempfehlungen auszuweiten.
Das Bellcore Videoempfehlungssystem (Hill et al., 1995) fführte das Kollaborative Filtern in den Bereich der Filmempfehlungen ein. Es ermöglichte den Benutzern, ihre Vorlieben für Filme anzugeben und erzeugte Empfehlungen basierend auf den Bewertungen und Präferenzen anderer Benutzer. Das System legte den Grundstein für die Anwendung des Kollaborativen Filterns im Bereich der Filmbewertungen und Empfehlungen.
Diese Systeme zeigten, wie die Nutzung von Benutzerfeedback und sozialen Interaktionen zur Generierung personalisierter Empfehlungen genutzt werden kann. Diese Erkenntnisse haben das Verständnis und die Entwicklung von Empfehlungssystemen maßgeblich beeinflusst und sind auch heute noch relevant.
Die Entwicklung der Empfehlungssysteme verlief über die Jahre hinweg in verschiedenen Etappen. Im März 1996 fand der erste Collaborative Filtering Workshop in Berkeley statt, bei dem sich die Community erstmals versammelte. Am Ende dieses Treffens bestand Konsens darüber, dass alle Lösungsansätze ein größeres gemeinsames Problem ansprechen: Empfehlungssysteme.
Im März 1997 wurde eine Sonderausgabe der Communications of the ACM zu diesem Thema veröffentlicht, herausgegeben von Resnick und Varian. Diese Publikation verdeutlicht die wachsende Bedeutung von Empfehlungssystemen in der Forschung und der Industrie.
Mitte der 1990er Jahren entstanden auch erste erfolgreiche Ausgründungen aus akademischen Kreisen. Eine Gruppe von MIT gründete Agents, Inc., das später in Firefly Networks umbenannt wurde. Die GroupLens-Gruppe, ebenfalls aus dem Jahr 1996, gründete Net Perceptions.
1999 führte Amazon seine eigene Recommendation Engine ein, bei der Kundenempfehlungen basierend auf dem Verhalten anderer Kunden angezeigt wurden. Dieser Ansatz, bekannt als "Kunden, die dieses Produkt gekauft haben, kauften auch...", war ein Meilenstein für personalisierte Empfehlungen im E-Commerce.
Nach dem Platzen der Dotcom-Blase in den Jahren 2000-2005 verschwanden viele der damaligen Unternehmen, aber die Technologie der Empfehlungssysteme blieb erhalten und entwickelte sich weiter. Die Industrie sah sich neuen Herausforderungen gegenüber. Es wurde klar, dass akkurate Vorhersagen allein nicht ausreichen. Empfehlungen müssen sinnvoll und skalierbar sein, ohne die bestehende Webseite zu verlangsamen.
Im Jahr 2006 rief Netflix den Netflix-Preis aus, der mit einer Million US-Dollar dotiert war. Das Ziel war es, die Vorhersagegenauigkeit des Netflix-Algorithmus um 10% zu verbessern. Der Netflix-Preis führte zu Synergieeffekten und zog neue Akteure aus verschiedenen Disziplinen wie Information Retrieval und Data Mining an, die sich verstärkt dem Feld der Empfehlungssysteme zuwandten.
Im Jahr 2007 fand die erste ACM Recommender Systems Konferenz statt, bei der 120 Teilnehmer zusammenkamen. Dies unterstrich die wachsende Bedeutung und den wissenschaftlichen Charakter des Forschungsfeldes der Empfehlungssysteme. Die ACM RecSys-Konferenz ist bis heute die wichtigste Konferenz auf diesem Forschungsgebiet.
In den letzten Jahren wurden immer mehr Arbeiten publiziert, die Deep Learning (künstliche neuronale Netze mit vielen Schichten) für Empfehlungssysteme einsetzen. Als Teil des maschinellen Lernens ermöglicht Deep Learning die automatische Extraktion von relevanten Merkmalen und Mustern aus unterschiedlichen Benutzersignalen, die für personalisierte Empfehlungen entscheidend sind. In Anspielung auf Marc Andreessen’s bekanntem Zitat „Software is eating the world“, sagte Nvidia CEO Jensen Huang: “Software is eating the world, but AI is going to eat software”. Dabei bezog er sich mit AI auf den Einsatz von Deep Learning, das sich seit dem ImageNet-Wettbewerb im Jahre 2013 sukzessiv gegenüber allen anderen Maschinellen Lernverfahren durchgesetzt hat. Diese bahnbrechende Entwicklung wurde maßgeblich durch die Leistungsfähigkeit von Grafikkarten (GPUs) ermöglicht.
Und heute im Jahre 2023 kann man mit Gewissheit sagen: „Transformers are eating Deep Learning”. Auch die am schnellsten wachsende Anwendung der Welt - ChatGPT von OpenAI – nutzt diese bahnbrechende Architektur.
Ein Schlüsselelement der Transformers-Architektur ist die Aufmerksamkeitsmechanismus, der es dem Modell ermöglicht, sich auf relevante Informationen zu konzentrieren und diese gezielt zu gewichten. Dies ist besonders nützlich für Empfehlungssysteme, da Benutzerinteraktionen, Artikelmerkmale und andere kontextuelle Informationen berücksichtigt werden müssen, um genaue Empfehlungen zu generieren.
Durch die Verwendung von Transformers können Empfehlungssysteme komplexe Beziehungen zwischen Benutzern und Elementen modellieren. Die Architektur erfasst feine Nuancen in den Daten und ermöglicht eine präzisere Bewertung der Relevanz von Empfehlungen. Darüber hinaus ermöglicht sie eine effektive Nutzung von sequenziellen Daten, wie beispielsweise die Reihenfolge der Objekte, die ein Benutzer betrachtet hat, was z.B. für Musikplaylisten eine wichtige Rolle spielt.
Darüber hinaus bietet die Transformers-Architektur Flexibilität bei der Integration verschiedener Merkmale und Informationen. Sie ermöglicht die Kombination von strukturierten und unstrukturierten Daten, wie z. B. Benutzerprofile, Artikelattribute, Textbeschreibungen oder Bildinformationen. Dies eröffnet neue Möglichkeiten für personalisierte Empfehlungen und ermöglicht eine umfassende Erfassung der Nutzerinteressen.
Insgesamt spielt die Transformers-Architektur eine bedeutende Rolle in der Weiterentwicklung von Empfehlungssystemen. Sie ermöglicht eine verbesserte Modellierung von Beziehungen, eine präzisere Vorhersage von Nutzerpräferenzen und eine effiziente Verarbeitung großer Datensätze. Die Integration dieser Architektur in Empfehlungssysteme trägt dazu bei, personalisierte und relevante Empfehlungen für Benutzer zu liefern.
Es versteht sich von selbst, dass Technologien wie Recommender Systems, die eine zentrale Rolle in unserem Alltag spielen und mitunter entscheiden, welche Informationen wir auf Sozialen Medien zu Gesicht bekommen und welche eben auch nicht, von Regierungen erst verstanden und dann reguliert werden müssen. Auch wenn Deutschland und Europa bei Algorithmen und Modellen oftmals hinterherhinken, sind sie, wenn es um das Thema Gesetzgebung und Regulierung von KI-Anwendungen geht, oftmals ganz vorne mit dabei. So hat die Europäische Union eine neue Regulierungsbehörde namens European Centre for Algorithmic Transparency (ECAT) geschaffen, die Einblicke in die Algorithmen von sozialen Medien und Suchmaschinen ermöglichen soll. ECAT wird die Funktionsweise von "Black Box" -Algorithmen untersuchen, potenzielle Risiken analysieren und Maßnahmen zur Bekämpfung von illegalem Inhalt, Verletzungen der Menschenrechte und Schädigung demokratischer Prozesse oder der Benutzergesundheit evaluieren. Die Behörde wird auch die langfristigen sozialen Auswirkungen von Algorithmen untersuchen und Maßnahmen zur Verbesserung ihrer Verantwortlichkeit und Transparenz vorschlagen. ECAT möchte zudem als Wissens- und Best-Practice-Hub für Forscher aus verschiedenen Bereichen fungieren. Diese Initiative ist Teil der Bemühungen der EU, KI zu regulieren und kann weitreichende positive Auswirkungen über die Grenzen der Union hinaus haben.
Quellen:
Empfehlungssysteme sind Anwendungen, die üblicherweise in Webshops integriert werden und den Verkauf unterstützen. Sie bieten Nutzern personalisierte Empfehlungen für Produkte und Dienstleistungen, die ihren Interessen entsprechen und die sie bisher noch nicht erworben haben. Empfehlungssysteme sind nicht nur auf den Verkauf von Produkten beschränkt, sondern haben auch in anderen Bereichen Relevanz. So werden sie in Bereichen wie Streaming-Plattformen, Nachrichtenportalen, sozialen Medien, Reiseplanung, Musikempfehlungen, Jobvermittlung und vielen anderen eingesetzt.
Um sich die Bedeutung von Empfehlungssystemen vor Augen zu führen, reicht es aus, sich der Rolle von Empfehlungen auf der YouTube-Plattform bewusst zu werden. Ohne die bekannten Empfehlungen auf der Startseite bzw. auf der rechten Seitenleiste ist diese Plattform, die neben Google zu den beliebtesten Webseiten der Welt gehört, kaum vorstellbar. YouTube-Empfehlungen spielen als Schlüsseltechnologie eine entscheidende Rolle, um Benutzer auf der Plattform zu halten, die Benutzererfahrung zu verbessern, die Entdeckung neuer Inhalte zu erleichtern und personalisierte Werbung bereitzustellen.
Empfehlungssysteme gehören daher zu den bedeutendsten Technologien des World Wide Web und werden seit den Anfängen des Webs eingesetzt. Sie werden auch als "Recommender Systems" bezeichnet und spielen eine maßgebliche Rolle bei der Personalisierung des per se zustandslosen Webs.
In den 1990er Jahren wurden bedeutende Fortschritte im Bereich des Kollaborativen Filterns erzielt, insbesondere in Bezug auf die Empfehlung von Nachrichten, Musikalben und Filmen. Das Prinzip des Kollaborativen Filterns besteht darin, Ähnlichkeiten zwischen Nutzern zu identifizieren und auf dieser Grundlage Empfehlungen zu generieren. Das Ziel ist es, Nutzern Produkte oder Inhalte vorzuschlagen, die von ähnlich gesinnten Personen positiv bewertet wurden.
Das Tapisserie-System (Goldberg et al., 1992), entwickelt am Xerox Palo Alto Research Center, war eines der ersten Systeme, das die Idee und Terminologie des Kollaborativen Filterns vorstellte. Es wurde ursprünglich als E-Mail-System konzipiert, um Nachrichten von Mailinglisten zu filtern und den Benutzern nur relevante Informationen zuzusenden. Diese frühe Anwendung des Kollaborativen Filterns legte den Grundstein für die spätere Entwicklung von Empfehlungssystemen.
Das GroupLens Projekt xrn (Resnick et al., 1994) an der University of Minnesota trug zur Weiterentwicklung des Kollaborativen Filterns bei. Das xrn-System von GroupLens ermöglicht das Filtern von Usenet-Nachrichten, um Benutzern relevante Nachrichten basierend auf den Interessen und Vorlieben anderer Benutzer zu empfehlen. Das Projekt legte den Fokus auf die Einbindung sozialer Interaktionen und nutzte das Feedback der Gemeinschaft, um personalisierte Empfehlungen zu verbessern.
Das Ringo System (Shardanand und Maes, 1995), entwickelt am Massachusetts Institute of Technology (MIT), war eines der ersten Systeme, das das Kollaborative Filtern zur Empfehlung von Musikalben und Künstlern einsetzte. Es ermöglichte den Benutzern, ihre musikalischen Vorlieben anzugeben und basierend auf den Präferenzen anderer Benutzer passende Empfehlungen zu erhalten. Das Ringo-System trug dazu bei, das Kollaborative Filtern auf den Bereich der Musikempfehlungen auszuweiten.
Das Bellcore Videoempfehlungssystem (Hill et al., 1995) fführte das Kollaborative Filtern in den Bereich der Filmempfehlungen ein. Es ermöglichte den Benutzern, ihre Vorlieben für Filme anzugeben und erzeugte Empfehlungen basierend auf den Bewertungen und Präferenzen anderer Benutzer. Das System legte den Grundstein für die Anwendung des Kollaborativen Filterns im Bereich der Filmbewertungen und Empfehlungen.
Diese Systeme zeigten, wie die Nutzung von Benutzerfeedback und sozialen Interaktionen zur Generierung personalisierter Empfehlungen genutzt werden kann. Diese Erkenntnisse haben das Verständnis und die Entwicklung von Empfehlungssystemen maßgeblich beeinflusst und sind auch heute noch relevant.
Die Entwicklung der Empfehlungssysteme verlief über die Jahre hinweg in verschiedenen Etappen. Im März 1996 fand der erste Collaborative Filtering Workshop in Berkeley statt, bei dem sich die Community erstmals versammelte. Am Ende dieses Treffens bestand Konsens darüber, dass alle Lösungsansätze ein größeres gemeinsames Problem ansprechen: Empfehlungssysteme.
Im März 1997 wurde eine Sonderausgabe der Communications of the ACM zu diesem Thema veröffentlicht, herausgegeben von Resnick und Varian. Diese Publikation verdeutlicht die wachsende Bedeutung von Empfehlungssystemen in der Forschung und der Industrie.
Mitte der 1990er Jahren entstanden auch erste erfolgreiche Ausgründungen aus akademischen Kreisen. Eine Gruppe von MIT gründete Agents, Inc., das später in Firefly Networks umbenannt wurde. Die GroupLens-Gruppe, ebenfalls aus dem Jahr 1996, gründete Net Perceptions.
1999 führte Amazon seine eigene Recommendation Engine ein, bei der Kundenempfehlungen basierend auf dem Verhalten anderer Kunden angezeigt wurden. Dieser Ansatz, bekannt als "Kunden, die dieses Produkt gekauft haben, kauften auch...", war ein Meilenstein für personalisierte Empfehlungen im E-Commerce.
Nach dem Platzen der Dotcom-Blase in den Jahren 2000-2005 verschwanden viele der damaligen Unternehmen, aber die Technologie der Empfehlungssysteme blieb erhalten und entwickelte sich weiter. Die Industrie sah sich neuen Herausforderungen gegenüber. Es wurde klar, dass akkurate Vorhersagen allein nicht ausreichen. Empfehlungen müssen sinnvoll und skalierbar sein, ohne die bestehende Webseite zu verlangsamen.
Im Jahr 2006 rief Netflix den Netflix-Preis aus, der mit einer Million US-Dollar dotiert war. Das Ziel war es, die Vorhersagegenauigkeit des Netflix-Algorithmus um 10% zu verbessern. Der Netflix-Preis führte zu Synergieeffekten und zog neue Akteure aus verschiedenen Disziplinen wie Information Retrieval und Data Mining an, die sich verstärkt dem Feld der Empfehlungssysteme zuwandten.
Im Jahr 2007 fand die erste ACM Recommender Systems Konferenz statt, bei der 120 Teilnehmer zusammenkamen. Dies unterstrich die wachsende Bedeutung und den wissenschaftlichen Charakter des Forschungsfeldes der Empfehlungssysteme. Die ACM RecSys-Konferenz ist bis heute die wichtigste Konferenz auf diesem Forschungsgebiet.
In den letzten Jahren wurden immer mehr Arbeiten publiziert, die Deep Learning (künstliche neuronale Netze mit vielen Schichten) für Empfehlungssysteme einsetzen. Als Teil des maschinellen Lernens ermöglicht Deep Learning die automatische Extraktion von relevanten Merkmalen und Mustern aus unterschiedlichen Benutzersignalen, die für personalisierte Empfehlungen entscheidend sind. In Anspielung auf Marc Andreessen’s bekanntem Zitat „Software is eating the world“, sagte Nvidia CEO Jensen Huang: “Software is eating the world, but AI is going to eat software”. Dabei bezog er sich mit AI auf den Einsatz von Deep Learning, das sich seit dem ImageNet-Wettbewerb im Jahre 2013 sukzessiv gegenüber allen anderen Maschinellen Lernverfahren durchgesetzt hat. Diese bahnbrechende Entwicklung wurde maßgeblich durch die Leistungsfähigkeit von Grafikkarten (GPUs) ermöglicht.
Und heute im Jahre 2023 kann man mit Gewissheit sagen: „Transformers are eating Deep Learning”. Auch die am schnellsten wachsende Anwendung der Welt - ChatGPT von OpenAI – nutzt diese bahnbrechende Architektur.
Ein Schlüsselelement der Transformers-Architektur ist die Aufmerksamkeitsmechanismus, der es dem Modell ermöglicht, sich auf relevante Informationen zu konzentrieren und diese gezielt zu gewichten. Dies ist besonders nützlich für Empfehlungssysteme, da Benutzerinteraktionen, Artikelmerkmale und andere kontextuelle Informationen berücksichtigt werden müssen, um genaue Empfehlungen zu generieren.
Durch die Verwendung von Transformers können Empfehlungssysteme komplexe Beziehungen zwischen Benutzern und Elementen modellieren. Die Architektur erfasst feine Nuancen in den Daten und ermöglicht eine präzisere Bewertung der Relevanz von Empfehlungen. Darüber hinaus ermöglicht sie eine effektive Nutzung von sequenziellen Daten, wie beispielsweise die Reihenfolge der Objekte, die ein Benutzer betrachtet hat, was z.B. für Musikplaylisten eine wichtige Rolle spielt.
Darüber hinaus bietet die Transformers-Architektur Flexibilität bei der Integration verschiedener Merkmale und Informationen. Sie ermöglicht die Kombination von strukturierten und unstrukturierten Daten, wie z. B. Benutzerprofile, Artikelattribute, Textbeschreibungen oder Bildinformationen. Dies eröffnet neue Möglichkeiten für personalisierte Empfehlungen und ermöglicht eine umfassende Erfassung der Nutzerinteressen.
Insgesamt spielt die Transformers-Architektur eine bedeutende Rolle in der Weiterentwicklung von Empfehlungssystemen. Sie ermöglicht eine verbesserte Modellierung von Beziehungen, eine präzisere Vorhersage von Nutzerpräferenzen und eine effiziente Verarbeitung großer Datensätze. Die Integration dieser Architektur in Empfehlungssysteme trägt dazu bei, personalisierte und relevante Empfehlungen für Benutzer zu liefern.
Es versteht sich von selbst, dass Technologien wie Recommender Systems, die eine zentrale Rolle in unserem Alltag spielen und mitunter entscheiden, welche Informationen wir auf Sozialen Medien zu Gesicht bekommen und welche eben auch nicht, von Regierungen erst verstanden und dann reguliert werden müssen. Auch wenn Deutschland und Europa bei Algorithmen und Modellen oftmals hinterherhinken, sind sie, wenn es um das Thema Gesetzgebung und Regulierung von KI-Anwendungen geht, oftmals ganz vorne mit dabei. So hat die Europäische Union eine neue Regulierungsbehörde namens European Centre for Algorithmic Transparency (ECAT) geschaffen, die Einblicke in die Algorithmen von sozialen Medien und Suchmaschinen ermöglichen soll. ECAT wird die Funktionsweise von "Black Box" -Algorithmen untersuchen, potenzielle Risiken analysieren und Maßnahmen zur Bekämpfung von illegalem Inhalt, Verletzungen der Menschenrechte und Schädigung demokratischer Prozesse oder der Benutzergesundheit evaluieren. Die Behörde wird auch die langfristigen sozialen Auswirkungen von Algorithmen untersuchen und Maßnahmen zur Verbesserung ihrer Verantwortlichkeit und Transparenz vorschlagen. ECAT möchte zudem als Wissens- und Best-Practice-Hub für Forscher aus verschiedenen Bereichen fungieren. Diese Initiative ist Teil der Bemühungen der EU, KI zu regulieren und kann weitreichende positive Auswirkungen über die Grenzen der Union hinaus haben.
Quellen:
Read next
Convince yourself and redefine your success with little effort and resources for maximum results.
Dein Partner bei der Neudefinition des E-Commerce, der KI für hyper-personalisierte Online-Erlebnisse und überlegene Produktfindung einsetzt.
