Unser Blog nimmt sich den wichtigen Technologien und Grundprinzipien der Branche an. Den Anfang macht das Thema Maschinelles Lernen, ein Bereich mit starkem Wachstum, der auch die Entwicklung von Vektordatenbanken vorantreibt. Als Experten für Datenanalyse, -verarbeitung und Data Warehousing ist dieses Thema für uns besonders relevant.
Die Technologie bietet großes Potenzial, bringt aber auch Herausforderungen mit sich. Wir betrachten verschiedene Perspektiven und geben Leseempfehlungen für unterschiedliche Vorkenntnisse.
Warum Vektordatenbanken?
Vektordatenbanken bieten im Vergleich zu relationalen Datenbanken eine effizientere Verarbeitung multidimensionaler und unstrukturierter Daten wie Text, Sprache und Bilder. Die Arbeit mit Sprachmodellen beispielsweise erfordert die operative Verarbeitung umfangreicher Datensätze – Vektordatenbanken ermöglichen dies durch die Nutzung von Einbettungen (Vektordarstellungen).
Eine Einbettung ist ein Vektor, der als Zahlenarray dargestellt wird. Diese Vektoren befinden sich in einem mehrdimensionalen Raum und weisen zueinander bestimmte Abstände auf. Je höher beispielsweise die semantische Ähnlichkeit von Objekten (z. B. Dokumenten) ist, desto größer ist die Kosinusähnlichkeit ihrer Vektoren.
Dieser Ansatz ermöglicht eine verbesserte Suchqualität und Relevanz der Ergebnisse. Ohne Kontext neigen intelligente Systeme zu Halluzinationen, d. H. Sie geben falsche Informationen als wahr aus. Die Bereitstellung des notwendigen Kontexts ist eine Herausforderung, aber durch die Darstellung einer ausreichenden Menge von Dokumenten als Vektoren kann die semantische Suche relevantere Ergebnisse liefern.
Es überrascht daher nicht, dass große Anbieter von DBMS und Suchservern Tools für die Arbeit mit Vektoren anbieten. Elastic beispielsweise, unterstützt die Arbeit mit word2vec bereits seit längerem. Gleichzeitig entstehen neue Vektordatenbanken wie Pilze aus dem Boden. So wurde kürzlich das Open-Source-Projekt Epsilla mit einer multimodalen Datenbank-Suchfunktion veröffentlicht. Weitere Profillösungen sind Weaviate, Qdrant, Chroma, Vespa, Vald und Pinecone. Die Vielzahl an Vektordatenbanken lässt Experten den Markt für übersättigt erscheinen und sie warnen sogar vor der Markteinführung ähnlicher Produkte.
Trotz des wachsenden Interesses an Vektordatenbanken gibt es einige Herausforderungen, die im Zusammenhang mit ihrem Betrieb gelöst werden müssen. Die Suche nach nahen Vektoren für semantisch ähnliche Dokumente kann ressourcenintensiv sein. Die Anfrage muss in einen Vektor umgewandelt, seine Position im Verhältnis zu anderen Vektoren bestimmt und die nächstgelegenen ausgewählt werden. Je komplexer die Abfrage, desto mehr Ressourcen werden benötigt.
Eine weitere Herausforderung liegt in der Integration von Vektorlösungen und gängigen maschinellen Lernsystemen wie TensorFlow, PyTorch und Scikit-learn [PDF, S. 9]. Entwickler solcher Datenbanken stehen daher vor der Aufgabe, APIs zu entwerfen, die eine nahtlose Interaktion mit verschiedenen Bibliotheken ermöglichen.
Wie sehen die Prognosen für Vektordatenbanken aus?
Die Zukunft von Vektordatenbanken wird derzeit kontrovers diskutiert. Experten richten ihr Augenmerk insbesondere auf die Geschwindigkeit, mit der große DBMS-Anbieter entsprechende Funktionen implementieren. Professor Andrew Pavlo von der Carnegie-Mellon University hebt hervor, dass einige Anbieter bereits weniger als ein Jahr nach der bahnbrechenden Veröffentlichung von ChatGPT Erweiterungen für die Vektorsuche eingeführt haben. Dies steht in starkem Kontrast zur vergleichsweise langsamen Integration von JSON-Unterstützung in der Vergangenheit. NoSQL-Systeme mit nativer Speicherung dieses Dateityps tauchten zwar bereits Ende der 2000er Jahre auf (z. B. MongoDB, CouchDB), doch es dauerte mehrere Jahre, bis große Anbieter ähnliche Funktionen in relationale Datenbanken integrierten – PostgreSQL, Oracle und MySQL führten JSON-Unterstützung 2012, 2014 bzw. 2015 ein.
Professor Pavlo sieht zwei Gründe für die schnellere Verbreitung der Vektorsuche. Erstens besteht eine hohe Nachfrage nach semantischer Suche und Einbettungen im Bereich des maschinellen Lernens und der Textdatenanalyse, und Entwicklungsunternehmen streben danach, diese Nische zu füllen. Zweitens ist der technische Aufwand für die Implementierung der entsprechenden Funktionen relativ gering. Die meisten Anbieter haben ihre Lösungen nicht von Grund auf neu entwickelt, sondern auf Open-Source-Entwicklungen wie DiskANN und Faiss zurückgegriffen. Angesichts der rasanten Entwicklung in diesem Bereich besteht die Gefahr, dass neue Akteure auf dem Markt für spezialisierte Vektorlösungen dem Wettbewerb mit etablierten Anbietern nicht standhalten können. Diese Ansicht wird teilweise von einigen Nutzern von Hacker News geteilt, die den Hype um Vektor-DBMS für übertrieben halten und argumentieren, dass relationale DBMS bei richtiger Konfiguration ähnliche Aufgaben erfüllen können.
Weiterführende Literatur
Zum vertiefenden Studium des Themas Vektordatenbanken und verwandter Gebiete haben wir eine Auswahl an Publikationen zusammengestellt, die theoretische Grundlagen, praktische Einblicke und Anwendungsbeispiele bieten:
- Vector Databases and AI Applications For Dummies: Ein kurzer Leitfaden für Einsteiger von SingleStore, der in leicht verständlicher Sprache die Funktionsweise von Vektordatenbanken, ihre Architektur sowie die Prinzipien der Informationsspeicherung und -abfrage erläutert. Codebeispiele und weiterführende Materialien auf GitHub ergänzen den Text. Das Buch steht nach Ausfüllen eines Formulars kostenlos zum Download zur Verfügung.
- Foundations of Vector Retrieval: Diese Monografie von Sebastian Bruch, leitender Wissenschaftler bei Pinecone (einem Unternehmen, das ein proprietäres Vektor-DBMS entwickelt), systematisiert und festigt die wichtigsten Fortschritte in der Forschung zur Vektorsuche und macht das Gebiet für Forscher zugänglicher. Der Schwerpunkt liegt auf den theoretischen Aspekten der Disziplin, weshalb der Text mathematisch anspruchsvoll ist. Jedes Kapitel schließt mit einer Liste weiterführender Referenzen.
- Vector Search for Practitioners with Elastic: Ein praxisorientierter Leitfaden zur Entwicklung von Machine-Learning-Modellen mit Elastic. Das Unternehmen hat sich zwar offiziell vom russischen Markt zurückgezogen, seine Produkte sind aber weiterhin unter der Elastic-Lizenz und SSPL erhältlich. Das Buch stellt verschiedene Methoden zur Einrichtung eines LLM vor, einschließlich der Skalierung von Knoten, Konfigurationseinstellungen und Lasttests mit Rally und Python. Grundkenntnisse in Elasticsearch und Python werden vorausgesetzt.
- A Gentle Introduction to OpenSearch: Dieses kompakte Buch, das verschiedene Datenspeichertechnologien wie OpenSearch und S3 vorstellt, erzählt die Geschichte aus der Perspektive niedlicher Waldtiere. Eine Fuchsfamilie sucht nach neuen Wegen der Nahrungssuche, um ihren sich wandelnden Geschmacksvorlieben gerecht zu werden. Trotz der humorvollen Aufmachung und farbenfrohen Illustrationen eignet sich das Buch auch für Nicht-IT-Experten, die sich mit den Technologien und Grundkonzepten von OpenSearch vertraut machen möchten.
- Deep Learning for Search: Der Autor, Mitglied der Apache Software Foundation und Entwickler mehrerer Open-Source-Projekte in den Bereichen NLP, maschinelle Übersetzung (OpenNLP, Joshua, UIMA) und Information Retrieval (Lucene und Solr), konzentriert sich in diesem Buch auf Deep Learning, widmet aber auch einen Abschnitt dem Thema word2vec. Er beschreibt dessen Einsatzmöglichkeiten zur Erweiterung von Synonymdatenbanken im Kontext von LLMs und demonstriert die Möglichkeiten der Deeplearning4j-Bibliothek zum Trainieren von word2vec-Modellen. Leser loben die einfache Sprache des Buches und seinen Wert als Ideengeber für Datenanalysten.
- Learn Python Generative AI: Die Autoren dieses Buches sprechen über die Entwicklung generativer KI-Modelle und teilen ihre Erfahrungen mit deren Anwendung. Sie bieten eine Anleitung zur Entwicklung von Anwendungen mit Pinecone und fassen in den letzten Kapiteln ihre Erfahrungen aus dem Einsatz im Gesundheitswesen (Diagnostik) und Einzelhandel (Kundenservice) zusammen.