Die Vektorsuche für Amazon DynamoDB steht jetzt allgemein zur Verfügung, eine separate Vektordatenbank ist nicht mehr nötig. DynamoDB ist AWS’ serverlose NoSQL-Datenbank; bei einer Vektorsuche übersetzt ein ML-Modell Inhalte wie Produktbeschreibungen oder Dokumente in Zahlenvektoren, sogenannte Embeddings. So kann eine Anfrage nicht nur identische, sondern auch inhaltlich ähnliche Einträge in einer Datenbank finden.

Nur noch eine Datenbank nötig

Bislang mussten Nutzer von Amazon DynamoDB für solche semantischen Suchen allerdings eine eigene Vektordatenbank betreiben. Beide mussten Anwender außerdem miteinander synchronisieren. Dieser zusätzliche Betriebsaufwand fällt jetzt weg, operative Daten und Embeddings liegen am selben Ort. Praktisch ist das primär für Anwendungen, deren Daten ohnehin bereits in der Amazon DynamoDB liegen – für reine KI- und Recherche-Workloads kann eine spezialisierte Vektordatenbank die bessere Wahl bleiben.

Um das umzusetzen, führt AWS einen neuen Vektorindex-Typ ein, der auf einem Attribut mit Embeddings angelegt wird. Embeddings speichert die DynamoDB als Liste von Float-Werten im bereits vorhandenen Datentyp List. Entsprechend müssen sich Anwender nicht mit einem neuen Datentyp auseinandersetzen und auch keinen umfassenden Schemaumbau vornehmen. Embeddings lassen sich mit einem beliebigen Modell erzeugen. Allerdings müssen Entwickler beachten, dass sie den Anfragevektor mit demselben Embedding-Modell erzeugen, das auch die zu durchsuchenden Inhalte in Vektoren übersetzt hat.

Für die Abfrage ist die neue API SearchVectors vorgesehen: Entwickler übergeben einen Anfragevektor, legen die Anzahl der Treffer fest (maximal 100) und definieren optional Filterbedingungen. Anschließend sendet die DynamoDB die nach Ähnlichkeit sortierten Datensätze einschließlich weiterer Tabellenattribute zurück. Wie üblich bei Vektorsuchen setzt AWS auf eine ANN-Suche (Approximate Nearest Neighbor), die auf niedrige Latenzen und hohe Trefferraten optimiert ist, nicht auf mathematische Exaktheit.

Indexierung und Skalierung

Die Vektorindizes sollen laut AWS horizontal mit den Daten wachsen und keine Speichergrenzen haben. DynamoDB unterstützt Embeddings mit bis zu 4096 Dimensionen. Dabei stehen drei Distanzmaße zur Verfügung: Cosine ist für die semantische Textähnlichkeit üblich und vergleicht primär die Richtung der Vektoren. Euklidische Distanz bietet sich an, wenn auch der Abstand beziehungsweise die Größe der Werte relevant ist. Dot Product eignet sich für Empfehlungslogiken, in denen die Richtung und die Länge der Vektoren einfließen sollen.

Optional kann man beim Anlegen des Vektorindex Inline-Filterattribute definieren, zum Beispiel eine Produktkategorie. Die Suche lässt sich dann auf spezifische Werte dieser Attribute einschränken. Spezifisch, weil die Filter laut AWS ausschließlich exakte Wertevergleiche unterstützen – Bereichs- und Präfixabfragen sind nicht vorgesehen. Wer größere Datenmengen durchsuchen muss oder einen hohen Abfragedurchsatz hat, sollte im Vektorindex einen Partition Key hinterlegen. Anschließend ist jede Suche auf einen konkreten Partition-Key-Wert eingegrenzt.

Laut Ankündigung ist die neue Vektorsuche in allen kommerziellen AWS-Regionen verfügbar. Es handelt sich nicht um ein kostenpflichtiges Add-on, die Einsatzkosten hängen von den DynamoDB-Preiskomponenten und der Nutzung ab.

(fo)