Bonnes pratiques pour ajuster les index ScaNN

Sélectionnez une version de la documentation :

Cette page fournit des recommandations sur la façon d'ajuster les paramètres d'index AlloyDB Omni pour un équilibre optimal entre le rappel et les RPS. Les paramètres recommandés pour l'index Scalable Nearest Neighbor (ScaNN) varient selon que vous choisissez de créer un index arborescent à deux ou trois niveaux.

Création d'un index ScaNN

Pour en savoir plus, consultez la documentation de référence sur l'index ScaNN.

Index arborescent à deux niveaux

Pour appliquer des recommandations qui vous aideront à trouver les valeurs optimales de num_leaves et num_leaves_to_search pour votre ensemble de données, procédez comme suit :

  1. Pour créer l'index ScaNN optimisé pour les cas suivants, définissez le paramètre num_leaves sur la valeur suivante, où "rows" correspond au nombre de lignes de la table indexée :
    • Équilibrer la durée de la compilation et la qualité de l'index : définissez num_leaves sur sqrt(rows).
    • Qualité : définissez num_leaves sur rows/100.
  2. Exécutez vos requêtes de test en augmentant la valeur de scann.num_of_leaves_to_search jusqu'à atteindre la plage de rappel cible (par exemple, 95 %). Pour en savoir plus sur l'analyse de vos requêtes, consultez Analyser vos requêtes.
  3. Notez le rapport entre scann.num_leaves_to_search et num_leaves qui sera utilisé lors des étapes suivantes. Ce rapport fournit une approximation autour de l'ensemble de données qui vous aidera à atteindre votre rappel cible.

    Si vous utilisez des vecteurs de haute dimension (500 dimensions ou plus) et que vous souhaitez améliorer le rappel, essayez d'ajuster la valeur de scann.pre_reordering_num_neighbors. La valeur par défaut est définie sur la valeur 500 * K, où K correspond à la limite que vous avez définie dans votre requête.
  4. Si vos RPS sont trop faibles une fois que vos requêtes ont atteint un rappel cible, procédez comme suit :
    1. Recréez l'index en augmentant la valeur de num_leaves et scann.num_leaves_to_search en suivant les conseils ci-dessous :
      • Définissez num_leaves sur un facteur plus important de la racine carrée du nombre de lignes. Par exemple, si l'index a num_leaves défini sur la racine carrée du nombre de lignes, essayez de le définir sur le double de la racine carrée. Si la valeur est déjà double, essayez de la définir sur le triple de la racine carrée.
      • Augmentez scann.num_leaves_to_search si nécessaire pour maintenir son rapport avec num_leaves, que vous avez noté à l'étape 3.
      • Définissez num_leaves sur une valeur inférieure ou égale au nombre de lignes divisé par 100.
    2. Exécutez à nouveau les requêtes de test. Pendant que vous exécutez les requêtes de test, essayez de réduire scann.num_leaves_to_search pour trouver une valeur qui augmente les RPS tout en conservant un rappel élevé. Essayez différentes valeurs de scann.num_leaves_to_search sans recréer l'index.
  5. Répétez l'étape 4 jusqu'à ce que les RPS et la plage de rappel aient atteint des valeurs acceptables.

Index arborescent à trois niveaux

En plus des recommandations concernant l'index ScaNN arborescent à deux niveaux, suivez les conseils ci-dessous.

Pour appliquer des recommandations qui vous aideront à trouver la valeur optimale des paramètres d'index num_leaves et max_num_levels, procédez comme suit :

  1. Créez l'index ScaNN avec les combinaisons num_leaves et max_num_levels suivantes en fonction de vos objectifs de performances :

    • Équilibrer la durée de la compilation et la qualité de l'index : définissez max_num_levels sur 2 et num_leaves sur power(rows, ⅔).
    • Optimiser la qualité : définissez max_num_levels sur 2 et num_leaves sur rows/100.

  2. Exécutez vos requêtes de test. Pour en savoir plus sur l'analyse des requêtes, consultez Analyser vos requêtes.

  3. Notez le rapport entre scann.num_leaves_to_search et num_leaves qui sera utilisé lors des étapes suivantes. Ce rapport fournit une approximation autour de l'ensemble de données qui vous aidera à atteindre votre rappel cible.

Si vous utilisez des vecteurs de haute dimension (500 dimensions ou plus) et que vous souhaitez améliorer le rappel, essayez d'ajuster la valeur de scann.pre_reordering_num_neighbors. La valeur par défaut est définie sur la valeur 500 * K, où K correspond à la limite que vous avez définie dans votre requête.

  1. Si vos RPS sont trop faibles une fois que vos requêtes ont atteint un rappel cible, procédez comme suit :

    • Recréez l'index en augmentant la valeur de num_leaves et scann.num_leaves_to_search en suivant les conseils ci-dessous :
    • Définissez num_leaves sur un facteur plus important de power(rows, ⅔). Par exemple, si l'index a num_leaves défini sur power(rows, ⅔), essayez de le définir sur le double de power(rows, ⅔). Si la valeur est déjà double, essayez de la définir sur le triple de power(rows, ⅔).
    • Augmentez scann.num_leaves_to_search si nécessaire pour maintenir son rapport avec num_leaves, que vous avez noté à l'étape 3.
    • Définissez num_leaves sur une valeur inférieure ou égale à rows/100.
    • Exécutez à nouveau les requêtes de test. Pendant que vous exécutez les requêtes de test, essayez de réduire scann.num_leaves_to_search pour trouver une valeur qui augmente les RPS tout en conservant un rappel élevé. Essayez différentes valeurs de scann.num_leaves_to_search sans recréer l'index.

  2. Répétez l'étape 4 jusqu'à ce que les RPS et la plage de rappel aient atteint des valeurs acceptables.

Maintenance des index

Si votre table est sujette à des mises à jour ou des insertions fréquentes, nous vous recommandons de réindexer régulièrement l'index ScaNN existant afin d'améliorer la précision du rappel. Vous pouvez surveiller les métriques d'index pour afficher les modifications apportées aux distributions de vecteurs ou aux mutations de vecteurs depuis la création de l'index, puis le réindexer en conséquence. Pour en savoir plus sur les métriques, consultez Métriques d'index vectoriel.

Étape suivante