שיפור הביצועים של מסד הנתונים באמצעות מטמון בדיסק

בחירת גרסה של מאמר העזרה:

בדף הזה מוסבר איך להקצות, להגדיר ולהשתמש בשמירת נתונים במטמון בדיסק ב-AlloyDB Omni כדי לשפר את הביצועים של ההתקנה של AlloyDB Omni.

בנוסף למאגרי הנתונים המשותפים הרגילים בזיכרון של PostgreSQL, מטמון הדיסק של AlloyDB Omni מאפשר לאחסן מאגרי נתונים באחסון מהיר כמו כונני SSD. שמירת נתונים במטמון בדיסק מאיצה את אחזור הנתונים בהתקנות של AlloyDB Omni עם ספריות נתונים שממוקמות באחסון איטי יותר.

בדומה למאגרי נתונים משותפים של PostgreSQL, המטמון בדיסק של AlloyDB Omni הוא לא קבוע, כלומר הנתונים שנשמרו במטמון אובדים בהפעלה מחדש.

כברירת מחדל, מטמון הדיסק של AlloyDB Omni משתמש בכל האחסון שמדווח על ידי מערכת הקבצים. אפשר להגדיר את נפח האחסון ששמור לשמירת נתונים במטמון באמצעות הפרמטר omni_disk_cache_file_size.

הפעלת מטמון דיסק ב-AlloyDB Omni

השלבים להפעלת מטמון דיסק ב-AlloyDB Omni משתנים בהתאם לאופן שבו מריצים את AlloyDB Omni – בקונטיינר או באשכול Kubernetes.

הקצאת דיסקים ויצירת מערכת קבצים

במקרה של מטמון דיסק ב-AlloyDB Omni, יוצרים מערכת קבצים בדיסק אחד או בכמה דיסקים ומעלים אותה בתוך קונטיינר עם AlloyDB Omni. בנוסף, אפשר להשתמש בכלי עזר כמו mdadm או lvm כדי לאגד את הקיבולת באמצעות כמה דיסקים ולהשתמש בכל מערכת קבצים.

השלבים הבאים מדגימים שימוש בפקודות lvm ו-ext4 במכונת Ubuntu ב-Compute Engine באמצעות כונני NVMe SSD.

  1. כדי ליצור קבוצת עוצמת קול מכל המכשירים הפיזיים הזמינים:

      nvme_prefix="STORAGE_PREFIX"
      nvme_list=$(ls "$nvme_prefix"*)
      sudo vgcreate VOLUME_GROUP ${nvme_list}

    מחליפים את מה שכתוב בשדות הבאים:

    • STORAGE_PREFIX: הקידומת של הנתיב של הדיסקים המקומיים של היעד שמצורפים למכונה וירטואלית באמצעות ממשק NVMe (זיכרון לא נדיף) – לדוגמה, ב- Google Cloud, הנתיבים של מכשירי NVMe תמיד מתחילים ב-/dev/nvme0n.
    • VOLUME_GROUP: השם של קבוצת נפחים שבה משולבים כונני ה-SSD שלכם, לדוגמה, omni-disk-cache-volume.
  2. כדי ליצור נפח לוגי מהקיבולת הפנויה של קבוצת הנפחים מהשלב הקודם, משתמשים בפקודה הבאה:

      sudo lvcreate -n LOGICAL_VOLUME -l 100%FREE VOLUME_GROUP

    מחליפים את LOGICAL_VOLUME בשם של נפח לוגי שמערכת LVM מתייחסת אליו כמחיצה – לדוגמה, omni_disk_cache_device.

  3. יוצרים את מערכת הקבצים ext4 בווליום הלוגי. אם צריך, אפשר לציין אפשרויות אחרות של ext4 בהתאם לאבטחת הנתונים.
      sudo mkfs.ext4 /dev/VOLUME_GROUP/LOGICAL_VOLUME
  4. כדי ליצור ספרייה שתשמש כנקודת טעינה במחשב המארח ולטעון את מערכת הקבצים, משתמשים בפקודה הבאה:

      sudo mkdir /OMNI_DISK_CACHE_DIRECTORY
      sudo mount /dev/VOLUME_GROUP/LOGICAL_VOLUME /OMNI_DISK_CACHE_DIRECTORY

    מחליפים את OMNI_DISK_CACHE_DIRECTORY בשם של הספרייה או בנתיב לספרייה שמשמשת כנקודת צירוף – לדוגמה, omni_disk_cache_directory.

טעינת ספריית מטמון בתוך AlloyDB Omni

לפני שמפעילים את מטמון הדיסק ב-AlloyDB Omni שפועל בקונטיינר, צריך לטעון את ספריית המטמון בתוך AlloyDB Omni.

במאמר התאמה אישית של ההתקנה של AlloyDB Omni מוסבר איך להתקין את AlloyDB Omni מקובץ אימג' של Docker ואיך להתאים אותה אישית.

כדי לטעון את OMNI_DISK_CACHE_DIRECTORY בתוך קונטיינר Docker שבו פועל AlloyDB Omni, משתמשים בפקודה הבאה:

Docker

      sudo docker run --name CONTAINER_NAME \
        -e POSTGRES_PASSWORD=PASSWORD \
        -e PGDATA=/var/lib/postgresql/data/pgdata \
        -v DATA_DIR:/var/lib/postgresql/data \
        -v /OMNI_DISK_CACHE_DIRECTORY:/CACHE_DIRECTORY_PATH_INSIDE_CONTAINER \
        -d google/alloydbomni
      

מחליפים את מה שכתוב בשדות הבאים:

  • CONTAINER_NAME: השם שיוקצה למאגר החדש של AlloyDB Omni, לדוגמה my-omni.
  • PASSWORD: הסיסמה של מנהל הבסיס של מסד הנתונים של PostgreSQL.
  • DATA_DIR: הנתיב במערכת הקבצים שרוצים ש-AlloyDB Omni ישתמש בו לספריית הנתונים שלו.
  • CACHE_DIRECTORY_PATH_INSIDE_CONTAINER: ספריית המטמון בתוך מאגר AlloyDB Omni שממופה לנקודת הטעינה במחשב המארח – לדוגמה, בהתאם לערך של ספריית המטמון בתוך המאגר, /omni_disk_cache_directory, בדומה ל-OMNI_DISK_CACHE_DIRECTORY, או /disk/cache/inside/container.

Podman

      podman run --name CONTAINER_NAME \
        -e POSTGRES_PASSWORD=PASSWORD \
        -e PGDATA=/var/lib/postgresql/data/pgdata \
        -v DATA_DIR:/var/lib/postgresql/data \
        -v /OMNI_DISK_CACHE_DIRECTORY:/CACHE_DIRECTORY_PATH_INSIDE_CONTAINER \
        -d docker.io/google/alloydbomni
      

מחליפים את מה שכתוב בשדות הבאים:

  • CONTAINER_NAME: השם שיוקצה למאגר החדש של AlloyDB Omni, לדוגמה my-omni.
  • PASSWORD: הסיסמה של מנהל הבסיס של מסד הנתונים של PostgreSQL.
  • CACHE_DIRECTORY_PATH_INSIDE_CONTAINER: ספריית המטמון בתוך מאגר AlloyDB Omni שממופה לנקודת הטעינה במחשב המארח – לדוגמה, בהתאם לערך של ספריית המטמון בתוך המאגר, /omni_disk_cache_directory, בדומה ל-OMNI_DISK_CACHE_DIRECTORY, או /disk/cache/inside/container.

כדי להעניק הרשאות גישה מלאות ל-OMNI_DISK_CACHE_DIRECTORY שנטען, משתמשים בפקודות הבאות:

Docker

  sudo docker exec -it CONTAINER_NAME chown postgres:postgres /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  sudo docker exec -it CONTAINER_NAME chmod -R a+rw  /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER

Podman

  sudo podman exec -it CONTAINER_NAME chown postgres:postgres /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  sudo podman exec -it CONTAINER_NAME chmod -R a+rw  /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER

הפעלת מטמון דיסק ב-AlloyDB Omni ל-AlloyDB Omni שפועל בקונטיינר

כדי להפעיל את מטמון הדיסק של AlloyDB Omni עבור מסד הנתונים, צריך להגדיר את הפרמטרים המתאימים של Grand Unified Configuration ‏ (GUC) אחרי שמוודאים שאפשר לגשת לספריית המטמון שנטענה מתוך קובץ ה-Docker.

  1. כדי להתחבר למסד הנתונים של AlloyDB Omni שמופעל בקונטיינר כמשתמש על, משתמשים בפקודה הבאה:

    Docker

          sudo docker exec -it CONTAINER_NAME psql -h localhost -U postgres
          

    Podman

          sudo podman exec -it CONTAINER_NAME psql -h localhost -U postgres
          
  2. כדי להגדיר את ערך הפרמטרים, משתמשים בפקודות הבאות במסד הנתונים של AlloyDB Omni:

            alter system set omni_disk_cache_enabled=on;
            alter system set omni_disk_cache_directory='/CACHE_DIRECTORY_PATH_INSIDE_CONTAINER';
          
  3. כברירת מחדל, AlloyDB Omni משתמש בכל השטח שזמין במערכת הקבצים. אם צריך, אפשר לשנות את ערך ברירת המחדל באמצעות הפרמטר omni_disk_cache_file_size.

          alter system set omni_disk_cache_file_size=SIZE_IN_MB;
          
  4. כדי שהשינוי בפרמטרים של הגדרת ה-caching ייכנס לתוקף, צריך להפעיל מחדש את הקונטיינר הפועל עם AlloyDB Omni:

    Docker

          sudo docker restart CONTAINER_NAME
          

    Podman

          sudo podman restart CONTAINER_NAME
          

אימות ההגדרה של מטמון הדיסק

אחרי שמפעילים את מטמון הדיסק ב-AlloyDB Omni, צריך לוודא שיש גישה למטמון הדיסק. לשם כך, אפשר לעקוב אחרי פעולות קריאה וכתיבה בדיסקים באמצעות כלי עזר זמינים כמו iotop או iostat.

בנוסף, אפשר לבדוק אם מטמון הדיסק של AlloyDB Omni פתוח.

כדי לאמת את הגדרת מטמון הדיסק ב-AlloyDB Omni, משתמשים בפקודה הבאה.

Docker

sudo docker logs CONTAINER_NAME 2>&1 | grep "opened omni disk cache"

Podman

sudo podman logs CONTAINER_NAME 2>&1 | grep "opened omni disk cache"

אם השמירה במטמון של הדיסק מוגדרת בצורה נכונה, ההודעה Successfully opened omni disk cache ... מוצגת ביומנים.

המאמרים הבאים