העברת משימות של צינורות עיבוד לפרויקט אחר ב-Google Cloud

משימה נפוצה שאולי תצטרכו לבצע היא העברה של משימת Dataflow מGoogle Cloud פרויקט אחד לאחר. לדוגמה, יכול להיות שתרצו להעביר משרות מסביבת בדיקה לסביבת ייצור. משימות Dataflow קשורות לפרויקט שבו הן נוצרו, ואי אפשר להעביר אותן ישירות לפרויקט אחר. כדי להעביר עבודה, צריך להפסיק את העבודה בפרויקט הישן וליצור אותה מחדש בפרויקט החדש.

כדי להעביר משימה, צריך לבצע את הפעולות הבאות:

  1. עוצרים או מרוקנים את העבודה בפרויקט הישן.
  2. יוצרים מחדש את המשימה בפרויקט החדש. לדוגמה, אפשר להשתמש באותו קוד של צינור עיבוד הנתונים, באותה תבנית ובאותה הגדרה.
  3. מוודאים שכל ההרשאות, חשבונות השירות והמשאבים הדרושים מוגדרים בצורה נכונה בפרויקט החדש כדי שהעבודה תוכל לגשת אליהם. הם כוללים:
    • הרשאות: מוודאים שלמשתמש או לחשבון השירות שמריצים את צינור העיבוד יש את התפקידים הנדרשים בניהול זהויות וגישה (IAM) בפרויקט החדש, כמו roles/dataflow.admin ו-roles/dataflow.worker.
    • חשבונות שירות: חשבון השירות של העובד (worker) ב-Dataflow יהיה שונה בפרויקט החדש. מוודאים שלחשבון השירות החדש יש גישה לכל המשאבים שהצינור צריך, כמו קטגוריות של Cloud Storage, מערכי נתונים ב-BigQuery ונושאי Pub/Sub.
    • משאבים: אם הצינור משתמש במשאבים כמו קטגוריות של Cloud Storage, מערכי נתונים של BigQuery או נושאים של Pub/Sub, צריך לוודא שהם קיימים בפרויקט החדש או שאפשר לגשת אליהם מהפרויקט החדש. יכול להיות שתצטרכו ליצור משאבים חדשים או להעניק הרשאות בין פרויקטים.
    • ‫VPC Service Controls: אם אתם משתמשים ב-VPC Service Controls, ודאו שהפרויקט החדש הוא חלק מאותו גבול גזרה לשירות, או שהגדרתם את הגשרים הנדרשים כדי לאפשר גישה למשאבים הנדרשים.

כשיוצרים מחדש את המשימה, היא מתחילה כמשימה חדשה ולא שומרת את המצב של המשימה הקודמת.

כדי להימנע מקידוד קשיח של פרמטרים ספציפיים לפרויקט, כמו מזהה הפרויקט, צריך להשתמש באפשרויות של צינורות כדי להעביר את הערכים האלה לצינור.

מידע נוסף על ההרשאות והאבטחה של משימות Dataflow זמין במאמר אבטחה והרשאות ב-Dataflow.

המאמרים הבאים