Membuat instance pribadi dengan Private Service Connect

Halaman ini menjelaskan cara mengonfigurasi Private Service Connect di Cloud Data Fusion.

Tentang Private Service Connect di Cloud Data Fusion

Instance Cloud Data Fusion mungkin perlu terhubung ke resource yang berada di lokal, di Google Cloud, atau di penyedia cloud lainnya. Saat menggunakan Cloud Data Fusion dengan alamat IP internal, koneksi ke resource eksternal dibuat melalui jaringan Virtual Private Cloud (VPC) di Google Cloud project Anda. Traffic melalui jaringan tidak melalui internet publik. Saat Cloud Data Fusion diberi akses ke jaringan VPC Anda menggunakan peering VPC, ada batasan yang akan terlihat saat Anda menggunakan jaringan skala besar.

Dengan antarmuka Private Service Connect, Cloud Data Fusion terhubung ke VPC Anda tanpa menggunakan peering VPC. Antarmuka Private Service Connect adalah jenis Private Service Connect yang menyediakan cara bagi Cloud Data Fusion untuk memulai koneksi pribadi dan aman ke jaringan VPC konsumen. Hal ini tidak hanya memberikan fleksibilitas dan kemudahan akses (seperti peering VPC), tetapi juga memberikan otorisasi eksplisit dan kontrol sisi konsumen yang ditawarkan Private Service Connect.

Diagram berikut menunjukkan cara antarmuka Private Service Connect di-deploy di Cloud Data Fusion:

Gambar 1. Deployment antarmuka Private Service Connect

Deskripsi Gambar 1:

• Virtual machine (VM) yang menjalankan Cloud Data Fusion dihosting di project tenant milik Google. Untuk mengakses resource di VPC pelanggan, VM Cloud Data Fusion menggunakan alamat IP yang ditetapkan oleh antarmuka jaringan Private Service Connect, dari subnet pelanggan. Subnet ini ditambahkan ke lampiran jaringan yang digunakan oleh Cloud Data Fusion.

• Paket IP yang berasal dari antarmuka Private Service Connect diperlakukan sama dengan paket IP dari VM di subnet yang sama. Konfigurasi ini memungkinkan Cloud Data Fusion mengakses resource secara langsung di VPC pelanggan atau VPC peer tanpa memerlukan proxy.

• Resource internet dapat diakses saat Cloud NAT diaktifkan di VPC pelanggan, sedangkan resource lokal dapat dijangkau melalui interkoneksi.

• Untuk mengelola ingress atau egress dari Private Service Connect, Anda dapat menerapkan aturan firewall.

Manfaat utama

Berikut adalah manfaat utama menggunakan Cloud Data Fusion dengan Private Service Connect:

• Kontrol ruang IP yang lebih baik. Anda mengontrol alamat IP yang digunakan Cloud Data Fusion untuk terhubung ke jaringan Anda. Anda memilih subnet tempat alamat IP dialokasikan ke Cloud Data Fusion. Semua traffic dari Cloud Data Fusion memiliki alamat IP sumber dari subnet yang Anda konfigurasi.

  Private Service Connect menghilangkan kebutuhan akan alamat IP yang dicadangkan dari VPC pelanggan. Peering VPC memerlukan blok CIDR /22 (1024 alamat IP) per instance Cloud Data Fusion.

• Keamanan dan isolasi yang ditingkatkan. Dengan mengonfigurasi lampiran jaringan, Anda mengontrol layanan mana yang dapat mengakses jaringan Anda.

• Penyiapan instance Cloud Data Fusion yang disederhanakan. Buat lampiran jaringan per VPC pelanggan hanya sekali. Tidak perlu menggunakan VM proxy untuk terhubung ke resource di internet, VPC peer, atau lokal.

Konsep utama

Bagian ini menjelaskan konsep yang terkait dengan Private Service Connect di Cloud Data Fusion.

Lampiran jaringan

Lampiran jaringan adalah resource regional yang digunakan untuk mengotorisasi Cloud Data Fusion agar dapat menggunakan dan membuat koneksi jaringan secara pribadi, untuk mengakses resource di VPC Anda. Untuk mengetahui informasi selengkapnya, lihat Tentang lampiran jaringan.

VPC Bersama

Berikut adalah kasus penggunaan untuk antarmuka Private Service Connect dengan VPC Bersama:

• Tim jaringan atau infrastruktur memiliki subnet di project host. Mereka mengizinkan tim aplikasi menggunakan subnet ini dari project layanan mereka.

• Tim aplikasi memiliki lampiran jaringan di project layanan. Lampiran jaringan menentukan project tenant Cloud Data Fusion mana yang dapat terhubung ke subnet yang ditautkan ke lampiran jaringan.

Anda dapat membuat lampiran jaringan di project layanan. Subnet yang digunakan dalam lampiran jaringan hanya dapat berada di project host.

Diagram berikut menggambarkan kasus penggunaan ini:

Gambar 2. Kasus penggunaan untuk antarmuka Private Service Connect dengan VPC Bersama

Deskripsi Gambar 2:

• Lampiran jaringan ada di project layanan. Lampiran jaringan menggunakan subnet yang termasuk dalam VPC Bersama di project host.

• Instance Cloud Data Fusion ada di project layanan, dan menggunakan lampiran jaringan dari project layanan untuk membuat konektivitas pribadi.

• Instance Cloud Data Fusion diberi alamat IP dari subnet di VPC Bersama.

Sebelum memulai

• Private Service Connect hanya tersedia di Cloud Data Fusion versi 6.10.0 dan yang lebih baru.

• Anda hanya dapat mengaktifkan Private Service Connect saat membuat instance Cloud Data Fusion baru. Anda tidak dapat memigrasikan instance yang ada untuk menggunakan Private Service Connect.

Harga

Ingress dan egress data melalui Private Service Connect dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat Harga Private Service Connect.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat instance Cloud Data Fusion dan lampiran jaringan, minta administrator Anda untuk memberi Anda peran Identity and Access Management (IAM) berikut di project Anda:

• Membuat instance Cloud Data Fusion: Admin Cloud Data Fusion (roles/datafusion.admin)
• Membuat, melihat, dan menghapus lampiran jaringan: Admin Jaringan Compute (roles/compute.networkAdmin)

Untuk memastikan bahwa Cloud Data Fusion memiliki izin yang diperlukan untuk memvalidasi konfigurasi jaringan, minta administrator Anda untuk memberi agen layanan Cloud Data Fusion (dengan format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) peran IAM berikut di project Anda:

• Untuk VPC yang terkait dengan lampiran jaringan: Penampil Jaringan Compute (roles/compute.networkViewer)

• Agar Cloud Data Fusion dapat menambahkan project tenant-nya ke daftar penerima produsen lampiran jaringan:

  • compute.networkAttachments.get
  • compute.networkAttachments.update
  • compute.networkAttachments.list

  Peran yang paling ketat dengan izin ini adalah peran Admin Jaringan Compute (roles/compute.networkAdmin). Izin ini adalah bagian dari peran Agen Layanan Cloud Data Fusion API (roles/datafusion.serviceAgent), yang secara otomatis diberikan kepada agen layanan Cloud Data Fusion. Oleh karena itu, tidak ada tindakan yang diperlukan kecuali jika pemberian peran agen layanan telah dihapus secara eksplisit.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang opsi kontrol akses di Cloud Data Fusion, lihat Kontrol akses dengan IAM.

Membuat jaringan VPC atau VPC Bersama

Pastikan Anda telah membuat jaringan VPC atau jaringan VPC Bersama.

Mengonfigurasi Private Service Connect

Untuk mengonfigurasi Private Service Connect di Cloud Data Fusion, Anda harus membuat lampiran jaringan terlebih dahulu, lalu membuat instance Cloud Data Fusion dengan Private Service Connect.

Membuat lampiran jaringan

Lampiran jaringan menyediakan sekumpulan subnetwork. Untuk membuat lampiran jaringan, ikuti langkah-langkah berikut:

Membuat instance Cloud Data Fusion

Cloud Data Fusion menggunakan blok CIDR /25 (128 IP) untuk resource di project tenant. Hal ini disebut rentang yang tidak dapat dijangkau atau dicadangkan. Anda dapat menggunakan alamat IP yang sama di VPC, tetapi VM Cloud Data Fusion tidak akan dapat terhubung dengan resource Anda menggunakan rentang ini.

Dalam sebagian besar kasus, hal ini bukan masalah, karena blok CIDR yang tidak dapat dijangkau berada dalam rentang non-RFC 1918 (240.0.0.0/8), secara default. Jika Anda ingin mengontrol rentang yang tidak dapat dijangkau, lihat Konfigurasi lanjutan.

Untuk membuat instance Cloud Data Fusion dengan Private Service Connect yang diaktifkan, ikuti langkah-langkah berikut:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "networkAttachment": "$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Konfigurasi lanjutan

Untuk mengaktifkan berbagi subnet, Anda dapat memberikan lampiran jaringan yang sama ke beberapa instance Cloud Data Fusion. Sebaliknya, jika Anda ingin mendedikasikan subnet untuk instance Cloud Data Fusion tertentu, Anda harus memberikan lampiran jaringan tertentu, yang akan digunakan oleh instance Cloud Data Fusion.

Direkomendasikan: Untuk menerapkan kebijakan firewall yang seragam ke semua instance Cloud Data Fusion, gunakan lampiran jaringan yang sama.

Jika Anda ingin mengontrol blok CIDR /25 yang tidak dapat dijangkau oleh Cloud Data Fusion, tentukan properti unreachableCidrBlock saat Anda membuat instance. Contoh:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "unreachableCidrBlock": "$UNREACHABLE_RANGE",
      "networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ganti kode berikut:

• EDITION: edisi Cloud Data Fusion— BASIC, DEVELOPER, atau ENTERPRISE.
• PROJECT_ID: ID project Anda.
• REGION: nama the Google Cloud region. Region ini harus sama dengan instance Cloud Data Fusion.
• INSTANCE_ID: ID instance Anda.
• NETWORK_ATTACHMENT_ID: ID lampiran jaringan Anda.
• UNREACHABLE_RANGE: rentang yang tidak dapat dijangkau—misalnya, 10.0.0.0/25.

Keamanan

Bagian ini menjelaskan keamanan antara Cloud Data Fusion dan konsumen.

Keamanan Cloud Data Fusion ke konsumen

Antarmuka Private Service Connect mendukung aturan firewall egress untuk mengontrol apa yang dapat diakses Cloud Data Fusion dalam VPC Anda. Untuk mengetahui informasi selengkapnya, lihat Membatasi ingress produsen ke konsumen.

Keamanan konsumen ke Cloud Data Fusion

VM Cloud Data Fusion dengan antarmuka Private Service Connect memblokir traffic apa pun yang berasal dari VPC Anda dan bukan paket respons.

Langkah-langkah untuk kasus penggunaan koneksi

Bagian berikut menjelaskan kasus penggunaan terkait koneksi untuk instance pribadi.

Mengaktifkan Akses Google Pribadi

Untuk mengakses resource melalui alamat IP internal, Cloud Data Fusion harus membuat cluster Managed Service untuk Apache Spark dan menjalankan pipeline data di subnet yang memiliki Akses Google Pribadi. Anda harus mengaktifkan Akses Google Pribadi untuk subnet yang berisi cluster Managed Service untuk Apache Spark.

• Jika hanya ada satu subnet di region tempat cluster Managed Service untuk Apache Spark diluncurkan, cluster akan diluncurkan di subnet tersebut.

• Jika ada beberapa subnet di suatu region, Anda harus mengonfigurasi Cloud Data Fusion untuk memilih subnet dengan Akses Google Pribadi untuk meluncurkan cluster Managed Service untuk Apache Spark.

Untuk mengaktifkan Akses Google Pribadi untuk subnet, lihat Konfigurasi Akses Google Pribadi.

Opsional: Mengaktifkan Peering DNS

Aktifkan Peering DNS dalam kasus berikut:

• Saat Cloud Data Fusion terhubung ke sistem melalui nama host, bukan alamat IP
• Saat sistem target di-deploy di belakang load balancer, seperti yang terjadi di beberapa deployment SAP