Creare un'istanza privata con il peering VPC

Questa pagina descrive come creare un'istanza Cloud Data Fusion con un indirizzo IP interno. Crea l'istanza in una rete VPC o in una rete VPC condiviso.

Un'istanza privata di Cloud Data Fusion offre i seguenti vantaggi:

• Le connessioni all'istanza vengono stabilite tramite una rete VPC privata nel tuo progetto Google Cloud . Il traffico sulla rete non passa attraverso la rete internet pubblica.

• L'istanza può connettersi alle tue risorse on-premise, ad esempio ai database relazionali, perché la tua rete on-premise si connette alla rete VPC privataGoogle Cloud tramite Cloud VPN o Cloud Interconnect. Puoi accedere in modo sicuro alle tue risorse on-premise, come i database, tramite la rete privata senza aprire l'accesso a Google Cloud.

Obiettivi

• Configura la rete VPC o la rete VPC condiviso.
• Alloca un intervallo IP che verrà utilizzato per il deployment dell'istanza Cloud Data Fusion nel progetto tenant.
• Crea l'istanza privata di Cloud Data Fusion.
• Configura il peering di rete VPC tra il VPC che contiene l'istanza Cloud Data Fusion e il VPC che contiene il progetto tenant associato.
• Per le reti VPC condiviso, configura le autorizzazioni Identity and Access Management (IAM).
• Se la tua istanza privata utilizza Cloud Data Fusion versione 6.2.0 o precedente, crea una regola firewall.
• Consenti a diversi servizi Google Cloud di comunicare internamente tra loro attivando l'accesso privato Google sulla subnet Managed Service for Apache Spark.

Prima di iniziare

• Per informazioni sull'architettura di deployment di Cloud Data Fusion, consulta la sezione Networking.

Configura la rete VPC

Se non l'hai ancora fatto, crea una rete VPC o una rete VPC condiviso.

Per configurare la tua rete VPC, devi allocare un intervallo di indirizzi IP.

Alloca un intervallo IP

Crea un'istanza privata

Crea l'istanza privata di Cloud Data Fusion in una rete VPC o in una rete VPC condiviso.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Configurazione del peering di rete VPC

I servizi Cloud Data Fusion che utilizzi nel tuo ambiente di progettazione (ad esempio Wrangler, Connection Manager e Schema Validation) avviano connessioni di rete dal VPC del progetto tenant ai sistemi di origine. Cloud Data Fusion utilizza il peering di rete VPC per stabilire la connettività di rete al VPC o al VPC condiviso che contiene l'istanza. Il peering di rete VPC consente a Cloud Data Fusion di accedere alle risorse nella tua rete tramite indirizzi IP interni utilizzando il tuo VPC e i relativi controlli. Per connetterti a una risorsa in un'altra rete, consulta i passaggi per i casi d'uso della connessione.

La sezione seguente descrive come creare una configurazione di peering tra la tua rete e la rete del progetto tenant Cloud Data Fusion.

Recupera l'ID progetto tenant

Per creare una configurazione di peering, devi disporre dell'ID progetto tenant.

1. Vai alla pagina Istanze di Cloud Data Fusion.

   Vai a Istanze

2. Nella colonna Nome istanza, seleziona l'istanza.

3. Nella pagina Dettagli istanza, copia l'ID progetto tenant, che è obbligatorio quando crei una connessione di peering nei passaggi successivi.

Crea una connessione in peering

1. Vai alla pagina Peering di rete VPC.

   Vai al peering di rete VPC.

2. Fai clic su Crea connessione > Continua.

3. Nella pagina Crea connessione in peering che si apre, segui questi passaggi:

   1. Inserisci un Nome per la connessione di peering.
   2. Per La tua rete VPC, seleziona la rete che contiene la tua istanza Cloud Data Fusion.
   3. Per Rete VPC in peering, seleziona In un altro progetto.
   4. In ID progetto, inserisci l'ID progetto tenant che hai trovato in precedenza in questo tutorial.

   5. Per Nome rete VPC, seleziona una rete o inserisci INSTANCE_REGION-INSTANCE_ID.

      Sostituisci quanto segue:

      • INSTANCE_REGION: la regione in cui hai creato l'istanza Cloud Data Fusion.
      • INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion.

   6. Seleziona la versione del protocollo internet per la connessione in peering per scambiare le route IPv4 e IPv6 tra la tua rete VPC e la rete VPC in peering. Per saperne di più, consulta Peering di rete VPC.

   7. Seleziona Esporta route personalizzate in modo che le route personalizzate possano essere esportate dalla tua rete VPC alla rete VPC tenant.

   8. Scegli se consentire l'importazione o l'esportazione di route di subnet con IPv4 pubblico nella tua rete VPC.

   9. Fai clic su Crea.

   Il peering di rete VPC diventa attivo poco dopo la sua creazione.

Configurare le autorizzazioni IAM

Crea una regola firewall

Crea una regola firewall sulla tua rete VPC che consenta le connessioni SSH in entrata dall'intervallo IP specificato quando hai creato l'istanza Cloud Data Fusion privata.

Questo passaggio è obbligatorio per le versioni di Cloud Data Fusion precedenti alla 6.2.0. Consente la comunicazione tra Cloud Data Fusion e i cluster Managed Service for Apache Spark che eseguono pipeline.

Puoi creare la regola firewall utilizzando la console Google Cloud o gcloud CLI.

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Passaggi per i casi d'uso della connessione

Le sezioni seguenti descrivono i casi d'uso relativi alla connessione per le istanze private.

Abilita l'accesso privato Google

Per accedere alle risorse tramite indirizzi IP interni, Cloud Data Fusion deve creare i cluster Managed Service for Apache Spark ed eseguire le pipeline di dati in una subnet con accesso privato Google. Devi attivare l'accesso privato Google per la subnet che contiene i cluster Managed Service for Apache Spark.

• Se nella regione in cui vengono avviati i cluster Managed Service for Apache Spark è presente una sola subnet, il cluster viene avviato in quella subnet.

• Se in una regione sono presenti più subnet, devi configurare Cloud Data Fusion in modo che selezioni la subnet con accesso privato Google per l'avvio dei cluster Managed Service for Apache Spark.

Per abilitare l'accesso privato Google per la subnet, consulta la sezione Configurazione dell'accesso privato Google.

(Facoltativo) Connettiti ad altre fonti

Dopo aver creato un'istanza privata in Cloud Data Fusion, puoi connetterti ad altre origini, ad esempio i seguenti casi d'uso:

• Sistemi e database on-premise in esecuzione in altre reti VPC
• Altri servizi Google Cloud in esecuzione nella propria rete in modalità privata, ad esempio Cloud SQL
• Fonti su internet pubblico

(Facoltativo) Attiva peering DNS

Attiva il peering DNS nei seguenti casi:

• Quando Cloud Data Fusion si connette ai sistemi tramite nomi host e non indirizzi IP
• Quando il sistema di destinazione viene implementato dietro un bilanciatore del carico, come in alcuni deployment SAP

Passaggi successivi

• Scopri di più sui concetti di sicurezza in Cloud Data Fusion.
• Scopri di più su come connettersi alle risorse in reti esterne.
• Scopri altri concetti e funzionalità chiave di Cloud Data Fusion.
• Consulta i prezzi di Cloud Data Fusion.