Configura un disco temporaneo per i job Cloud Run

Cloud Run fornisce un volume di disco temporaneo che persiste solo per la durata dell'istanza. Questa funzionalità ti consente di specificare la quantità di disco di cui hai bisogno e la posizione in cui montarlo. Cloud Run allocherà quindi questa quantità di disco alla tua risorsa.

I dischi vengono sottoposti automaticamente al provisioning, preformattati in ext4 e criptati con chiavi specifiche dell'istanza all'avvio. Il disco temporaneo crea il volume in modo che qualsiasi utente possa leggerlo o scriverlo. Poiché lo spazio di archiviazione è temporaneo, tutti i dati vengono eliminati definitivamente quando l'istanza viene arrestata. Sono inclusi gli arresti causati da:

• Arresti anomali dell'istanza
• Completamento dell'attività del job (con esito positivo o negativo)

I dischi sono dedicati a un'istanza specifica e non vengono condivisi tra le altre istanze. Hai il controllo sulla struttura del file system con un punto di montaggio configurabile per ogni volume.

Prima di arrestare un'istanza, Cloud Run invia un segnale SIGTERM a tutti i container di un'istanza, indicando l'inizio di un periodo di 10 secondi prima dell'arresto effettivo, dopodiché Cloud Run invia un segnale SIGKILL. Puoi utilizzare questa finestra di 10 secondi per eseguire operazioni di pulizia, ad esempio un ultimo round di copia dei contenuti del disco nello spazio di archiviazione permanente.

Casi d'uso

Puoi utilizzare il disco temporaneo per:

• Carichi di lavoro di elaborazione dei dati: quando elabori file di dati di grandi dimensioni in Cloud Run, in genere memorizzi l'intero file in memoria o orchestri la suddivisione in parti più piccole. Con lo spazio di archiviazione temporaneo, non dovrai pagare grandi quantità di memoria per creare una copia locale temporanea dei tuoi dati. Potrai anche elaborare set di dati più grandi.
• Memorizzazione nella cache: nei casi d'uso di pubblicazione web, la memorizzazione dei dati nella cache su disco anziché il recupero dallo spazio di archiviazione remoto può ottimizzare la latenza dell'applicazione.

Limiti di spazio di archiviazione e istanza

I limiti sono i seguenti:

• Limite di spazio di archiviazione dell'istanza: per impostazione predefinita, ogni istanza è limitata a 10 GB di spazio totale. Se necessario, richiedi un aumento della quota.
• Limite di volumi dell'istanza: ogni istanza è limitata a un massimo di 10 volumi.
• Limite del progetto: per impostazione predefinita, ogni progetto è limitato a 100 GB per regione. Se necessario, richiedi un aumento della quota.

Richiedi un aumento della quota

Ai progetti che utilizzano un disco temporaneo di Cloud Run in una regione per la prima volta vengono concessi automaticamente 10 GB per istanza, limite per regione e 100 GB per progetto, limite per regione.

Se hai bisogno di capacità aggiuntiva, devi richiedere un aumento della quota per il job Cloud Run. Utilizza i link forniti nei seguenti pulsanti per richiedere la quota di cui hai bisogno.

Per ulteriori informazioni sulla richiesta di aumenti di quota, consulta Come aumentare la quota.

Limitazioni

• Il disco temporaneo è disponibile solo nell'ambiente di esecuzione di seconda generazione. Per impostazione predefinita, i job Cloud Run utilizzano l'ambiente di esecuzione di seconda generazione.
• La migrazione live non è supportata. Ciò significa che i job Cloud Run saranno meno affidabili, soprattutto quelli a lunga esecuzione.

Percorsi non consentiti

Cloud Run non consente di montare un volume in /dev, /proc o /sys o nelle relative sottodirectory.

Aree geografiche supportate

La funzionalità del disco temporaneo è disponibile nelle seguenti regioni:

• Per i carichi di lavoro non GPU, il disco temporaneo è disponibile in:
  • asia-northeast1 (Tokyo)
  • europe-west1 (Belgio) Bassi livelli di CO₂
  • northamerica-northeast1 (Montreal) Bassi livelli di CO₂
  • northamerica-northeast2 (Toronto) Bassi livelli di CO₂
  • us-central1 (Iowa) Bassi livelli di CO₂
  • us-east1 (Carolina del Sud)
  • us-east4 (Virginia del Nord)
  • us-west1 (Oregon) Bassi livelli di CO₂
• Se utilizzi le GPU, il disco temporaneo è disponibile in tutte le regioni che le supportano.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Installa e inizializza gcloud CLI.
2. Aggiorna i componenti:

   gcloud components update

3. Consulta la pagina dei prezzi di Cloud Run per CPU, memoria e traffico di rete in uscita. Le dimensioni totali del disco di cui è stato eseguito il provisioning e la durata dell'istanza che lo utilizza contribuiscono al costo.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per configurare un disco temporaneo, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Sviluppatore Cloud Run (roles/run.developer) sul job Cloud Run
• Utente account di servizio (roles/iam.serviceAccountUser) sull'identità di servizio

Per un elenco di ruoli e autorizzazioni IAM associati a Cloud Run, consulta Ruoli IAM di Cloud Run e Autorizzazioni IAM di Cloud Run. Se il tuo job Cloud Run interagisce con Google Cloud le API, come le librerie client Cloud, consulta la guida alla configurazione dell'identità del servizio. Per saperne di più sulla concessione dei ruoli, consulta Autorizzazioni di deployment e Gestisci l'accesso.

Crea e monta un disco temporaneo

Puoi creare e montare un disco temporaneo utilizzando la Google Cloud console, Google Cloud CLI, YAML o Terraform:

gcloud beta run jobs update JOB \
    --add-volume=name=VOLUME_NAME,type=ephemeral-disk,size=SIZE \
    --add-volume-mount=volume=VOLUME_NAME,mount-path=MOUNT_PATH

  resource "google_cloud_run_v2_job" "default" {
    name     = "JOB"
    location = "REGION"
    deletion_protection = "true"
    launch_stage = "BETA"
    template {
      template {
        containers {
          image = "IMAGE_URL"
      volume_mounts {
        name = "VOLUME_NAME"
        mount_path = "MOUNT_PATH"
      }
        }
        volumes {
          name = "VOLUME_NAME"
      empty_dir {
        medium = "DISK"
        size_limit = "SIZE"
      }
        }
      }
    }
    lifecycle {
      ignore_changes = [
        launch_stage,
      ]
    }
  }

Lettura e scrittura in un volume

Se utilizzi la funzionalità di montaggio dei volumi di Cloud Run, puoi accedere a un volume montato utilizzando le stesse librerie del linguaggio di programmazione che utilizzi per leggere e scrivere file nel file system locale.

Questo è particolarmente utile se utilizzi un container esistente che prevede che i dati vengano archiviati nel file system locale e utilizza le normali operazioni del file system per accedervi.

I seguenti snippet presuppongono un montaggio del volume con un mountPath impostato su /mnt/my-volume.

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

f = open("/mnt/my-volume/sample-logfile.txt", "a")

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Cancella e rimuovi volumi e montaggi dei volumi

Puoi cancellare tutti i volumi e i montaggi oppure rimuovere singoli volumi e montaggi dei volumi.

Cancella tutti i volumi e i montaggi dei volumi

Per cancellare tutti i volumi e i montaggi dei volumi dal job a container singolo, esegui questo comando:

gcloud run jobs update JOB \
    --clear-volumes
    --clear-volume-mounts

Se hai più container, segui le convenzioni CLI dei sidecar per cancellare volumi e montaggi dei volumi:

gcloud run jobs update JOB \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container1 \
    --clear-volumes \
    -–clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    -–clear-volume-mounts

Rimuovi singoli volumi e montaggi dei volumi

Per rimuovere un volume, devi rimuovere anche tutti i montaggi dei volumi che lo utilizzano.

Per rimuovere singoli volumi o montaggi dei volumi, utilizza i remove-volume e remove-volume-mount flag:

gcloud run jobs update JOB \
    --remove-volume VOLUME_NAME
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH

Best practice

Segui queste best practice per gestire in modo efficace i dati temporanei e ottimizzare le prestazioni dello spazio di archiviazione.

Copia nello spazio di archiviazione permanente

Se intendi copiare i contenuti del disco temporaneo nello spazio di archiviazione permanente, ad esempio in un bucket Cloud Storage, ti consigliamo di eseguire la copia in modo incrementale, anziché affidarti al periodo di tolleranza di 10 secondi da SIGTERM a SIGKILL. Per ulteriori informazioni sugli arresti forzati, consulta Contratto di runtime del container.

Cloud Run può leggere e scrivere da Cloud Storage senza alcuna configurazione di rete aggiuntiva. Per ottenere prestazioni ottimali, ti consigliamo di instradare il traffico da e verso Cloud Storage tramite una rete VPC utilizzando il VPC diretto.

Questo metodo funziona se la risorsa Cloud Run non deve accedere a internet. Se hai bisogno dell'accesso a internet, configura Cloud NAT o consulta Traffico interno verso un'API Google.

Per configurare il traffico in uscita del VPC diretto con un job, completa i seguenti passaggi:

1. Nella Google Cloud console, vai alla pagina Cloud Run:

   Vai a Cloud Run

2. Se stai configurando un nuovo job, fai clic sulla scheda Job e seleziona Esegui il deployment del container. Compila la pagina delle impostazioni iniziali del job in base alle esigenze. Se stai configurando un job esistente, fai clic sul job, quindi fai clic su Visualizza e modifica la configurazione del job.

3. Fai clic su Container, connessioni, sicurezza per espandere la pagina delle proprietà del job.

4. Fai clic sulla scheda Connessioni.

5. Fai clic su Connetti a un VPC per il traffico in uscita.

6. Fai clic su Invia traffico direttamente a un VPC.

7. Nel campo Rete, seleziona la rete VPC a cui vuoi inviare il traffico.

8. Nel campo Subnet, seleziona la subnet da cui il job riceve gli indirizzi IP. Puoi eseguire più job sulla stessa subnet.

9. Per Routing del traffico, seleziona Instrada al VPC tutto il traffico per inviare tutto il traffico in uscita tramite la rete VPC.

10. Fai clic su Crea o Aggiorna.

11. Per verificare che il job si trovi nella rete VPC, fai clic sul job, quindi fai clic sulla scheda Configurazione. La rete e la subnet sono elencate nella scheda VPC.

12. Abilita l'accesso privato Google sulla subnet a cui ti sei connesso.

Risoluzione dei problemi