Noos
PT EN
RAN-DBDEA-00274
Ranvier · DBDEA

Prova DBDEA Tópicos: troubleshooting Dificuldade: medium A questão está em en.

A PySpark job reads a large Delta table that was written as many small files. The read stage schedules over 4,000 tasks that each finish in a fraction of a second, and most of the stage time goes to scheduling overhead. Which setting controls how much data each read task processes, so the small files can be packed into fewer tasks?

Alternativas (Modo Leitura) Clique para filtrar a discussão →
  1. A. `spark.sql.files.maxPartitionBytes`, which however only influences the size of the files written by the job's outputs
  2. B. The cluster's core count, because input splits are derived solely from the number of worker nodes and no tunable target size exists
  3. C. The split target, which must never be raised, because larger tasks always degrade reads in every workload
  4. D. `spark.sql.files.maxPartitionBytes`, which sets how many bytes are packed into a single read partition (128 MB by default)
Revelar gabarito

Resposta correta: `spark.sql.files.maxPartitionBytes`, which sets how many bytes are packed into a single read partition (128 MB by default)

Referência: https://docs.databricks.com/aws/en/optimizations/spark-ui-guide/

02 — Camada de Mielina · Discussão Canônica

Onde a prova tenta te enganar — e como quem passou resolveu.

0 Aprovados

contribuíram nesta questão

Matriz de Dissecção de Alternativas Clique numa alternativa para filtrar ou inaugurar a dissecção.
✦ Síntese Consolidada (Wiki) rev. #1 (baseline) · CC BY-SA 4.0
Inaugurar síntese desta questão →

Ainda não há síntese comunitária consolidada para esta questão. Abaixo está o ponto de partida oficial verificável — se você passou na prova, inaugure a dissecção das alternativas.

Gabarito Oficial (D): `spark.sql.files.maxPartitionBytes`, which sets how many bytes are packed into a single read partition (128 MB by default)

Ranvier · DBDEA

Contribuir com a Questão

Sua contribuição constrói sua Bainha Orbital

Contribuições dos pares

Nenhuma contribuição pública ainda. Seja o primeiro aprovado a explicar por que as alternativas incorretas enganam — sua contribuição constrói sua Bainha Orbital.