Noos
PT EN
RAN-DBDEA-00272
Ranvier · DBDEA

Prova DBDEA Tópicos: troubleshooting Dificuldade: hard A questão está em en.

A job joins a large events table with a small users table on `account_id`, and a handful of accounts hold most of the rows. The Spark UI shows one straggler task per run, and AQE skew handling never triggers because the oversized partition stays below both size thresholds. Which technique redistributes the hot key manually?

Alternativas (Modo Leitura) Clique para filtrar a discussão →
  1. A. Increase `spark.sql.shuffle.partitions` far above the current value, so that the single hot key's rows spread across many smaller tasks
  2. B. Broadcast the large events table to every executor, so each task joins its local slice against the users table
  3. C. Append a random salt value (0 to N) to `account_id`, replicate each users row across every salt, and join on the composite key
  4. D. Repartition the events table by `account_id` before the join, so all rows of each key are co-located in one partition
Revelar gabarito

Resposta correta: Append a random salt value (0 to N) to `account_id`, replicate each users row across every salt, and join on the composite key

Referência: https://docs.databricks.com/aws/en/optimizations/spark-ui-guide/long-spark-stage

02 — Camada de Mielina · Discussão Canônica

Onde a prova tenta te enganar — e como quem passou resolveu.

0 Aprovados

contribuíram nesta questão

Matriz de Dissecção de Alternativas Clique numa alternativa para filtrar ou inaugurar a dissecção.
✦ Síntese Consolidada (Wiki) rev. #1 (baseline) · CC BY-SA 4.0
Inaugurar síntese desta questão →

Ainda não há síntese comunitária consolidada para esta questão. Abaixo está o ponto de partida oficial verificável — se você passou na prova, inaugure a dissecção das alternativas.

Gabarito Oficial (C): Append a random salt value (0 to N) to `account_id`, replicate each users row across every salt, and join on the composite key

Contribuir com a Questão

Sua contribuição constrói sua Bainha Orbital

Contribuições dos pares

Nenhuma contribuição pública ainda. Seja o primeiro aprovado a explicar por que as alternativas incorretas enganam — sua contribuição constrói sua Bainha Orbital.