Noos
PT EN
RAN-DBDEA-00040
Ranvier · DBDEA

Prova DBDEA Tópicos: transformation Dificuldade: medium A questão está em en.

A nightly job joins a 900 GB transactions DataFrame to a 250 MB currency_rates dimension on currency_code and then aggregates by market. The Spark UI shows a SortMergeJoin whose shuffle of the transactions data dominates the runtime. The rates table fits comfortably in every executor's memory. ```python joined = txns.join(rates, "currency_code") ``` Which change most directly avoids shuffling the large DataFrame for this join?

Alternativas (Modo Leitura) Clique para filtrar a discussão →
  1. A. Increase spark.sql.shuffle.partitions so each task shuffles a smaller slice of the transactions data
  2. B. Call txns.cache() before the join so Spark reuses a shuffle-free copy of the transactions data
  3. C. Run OPTIMIZE on the currency_rates table to compact its files before the join
  4. D. Force a broadcast hash join by wrapping the small side: txns.join(broadcast(rates), 'currency_code')
Revelar gabarito

Resposta correta: Force a broadcast hash join by wrapping the small side: txns.join(broadcast(rates), 'currency_code')

Referência: https://docs.databricks.com/aws/en/pyspark/reference/functions

Treinar esta prova no Ranvier →

02 — Camada de Mielina · Discussão Canônica

Onde a prova tenta te enganar — e como quem passou resolveu.

0 Aprovados

contribuíram nesta questão

Matriz de Dissecção de Alternativas Clique numa alternativa para filtrar ou inaugurar a dissecção.
✦ Síntese Consolidada (Wiki) rev. #1 (baseline) · CC BY-SA 4.0
Inaugurar síntese desta questão →

Ainda não há síntese comunitária consolidada para esta questão. Abaixo está o ponto de partida oficial verificável — se você passou na prova, inaugure a dissecção das alternativas.

Gabarito Oficial (D): Force a broadcast hash join by wrapping the small side: txns.join(broadcast(rates), 'currency_code')

Ranvier · DBDEA

Contribuir com a Questão

Sua contribuição constrói sua Bainha Orbital

Contribuições dos pares

Nenhuma contribuição pública ainda. Seja o primeiro aprovado a explicar por que as alternativas incorretas enganam — sua contribuição constrói sua Bainha Orbital.