Filtrar


Questões por página:
Um pipeline de dados do TCE-SC processa bilhões de registros de notas fiscais usando Spark SQL. O Auditor nota um problema de desbalanceamento de dados no qual um único executor demora muito mais que os outros para completar uma operação de Join, pois uma chave específica possui muito mais registros que as demais.
A seguinte técnica avançada de otimização no Spark 3.x permite ao motor de execução identificar esse desequilíbrio em tempo de execução e dividir a partição sobrecarregada em subtarefas menores: 
Para processar terabytes de logs de notas fiscais eletrônicas, o TCE-SC utiliza um cluster Apache Spark. O Auditor nota que o processamento está lento devido ao excesso de movimentação de dados entre os nós da rede durante operações de agrupamento.
A operação do Spark conhecida por causar esse fenômeno de Shuffle e que deve ser utilizada com cautela em grandes datasets é:
Um Auditor do TCE-SC está analisando uma base de dados de pagamentos governamentais para identificar possíveis duplicidades. Ele precisa criar uma consulta que retorne apenas os pagamentos cujo valor seja superior à média de pagamentos daquele mesmo órgão no mês correspondente.
Para realizar essa análise de forma otimizada, legível, utilizando o SQL Server (T-SQL), o recurso de linguagem, entre os apresentados a seguir, mais indicado para isolar a lógica da média por órgão antes da consulta principal, é 
Em bancos de dados distribuídos, o Sharding é utilizado para distribuir dados entre múltiplos nós, visando escalabilidade horizontal e melhor desempenho. A respeito do Sharding, assinale a alternativa correta: 
Em sistemas distribuídos que executam transações envolvendo múltiplos nós, a garantia de atomicidade é frequentemente obtida por meio do protocolo Two-Phase Commit, no qual um coordenador interage com participantes por meio de duas fases distintas: prepare (voting) e commit/abort. O protocolo assume comunicação confiável e utiliza registros persistentes (logs) para permitir recuperação após falhas, mantendo consistência entre os participantes. Considerando as propriedades formais do protocolo 2PC, assinale a alternativa correta: