Para processar terabytes de logs de notas fiscais eletrônicas, o
TCE-SC utiliza um cluster Apache Spark. O Auditor nota que o
processamento está lento devido ao excesso de movimentação
de dados entre os nós da rede durante operações de
agrupamento.
A operação do Spark conhecida por causar esse fenômeno de Shuffle e que deve ser utilizada com cautela em grandes datasets é:
A operação do Spark conhecida por causar esse fenômeno de Shuffle e que deve ser utilizada com cautela em grandes datasets é:
