Resposta rápidapara remover linhas duplicadas de um CSV, primeiro tire os espaços nas pontas de cada célula e as linhas vazias, porque eles escondem repetições. Depois remova as linhas idênticas em todas as colunas, mantendo o cabeçalho. Se a repetição é só numa coluna, como o e-mail, decida qual linha manter antes. Para vários arquivos, aplique a mesma regra em lote.
A loja exporta a lista de clientes para a campanha. Metade da base recebe o e-mail duas vezes, alguns três. No outro dia, o estoque do sistema mostra 40 unidades de um produto que tem 20, porque a planilha de importação tinha a mesma linha repetida. Ninguém errou de propósito: duplicado nasce de exportação repetida, de cópia e cola entre planilhas e de integrações que mandam o mesmo registro duas vezes.
Saber remover linhas duplicadas de CSV é limpeza básica de dados. Mas antes de apertar qualquer botão, vale entender o que, exatamente, conta como duplicado.
O que conta como linha duplicada
"Duplicado" parece óbvio até você olhar a lista de perto. Existem três situações diferentes, e cada uma pede um tratamento:
| Tipo | Exemplo | É seguro remover automaticamente? |
|---|---|---|
| Linha idêntica | Mesmo nome, e-mail, cidade e telefone | Sim, nada se perde |
| Idêntica com diferença invisível | "Maria Silva" e "Maria Silva " (espaço no fim) | Sim, depois de tirar os espaços |
| Mesma chave, dados diferentes | Mesmo e-mail, telefones diferentes | Não, alguém precisa decidir qual manter |
A primeira e a segunda situações são mecânicas. A terceira é decisão de negócio: qual telefone está certo? O cadastro mais recente? O que tem mais campos preenchidos? Nenhuma ferramenta adivinha isso por você.
Os inimigos invisíveis
Muitos duplicados escapam da busca porque as linhas não são iguais de verdade, só parecem. Os culpados mais comuns:
- Espaços nas pontas:
"joao@email.com "é diferente de"joao@email.com"para o computador. - Maiúsculas e minúsculas:
Joao@Email.comejoao@email.comsão textos diferentes. - Codificação trocada: "São Paulo" salvo em UTF-8 e lido como Windows-1252 vira "São Paulo". Veja como corrigir CSV com acentos errados.
- Linhas vazias: exportações às vezes deixam linhas em branco no meio, que viram "duplicadas" entre si.
- Delimitador diferente: um arquivo com vírgula e outro com ponto e vírgula não se comparam linha a linha.
A ordem certa é sempre: padronizar primeiro, comparar depois.
Pasta Mágica
Limpe a lista antes de importar
Tire espaços nas pontas, linhas vazias e linhas duplicadas de vários CSVs de uma vez. O cabeçalho nunca é removido.
Como remover linhas duplicadas CSV a CSV: passo a passo
O roteiro abaixo funciona no Excel, no Google Planilhas ou numa ferramenta de lote. O que muda é quanto de clique cada etapa exige.
- Guarde uma cópia do original. Limpeza apaga linhas; você vai querer comparar depois.
- Confira a codificação e o delimitador. Se os acentos estão quebrados ou tudo aparece numa coluna, corrija isso primeiro.
- Tire os espaços nas pontas de todas as células.
- Remova as linhas totalmente vazias.
- Remova as linhas idênticas, mantendo a primeira ocorrência e o cabeçalho.
- Conte as linhas antes e depois. Uma queda muito grande merece uma olhada.
- Trate os duplicados por chave à parte, se houver, com critério definido.
No Excel, para um arquivo
O Excel tem o comando Dados > Remover Duplicatas, que permite escolher quais colunas comparar. A central de suporte da Microsoft explica o recurso em detalhe. Ele resolve bem um arquivo. O problema aparece quando são 15 exportações por semana, cada uma com a mesma rotina: abrir, importar com o delimitador certo, aparar espaços com fórmula, filtrar vazios, remover duplicatas, salvar de novo como CSV sem quebrar os acentos.
Duplicados por coluna-chave
Quando a regra é "um registro por e-mail", ordene a lista antes, colocando no topo a linha que deve sobreviver (a mais recente, por exemplo). Depois use a remoção de duplicatas marcando só a coluna de e-mail. A primeira ocorrência fica, as demais saem. Padronize maiúsculas e minúsculas da coluna-chave antes, ou Joao@ e joao@ vão escapar.
Um arquivo ou vários: o que muda
Limpar um CSV é tarefa de cinco minutos. Mas quem precisa remover linhas duplicadas CSV por CSV todo dia logo percebe que a rotina sai cara. Um exemplo comum em e-commerce: a loja recebe planilhas de três fornecedores toda semana e cada uma passa pela mesma limpeza antes da importação.
| Critério | Manual, arquivo por arquivo | Em lote, com regra fixa |
|---|---|---|
| Tempo por arquivo | Cerca de 5 a 10 minutos | Segundos de processamento |
| 15 arquivos por semana | Mais de 1 hora | Minutos, somando a configuração |
| Espaços e vazios | Fórmula ou filtro a cada vez | Mesma regra em todos |
| Acentos ao salvar | Risco a cada "Salvar como" | Codificação padronizada na saída |
| Duplicados entre arquivos | Exige juntar antes | Também exige juntar antes |
Um detalhe que vale para qualquer ferramenta: remover duplicados atua dentro de cada arquivo. Se a mesma linha está em dois CSVs diferentes, ela só some quando os dois são juntados num arquivo só antes da limpeza.
Quando o arquivo é grande demais
CSVs com centenas de milhares de linhas travam o Excel ou batem no limite de linhas da planilha. Segundo a documentação da Microsoft, uma planilha do Excel comporta até 1.048.576 linhas. Para arquivos maiores, ou para sistemas que só aceitam lotes menores, veja como dividir um CSV grande.
Depois da limpeza: conferir e entregar
Uma limpeza bem feita termina com conferência. Três checagens rápidas:
- Contagem: quantas linhas saíram? Se eram 2 mil e sobraram 200, algo está errado no arquivo de origem.
- Amostra: abra 10 linhas aleatórias e veja se os acentos e as colunas estão no lugar.
- Formato de saída: o sistema de destino espera vírgula ou ponto e vírgula? O guia de CSV com ponto e vírgula explica a diferença.
O formato CSV é descrito na RFC 4180, que define, por exemplo, como tratar aspas e quebras de linha dentro de uma célula. Ferramentas que seguem essa referência evitam o clássico problema da coluna que "anda" quando um endereço tem vírgula.
Se a lista for para alguém que vai abrir no Excel, converter o CSV limpo para XLSX evita que a pessoa refaça a importação e quebre os acentos de novo. E, para uma visão mais ampla de limpeza, vale ler limpeza de dados em planilha.
Perguntas frequentes
Na forma mais segura, duplicada é a linha com todas as colunas iguais a outra. Linhas que repetem só o e-mail ou só o código, mas diferem em outra coluna, são duplicadas por chave, e a decisão de qual manter precisa de critério humano.
Quase sempre por diferenças invisíveis: espaço no fim do texto, maiúsculas e minúsculas diferentes ou caracteres de codificação trocados. Tire os espaços nas pontas e padronize a codificação antes de procurar duplicados.
Não deveria. Ferramentas bem feitas tratam a primeira linha como cabeçalho e nunca a removem, mesmo que outra linha repita os mesmos nomes de coluna.
Sim. Ferramentas de processamento em lote aplicam a mesma limpeza a cada arquivo. Repare que cada arquivo é limpo separadamente; para tirar repetições entre arquivos diferentes, junte-os primeiro num CSV só.
Isso é deduplicação por coluna-chave. No Excel, use Dados > Remover Duplicatas e marque só a coluna de e-mail. Antes, ordene a lista para que a linha que você quer manter, como a mais recente, venha primeiro.
Como automatizar isso com a Pasta Mágica
A Pasta Mágica faz a limpeza mecânica, com regras fixas e sem IA mexendo nos seus dados. A decisão sobre duplicados por coluna-chave continua com você.
- Crie sua conta em pastamagica.com.br/cadastrar. Há uma cota grátis para testar com as suas exportações.
- Escolha Padronizar CSV. Ela detecta o delimitador, tira espaços nas pontas, remove linhas vazias e linhas idênticas, sem nunca apagar o cabeçalho. Se o arquivo chegar em Windows-1252, ela converte para UTF-8 e avisa no resultado.
- Ajuste as opções: delimitador de saída (vírgula, ponto e vírgula, tabulação ou barra vertical), remoção de colunas vazias e padronização dos nomes do cabeçalho. Para entregar em planilha, encadeie CSV para Excel.
- Solte os CSVs. Cada arquivo é conferido pelo conteúdo e limpo separadamente, e você vê quantas linhas foram removidas.
- Acompanhe arquivo por arquivo e baixe os resultados prontos para importar.
Cada automação tem custo fixo em créditos, mostrado antes de rodar. Se uma etapa falhar, a reserva volta sozinha. Os limites de cada plano estão na tabela de preços.
Pasta Mágica
Lista limpa antes de cada importação
Padronize, tire duplicados e converta para Excel num fluxo salvo. Você solta os CSVs; a pasta faz o resto.
