linie: 0 · znaki: 0
linie: 0 · znaki: 0 · usunięte: 0, pozostawione: 0, linie z duplikatami: 0
Usuwanie powtórzonych linii z zachowaniem kolejności
To narzędzie usuwa duplikaty linii z tekstu i zostawia każdą linię tylko raz, w pierwotnej kolejności. Wystarczy wkleić listę lub otworzyć plik, wybrać sposób porównywania linii i skopiować albo pobrać oczyszczony wynik.
Ostatnia aktualizacja:
Jak to działa
Wklej lub otwórz listę
Wystarczy wkleić linie, otworzyć plik .txt, .csv lub .log przyciskiem „Otwórz plik” albo wczytać go „Otwórz z adresu URL”.
Określ, co jest duplikatem
Wielkość liter może mieć znaczenie lub nie, spacje na końcach i wewnątrz linii można pominąć, a do wyboru jest pierwsze lub ostatnie wystąpienie.
Sprawdź i zapisz
Wynik zmienia się na bieżąco. Tabela pod nim pokazuje każdą usuniętą linię z jej numerem oraz najczęściej powtarzane linie z liczbą wystąpień.
Funkcje
Trzy sposoby usuwania powtórzeń
Duplikaty w dowolnym miejscu tekstu, tylko sąsiednie powtórzenia (jak polecenie uniq w Uniksie) albo wszystkie linie występujące więcej niż raz – wtedy zostają wyłącznie linie unikalne.
Pierwsze lub ostatnie wystąpienie
Zostawienie ostatniej kopii przydaje się w logach i plikach konfiguracyjnych, w których późniejsza linia nadpisuje wcześniejszą.
Porównywanie, któremu można ufać
Bez rozróżniania wielkości liter „Łódź” i „ŁÓDŹ” to ta sama linia (pełne case folding, także ß = ss). Normalizacja Unicode traktuje „ą” zapisane jednym znakiem i jako a z ogonkiem jako identyczne.
Puste linie po twojemu
Puste linie można deduplikować jak każde inne, zostawić wszystkie, aby zachować akapity, albo całkiem usunąć.
Limity i prywatność
Wklejony tekst i otwierane pliki mogą mieć do 200 MB. Tekst do 256 KB jest przetwarzany przy każdym naciśnięciu klawisza; dłuższy – w tle, w wątku roboczym, a pliki powyżej 8 MB są przetwarzane strumieniowo, bez wczytywania do edytora. Przy opcji „Ostatnie wystąpienie” lub „Usuń wszystkie kopie” cała lista jest przechowywana w pamięci.
Znaki końca linii (LF, CRLF lub CR) i końcowy podział wiersza pozostają bez zmian.
Nic nie jest wysyłane na serwer: tekst nie opuszcza przeglądarki. Więcej na stronie o prywatności.
Najczęstsze pytania
Jak usunąć powtarzające się linie z pliku tekstowego?
Wystarczy otworzyć plik lub wkleić jego zawartość. Duplikaty znikają od razu, a przycisk „Pobierz” zapisuje oczyszczony plik.
Czy kolejność linii się zmieni?
Nie. Linie zostają w pierwotnej kolejności, usuwane są tylko powtórzenia. Jeśli lista ma być też posortowana, lepiej użyć narzędzia „Sortowanie linii” z opcją „Usuń duplikaty”.
Jak usunąć duplikaty bez względu na wielkie i małe litery?
Wystarczy wyłączyć „Uwzględniaj wielkość liter”. Wtedy „Jabłko”, „jabłko” i „JABŁKO” liczą się jako jedna linia, a zachowana kopia pozostaje zapisana dokładnie tak, jak w tekście.
Dlaczego dwie identycznie wyglądające linie nie zostały usunięte?
Różnią się czymś niewidocznym: spacją na końcu, tabulatorem, twardą spacją albo innym zapisem polskiego znaku. Pomogą opcje dotyczące spacji i normalizacji lub wcześniejsze użycie narzędzia „Usuń zbędne spacje”.
Jak zostawić tylko linie, które się nie powtarzają?
W polu „Duplikaty” należy wybrać „Usuń wszystkie kopie (zostaw linie, które się nie powtarzają)”. Każda linia występująca dwa razy lub więcej znika całkowicie – to szybki sposób na znalezienie pozycji obecnych tylko w jednej z dwóch połączonych list.
Czy narzędzie poradzi sobie z plikiem z milionami linii?
Tak. Pliki do 200 MB są czytane w porcjach po 4 MB w wątku Web Worker, więc strona pozostaje responsywna. Wynik można pobrać jako plik, a na stronie widać jego podgląd.