0 Zeilen · 0 Zeichen
0 Zeilen · 0 Zeichen · 0 entfernt, 0 behalten, 0 Zeile(n) mit Duplikaten
Duplikate löschen, Reihenfolge beibehalten
Mit diesem Tool lassen sich doppelte Zeilen entfernen, sodass jede Zeile nur einmal und in der ursprünglichen Reihenfolge übrig bleibt. Liste einfügen oder Datei öffnen, festlegen, wie Zeilen verglichen werden, und das bereinigte Ergebnis kopieren oder herunterladen.
Zuletzt aktualisiert:
So funktioniert’s
Liste einfügen oder öffnen
Zeilen einfügen, eine .txt-, .csv- oder .log-Datei mit „Datei öffnen“ laden oder „Von URL öffnen“ nutzen.
Festlegen, was als Duplikat gilt
Groß-/Kleinschreibung beachten oder ignorieren, Leerzeichen am Zeilenrand oder im Inneren ignorieren und wählen, ob das erste oder das letzte Vorkommen bleibt.
Prüfen und speichern
Das Ergebnis wird beim Tippen aktualisiert. Darunter stehen alle entfernten Zeilen mit Zeilennummer sowie die häufigsten Zeilen mit ihrer Anzahl.
Funktionen
Drei Arten der Bereinigung
Duplikate „Überall im Text“ entfernen, „Nur direkt aufeinanderfolgende“ wie mit dem Unix-Befehl uniq oder „Alle Vorkommen entfernen“, sodass nur Zeilen bleiben, die sich nie wiederholen.
Erstes oder letztes Vorkommen
Das letzte Vorkommen zu behalten passt zu Logs und Konfigurationsdateien, in denen eine spätere Zeile eine frühere überschreibt.
Zuverlässiger Vergleich, auch mit ß
Ohne Beachtung der Groß-/Kleinschreibung gilt die vollständige Unicode-Faltung: STRASSE und straße sind dieselbe Zeile. Mit „Unicode normalisieren (NFC)“ zählen auch unterschiedlich kodierte Umlaute als gleich.
Leerzeilen nach Wahl
Leerzeilen „Wie andere Zeilen behandeln“, mit „Alle behalten“ die Absätze bewahren oder mit „Alle entfernen“ löschen.
Grenzen & Datenschutz
Eingefügter Text und geöffnete Dateien dürfen bis zu 200 MB groß sein. Text bis 256 KB wird bei jedem Tastendruck verarbeitet, längerer Text in einem Web Worker im Hintergrund; Dateien über 8 MB werden gestreamt, ohne in den Editor geladen zu werden. Mit „Letztes Vorkommen“ oder „Alle Vorkommen entfernen“ muss die gesamte Liste im Arbeitsspeicher liegen.
Zeilenenden (LF, CRLF oder CR) und ein abschließender Zeilenumbruch bleiben erhalten.
Nichts wird hochgeladen: Der Text verlässt den Browser nicht. Mehr dazu auf der Datenschutzseite.
Häufige Fragen
Wie entferne ich doppelte Zeilen aus einer Textdatei?
Datei öffnen oder den Inhalt einfügen. Die Duplikate verschwinden sofort; mit „Herunterladen“ wird die bereinigte Datei gespeichert.
Ändert sich die Reihenfolge der Zeilen?
Nein. Die Zeilen bleiben in der ursprünglichen Reihenfolge, nur Wiederholungen werden entfernt. Wer die Liste zusätzlich sortieren möchte, nutzt [Zeilen sortieren](/de/zeilen-sortieren/) mit der Option „Duplikate entfernen“.
Wie lassen sich Duplikate unabhängig von Groß- und Kleinschreibung finden?
„Groß-/Kleinschreibung beachten“ ausschalten. „Apfel“, „apfel“ und „APFEL“ gelten dann als eine Zeile, und die behaltene Zeile bleibt genau so geschrieben, wie sie eingegeben wurde.
Warum werden zwei scheinbar gleiche Zeilen nicht entfernt?
Sie unterscheiden sich in etwas Unsichtbarem: einem Leerzeichen am Ende, einem Tabulator oder einem geschützten Leerzeichen. Die Leerzeichen-Optionen einschalten oder den Text vorher mit [Leerzeichen entfernen](/de/leerzeichen-entfernen/) bereinigen.
Wie behalte ich nur Zeilen, die nicht doppelt vorkommen?
Unter „Duplikate“ die Einstellung „Alle Vorkommen entfernen“ wählen. Jede mehrfach vorkommende Zeile verschwindet vollständig – praktisch, um Einträge zu finden, die nur in einer von zwei zusammengeführten Listen stehen.
Kann ich Duplikate aus einer Excel-Spalte entfernen?
Ja. Die Zellen der Spalte kopieren und einfügen: Jede Zelle wird zu einer Zeile. Das Ergebnis lässt sich kopieren und wieder in Excel einfügen.
Funktioniert das mit Millionen von Zeilen?
Ja. Dateien werden in einem Web Worker in Teilen von 4 MB gelesen, die Seite bleibt reaktionsschnell. Das Ergebnis wird als Datei heruntergeladen und auf der Seite als Vorschau gezeigt.