строк: 0 · символов: 0
строк: 0 · символов: 0 · удалено: 0 · осталось: 0 · строк с повторами: 0
Удалить повторяющиеся строки без изменения порядка
Этот инструмент удаляет дубликаты строк из текста или списка: каждая строка остается в одном экземпляре, а исходный порядок сохраняется. Вставьте список или откройте файл, выберите правила сравнения и скопируйте результат.
Обновлено:
Как это работает
Вставьте или откройте список
Вставьте строки, откройте файл .txt, .csv или .log кнопкой «Открыть файл» либо укажите адрес через «Открыть по ссылке».
Решите, что считать дубликатом
Учитывайте регистр или нет, игнорируйте пробелы по краям и внутри строк и выберите, какое вхождение оставить — первое или последнее.
Проверьте и сохраните
Результат обновляется по мере ввода. Ниже — таблица удаленных строк с их номерами и список самых частых повторов с числом вхождений.
Возможности
Три режима
Удалить повторы в любом месте текста, только соседние повторы (как команда uniq в Unix) или все строки, которые встречаются больше одного раза, чтобы остались только уникальные.
Первое или последнее вхождение
Последнее вхождение удобно оставлять в логах и файлах настроек, где более поздняя строка переопределяет предыдущую.
Точное сравнение
Без учета регистра строки сравниваются с полным приведением регистра, поэтому STRASSE и straße — одна строка. Нормализация Unicode уравнивает «й», набранную одним символом, и «и» с отдельной кратой.
Пустые строки — как удобно
Пустые строки можно обрабатывать как все остальные, оставить все, чтобы не потерять абзацы, или удалить.
Ограничения и конфиденциальность
Вставленный текст и открытые файлы могут занимать до 200 MB. Текст до 256 KB обрабатывается при каждом нажатии клавиши, более длинный — в фоновом потоке, а файлы больше 8 MB читаются потоком, без загрузки в редактор. В режимах «Последнее вхождение» и «Удалить все копии» весь список хранится в памяти.
Окончания строк (LF, CRLF или CR) и перенос строки в конце файла сохраняются.
Ничего не загружается на сервер: текст не покидает браузер. Подробнее — на странице о конфиденциальности.
Частые вопросы
Как удалить повторяющиеся строки из текстового файла?
Откройте файл или вставьте его содержимое. Дубликаты исчезают сразу; нажмите «Скачать», чтобы сохранить очищенный файл.
Меняется ли порядок строк?
Нет. Строки остаются в исходном порядке, удаляются только повторы. Если список нужно еще и отсортировать, воспользуйтесь сортировкой строк с параметром «Удалить дубликаты».
Как удалить дубликаты без учета регистра?
Выключите «Учитывать регистр». Тогда «Москва», «москва» и «МОСКВА» считаются одной строкой, а оставшаяся копия записывается так, как была набрана.
Почему не удаляются строки, которые выглядят одинаково?
Они различаются чем-то невидимым: пробелом в конце, табуляцией, неразрывным пробелом или разной записью диакритики. Включите параметры для пробелов или сначала уберите лишние пробелы отдельным инструментом.
Как оставить только строки, которые не повторяются?
В поле «Дубликаты» выберите «Удалить все копии». Каждая строка, встречающаяся дважды и больше, удаляется полностью — так удобно искать записи, которые есть только в одном из двух объединенных списков.
Справится ли инструмент с файлом на миллионы строк?
Да. Файлы до 200 MB читаются частями по 4 MB в Web Worker, и страница не зависает. Результат показывается как предпросмотр и скачивается файлом.