удалить дубли · сортировка · оставить первую
Удаление повторяющихся строк
Удаление точных повторов из списка в 7 строк, где «apple» встречается 3 раза, оставляет 5 строк. Вставьте свой список, чтобы убрать из него повторы.
- 7 → 5 (−2)
- 7 → 3 (−4)
Результат обновляется при изменении текста или параметра. Вывод сохраняет порядок строк ввода, если вы не выберете порядок сортировки. Текст не покидает эту вкладку.
Scanned by 
NortonTM Safe Web
Коротко
- Цена
- Без оплаты
- Аккаунт
- Не нужен
- Загрузка
- Не применимо — список никогда не покидает вашу вкладку
- Режимы
- Первая копия, последняя копия, только уникальные строки, только повторяющиеся строки
- Сортировка
- Порядок ввода, от A до Z, от Z до A и естественная, по правилам сортировки языка страницы
- Ограничение размера
- 5,000,000 символов на текст
Один и тот же список в каждом режиме и при каждой сортировке
Пример списка: apple, Banana, apple, cherry, banana, одна пустая строка, apple. Эти таблицы получены тем же кодом, что и инструмент; ↵ обозначает перевод строки.
| Оставить | Оставлено строк | Удалено строк | Результат |
|---|---|---|---|
| Первая копия | 5 | 2 | apple↵Banana↵cherry↵banana↵ |
| Последняя копия | 5 | 2 | Banana↵cherry↵banana↵↵apple |
| Только уникальные строки | 4 | 3 | Banana↵cherry↵banana↵ |
| Только повторяющиеся строки | 1 | 6 | apple |
| Сортировка | Результат |
|---|---|
| Порядок ввода | item10↵item2↵Item1 |
| От A до Z | Item1↵item10↵item2 |
| От Z до A | item2↵item10↵Item1 |
| Естественная | Item1↵item2↵item10 |
Как удалить повторяющиеся строки
Вставьте список
Поместите в поле по одному элементу на строку. Пример списка уже там. Переводы строк Windows и Unix подходят оба, а результат сохраняет тип перевода строки, который используется в вашем тексте.
Выберите, что считать дубликатом
Отметьте «Не учитывать регистр», чтобы считать «Apple» и «apple» одной строкой, «Обрезать пробелы», чтобы убрать пробелы в начале и конце каждой строки, и «Удалить пустые строки», чтобы убрать пустые строки. Выберите, какие строки оставить: первую копию, последнюю копию, только уникальные или только повторяющиеся.
При желании отсортируйте и скопируйте
Оставьте сортировку «Порядок ввода», либо отсортируйте от А до Я, от Я до А или в естественном порядке, где item2 идёт перед item10. Нажмите «Копировать» или скачайте результат как файл .txt. Плитки показывают, сколько строк прочитано, удалено и оставлено.
Как находятся дубликаты
Каждая строка сравнивается с остальными целиком, символ за символом. Две строки — дубликаты, только когда они одинаковы, если только вы не отметили «Не учитывать регистр» или «Обрезать пробелы»: тогда строки сравниваются без учёта заглавных букв или пробелов по краям. «Первая копия» оставляет первую копию каждой строки, а «Последняя копия» — последнюю. «Только уникальные» оставляет строки, которые встречаются ровно один раз, а «Только повторяющиеся» оставляет по одной копии каждой строки, встречающейся более одного раза.
Сортировка выполняется после удаления дубликатов и использует правила сортировки языка страницы через Intl.Collator браузера, поэтому такие буквы, как ä, встают туда, куда их ставит этот язык. Естественный порядок читает последовательности цифр как числа: item2 идёт перед item10, тогда как обычный порядок от A до Z ставит item10 первым. Сортировка устойчивая, поэтому строки, которые язык считает равными, остаются в порядке ввода. Плитка удалённых считает каждую строку, которой нет в выводе, включая пустые строки, убранные параметром «Удалить пустые строки». В тексте может быть до 5,000,000 символов.
Вопросы об удалении повторяющихся строк
Как удалить повторяющиеся строки из списка?
Вставьте список по одному элементу на строку. Строки, повторяющие более раннюю, убираются, а первая копия остаётся на своём месте. Список «apple, banana, apple, cherry» становится «apple, banana, cherry». Скопируйте результат, когда плитки покажут ожидаемое число.
Чем различаются «оставить первую», «оставить последнюю», «только уникальные» и «только повторяющиеся»?
Для списка a, b, a: «оставить первую» даёт a, b; «оставить последнюю» даёт b, a; «только уникальные» даёт b, потому что a встречается дважды; «только повторяющиеся» даёт a — одну копию строки, встречающейся более одного раза. Выберите режим, который соответствует тому, что вы хотите сделать с повторами.
«Apple» и «apple» — это дубликаты?
По умолчанию нет: строки сравниваются точно, поэтому различия в заглавных буквах или пробелах делают две строки разными. Отметьте «Не учитывать регистр», чтобы считать их одной строкой, и «Обрезать пробелы», чтобы игнорировать пробелы в начале и конце строки. При «Первая копия» остаётся то написание, которое встретилось первым.
Что такое естественная сортировка?
Естественная сортировка читает последовательности цифр как числа. В естественном порядке строки item1, item2 и item10 остаются в этом порядке; при обычной сортировке от A до Z item10 идёт перед item2, потому что символ 1 стоит раньше 2. Используйте её для имён файлов и нумерованных списков.
Сохраняется ли исходный порядок строк?
Да, если вы не выбрали сортировку. При сортировке «Порядок ввода» оставшиеся строки идут в том порядке, в каком были в вашем тексте. Сортировка устойчивая, поэтому строки, которые сравниваются как равные, тоже сохраняют порядок ввода.
Какого размера может быть список и загружается ли он куда-нибудь?
В тексте может быть до 5,000,000 символов; список из 300,000 коротких строк обрабатывается за долю секунды. Ничего не загружается: работа идёт во вкладке вашего браузера, а закрытие вкладки стирает текст.