Удалить дублирующее слово предложение

Question

У меня есть список предложений.

Я хочу иметь дело с дубликатами, как это:

• Белой туфли женщина
• обуви женщины белой
• Женщин белых туфель

Я хочу, чтобы в этом:

• Белая женская обувь

Могу ли я сделать это в Notepad ++?

Или, может быть, какое-то другое программное обеспечение?

Answer 1

Я не думаю, что вы можете сделать такую ​​работу в NPP ,

Вот способ выполнения работы с perl, который хранит регистр и порядок первой строки.
(Спасибо @jwpfox для примера ввода).

use Modern::Perl; 

my $prev = ''; 
while(<DATA>) { 
    chomp; 
    my $str = join'',sort split' ',lc$_; 
    say $_ if $str ne $prev; 
    $prev = $str; 
} 

__DATA__ 
White shoes women 
Shoes women white 
Women white shoes 
White shoes women 
Shoes women white 
Women white shoes 
Men black boots 
Black boots men 
Boots men black 
girl yellow shirt 
yellow girl shirt 
pants blue boy 

Выход:

White shoes women 
Men black boots 
girl yellow shirt 
pants blue boy 

версия в PHP:

$s = array(
'White shoes women', 
'Shoes women white', 
'Women white shoes', 
'White shoes women', 
'Shoes women white', 
'Women white shoes', 
'Men black boots', 
'Black boots men', 
'Boots men black', 
'girl yellow shirt', 
'yellow girl shirt', 
'pants blue boy'); 

$prev = ''; 
foreach($s as $line) { 
    $list = explode(' ', strtolower($line)); 
    sort($list); 
    $str = implode('',$list); 
    if ($str != $prev) echo $line,"\n"; 
    $prev = $str; 
} 

Выход:

White shoes women 
Men black boots 
girl yellow shirt 
pants blue boy 

Answer 2

Использование опции «другое программное обеспечение».

Содержание input.txt файла:

White shoes women 
Shoes women white 
Women white shoes 
Men black boots 
Black boots men 
Boots men black 
girl yellow shirt 
yellow girl shirt 
pants blue boy 

Python 3:

sentences = [] 

with open('input.txt', mode='r') as infile: 
    for line in infile: 
     wordlist = line.split(' ') 
     words = [] 
     for word in wordlist: 
      word = word.strip() 
      words.append(word.lower()) 

     words.sort() 

     if words not in sentences: 
      sentences.append(words) 

with open('output.txt', mode='w') as outfile: 
    for sentence in sentences: 
     for word in sentence: 
      outfile.write(word + ' ') 
     outfile.write('\n') 

Содержание из output.txt файла:

shoes white women 
black boots men 
girl shirt yellow 
blue boy pants