Java символов удаления Юникода

Question

я получить пользовательский ввод включая юникод символы, такие как

\xc2d 
\xa0 
\xe7 
\xc3\ufffdd 
\xc3\ufffdd 
\xc2\xa0 
\xc3\xa7 
\xa0\xa0 

, например:

email : abc@gmail.com\xa0\xa0 
street : 123 Main St.\xc2\xa0 

желаемый результат:

email : abc@gmail.com 
    street : 123 Main St. 

Что такое лучший способ их устранения используя Java?

Update: Я попытался следующие, но не похоже на работу

public static void main(String args[]) throws UnsupportedEncodingException { 
     String s = "abc@gmail\\xe9.com"; 
     String email = "abc@gmail.com\\xa0\\xa0"; 

     System.out.println(s.replaceAll("\\P{Print}", "")); 
     System.out.println(email.replaceAll("\\P{Print}", "")); 
    } 

Выход

abc@gmail\xe9.com 
abc@gmail.com\xa0\xa0 

Answer 1

Ваши требования не ясны. Все символы в Java String являются символами Юникода, поэтому, если вы их удалите, вы останетесь с пустой строкой. Я предполагаю, что вы имеете в виду, что хотите удалить любые символы, отличные от ASCII, непечатаемые.

String clean = str.replaceAll("\\P{Print}", ""); 

Здесь \p{Print}represents a POSIX character class для печатаемых символов ASCII, в то время как \P{Print} является дополнением к этому классу. С этим выражением все символы, которые являются , а не печатаемыми ASCII, заменяются пустой строкой. (Дополнительный обратный слэш, потому что \ начинает управляющую последовательность в строковых литералов.)

---

По-видимому, все вводимые символы фактически ASCII символы, которые представляют для печати кодировку непечатаемых или не-ASCII символов. У Mongo не должно быть никаких проблем с этими строками, потому что они содержат только простые печатные символы ASCII.

Все это звучит немного подозрительно для меня. Я считаю, что данные действительно содержат непечатаемые и не-ASCII-символы, а другой компонент (например, фреймворк) заменяет их на печатное представление. В ваших простых тестах вы не можете перевести печатное представление обратно в исходную строку, поэтому вы ошибочно полагаете, что первое регулярное выражение не работает.

Это моя догадка, но если я неправильно понял ситуацию, и вам действительно нужно вырезать буквальные \xHH экраны, вы можете сделать это со следующим регулярным выражением.

String clean = str.replaceAll("\\\\x\\p{XDigit}{2}", ""); 

---

Документация API для Pattern класса делает хорошую работу со списком всех синтаксиса, поддерживаемых библиотекой регулярных выражений в Java. Для более подробной информации о том, что все синтаксис означает, я нашел Regular-Expressions.info site очень полезным.

Answer 2

Вы можете использовать java.text.normalizer

Answer 3

Вы можете попробовать этот код:

public String cleanInvalidCharacters(String in) { 
    StringBuilder out = new StringBuilder(); 
    char current; 
    if (in == null || ("".equals(in))) { 
     return ""; 
    } 
    for (int i = 0; i < in.length(); i++) { 
     current = in.charAt(i); 
     if ((current == 0x9) 
       || (current == 0xA) 
       || (current == 0xD) 
       || ((current >= 0x20) && (current <= 0xD7FF)) 
       || ((current >= 0xE000) && (current <= 0xFFFD)) 
       || ((current >= 0x10000) && (current <= 0x10FFFF))) { 
      out.append(current); 
     } 

    } 
    return out.toString().replaceAll("\\s", " "); 
} 

Он работает для меня, чтобы удалить недопустимые символы из String.

Answer 4

С Google Guava «s CharMatcher, вы можете удалить любые non-printable символы, а затем сохранить все символы ASCII (сбрасывают любые акценты), как это:

String printable = CharMatcher.INVISIBLE.removeFrom(input); 
String clean = CharMatcher.ASCII.retainFrom(printable); 

Не уверен, что это то, что вы действительно хотите, но он удаляет что-нибудь выраженные как escape-последовательности в данных образца вашего вопроса.

Answer 5

Я знаю, что это может быть поздно, но на будущее:

String clean = str.replaceAll("\\P{Print}", ""); 

Удаляет все не печатаемые символы, но включает в себя \n (строки), \t (вкладка) и \r (возврат каретки), а иногда хотите сохранить эти персонажи.

Для этого использование проблема перевернутой логики:

String clean = str.replaceAll("[^\\n\\r\\t\\p{Print}]", ""); 

Answer 6

Input => "Это \ u7279 текст \ u7279 , что мне нужно" Output => "Этот текст, что я need "

Если вы пытаетесь удалить символы Unicode из строки, как указано выше, этот код будет работать

Pattern unicodeCharsPattern = Pattern.compile("\\\\u(\\p{XDigit}{4})"); 
Matcher unicodeMatcher = unicodeChars.matcher(data); 
String cleanData = null; 
if (unicodeMatcher.find()) { 
    cleanData = unicodeMatcher.replaceAll(""); 
}