Способ проверки дубликатов перед записью в файл?

Question

Итак, я написал небольшой скрипт, который принимает текстовые файлы в качестве ввода, читает каждую строку и пытается проверить ее как электронную почту. Если он проходит, он записывает строку в новый («чистый») файл, если он не проходит, он разбивает его на пробелы и пытается снова проверить его. Теперь, если он пройдет это время, он записывает строку в новый файл, и если она терпит неудачу, она игнорирует строку.

Вещь, такая как она, мой сценарий может писать дубликаты писем в выходные файлы. Как мне обойти это и проверить наличие дубликатов в выходном файле перед записью?

Вот соответствующий код:

// create reading and writing buffers 
    scanner := bufio.NewScanner(r) 
    writer := bufio.NewWriter(w) 

    for scanner.Scan() { 
     email := scanner.Text() 

     // validate each email 
     if !correctEmail.MatchString(email) { 
      // if validation didn't pass, strip and lowercase the email and store it 
      email = strings.Replace(email, " ", "", -1) 
      // validate the email again after cleaning 
      if !correctEmail.MatchString(email) { 
       // if validation didn't pass, ignore this email 
       continue 
      } else { 
       // if validation passed, write clean email into file 
       _, err = writer.WriteString(email + "\r\n") 
       if err != nil { 
        return err 
       } 
      } 

     } else { 
      // if validation passed, write the email into file 
      _, err = writer.WriteString(email + "\r\n") 
      if err != nil { 
       return err 
      } 
     } 

    } 

    err = writer.Flush() 
    if err != nil { 
     return err 
    } 

Answer 1

Вы можете использовать Go встроенную карту в виде набора, как это:

package main 

import (
    "fmt" 
) 

var emailSet map[string]bool = make(map[string]bool) 

func emailExists(email string) bool { 
    _, ok := emailSet[email] 
    return ok 
} 

func addEmail(email string) { 
    emailSet[email] = true 
} 

func main() { 
    emails := []string{ 
     "duplicated@golang.org", 
     "abc@golang.org", 
     "stackoverflow@golang.org", 
     "duplicated@golang.org", // <- Duplicated! 
    } 
    for _, email := range emails { 
     if !emailExists(email) { 
      fmt.Println(email) 
      addEmail(email) 
     } 
    } 
} 

Вот результат:

duplicated@golang.org 
abc@golang.org 
stackoverflow@golang.org 

Вы можете попробовать тот же код на The Go Playground.

Answer 2

Создание типа, который реализует writer затем создать пользовательский WriteString

Внутри WriteString открыть файл, в котором вы храните ваши письма, итерацию по каждой электронной почте и сохранить новый электронные письма.