Как импортировать данные файла CSV в таблицу PostgreSQL?

Question

Как написать хранимую процедуру, которая импортирует данные из файла CSV и заполняет таблицу?

Answer 1

Посмотрите на это short article.

---

Решение перефразировать здесь:

Создать таблицу:

CREATE TABLE zip_codes 
(ZIP char(5), LATITUDE double precision, LONGITUDE double precision, 
CITY varchar, STATE char(2), COUNTY varchar, ZIP_CLASS varchar); 

Копирование данных из CSV-файла в таблицу:

COPY zip_codes FROM '/path/to/csv/ZIP_CODES.txt' WITH (FORMAT csv); 

Answer 2

Вы могли бы также использовать pgAdmin , который предлагает графический интерфейс для импорта. Это показано в этом SO thread. Преимущество использования pgAdmin в том, что он также работает для удаленных баз данных.

Как и предыдущие решения, вам нужно будет иметь свою таблицу в базе данных уже. У каждого человека есть свое решение, но то, что я обычно делаю, это открыть CSV в Excel, скопировать заголовки, вставить специальные с транспозицией на другой рабочий лист, поместить соответствующий тип данных в следующий столбец, а затем просто скопировать и вставить его в текстовый редактор вместе с соответствующим запросом создания SQL таблицы, как так:

CREATE TABLE my_table (
    /*paste data from Excel here for example ... */ 
    col_1 bigint, 
    col_2 bigint, 
    /* ... */ 
    col_n bigint 
) 

Answer 3

один быстрый способ сделать это с помощью библиотеки Python панд (версия 0,15 или выше, работает лучше всего). Это приведет к созданию столбцов для вас - хотя, очевидно, выбор, который он делает для типов данных, может быть не таким, каким вы хотите. Если это не совсем то, что вы хотите, вы всегда можете использовать код «create table», сгенерированный как шаблон.

Вот простой пример:

import pandas as pd 
df = pd.read_csv('mypath.csv') 
df.columns = [c.lower() for c in df.columns] #postgres doesn't like capitals or spaces 

from sqlalchemy import create_engine 
engine = create_engine('postgresql://username:password@localhost:5432/dbname') 

df.to_sql("my_table_name", engine) 

И вот код, который показывает вам, как установить различные параметры:

#Set is so the raw sql output is logged 
import logging 
logging.basicConfig() 
logging.getLogger('sqlalchemy.engine').setLevel(logging.INFO) 

df.to_sql("my_table_name2", 
      engine, 
      if_exists="append", #options are ‘fail’, ‘replace’, ‘append’, default ‘fail’ 
      index=False, #Do not output the index of the dataframe 
      dtype={'col1': sqlalchemy.types.NUMERIC, 
       'col2': sqlalchemy.types.String}) #Datatypes should be [sqlalchemy types][1] 

Answer 4

Большинство других решений здесь требуется, чтобы создать таблицу заранее/вручную , В некоторых случаях это может оказаться неприемлемым (например, если в таблице назначения много столбцов). Таким образом, подход ниже может пригодиться.

Обеспечение пути и столбцов подсчет вашего файла CSV, вы можете использовать следующую функцию, чтобы загрузить таблицу в временную таблицу, которая будет называться target_table:

Предполагается, что в верхней строке, чтобы имена столбцов ,

create or replace function data.load_csv_file 
(
    target_table text, 
    csv_path text, 
    col_count integer 
) 

returns void as $$ 

declare 

iter integer; -- dummy integer to iterate columns with 
col text; -- variable to keep the column name at each iteration 
col_first text; -- first column name, e.g., top left corner on a csv file or spreadsheet 

begin 
    set schema 'your-schema'; 

    create table temp_table(); 

    -- add just enough number of columns 
    for iter in 1..col_count 
    loop 
     execute format('alter table temp_table add column col_%s text;', iter); 
    end loop; 

    -- copy the data from csv file 
    execute format('copy temp_table from %L with delimiter '','' quote ''"'' csv ', csv_path); 

    iter := 1; 
    col_first := (select col_1 from temp_table limit 1); 

    -- update the column names based on the first row which has the column names 
    for col in execute format('select unnest(string_to_array(trim(temp_table::text, ''()''), '','')) from temp_table where col_1 = %L', col_first) 
    loop 
     execute format('alter table temp_table rename column col_%s to %s', iter, col); 
     iter := iter + 1; 
    end loop; 

    -- delete the columns row 
    execute format('delete from temp_table where %s = %L', col_first, col_first); 

    -- change the temp table name to the name given as parameter, if not blank 
    if length(target_table) > 0 then 
     execute format('alter table temp_table rename to %I', target_table); 
    end if; 

end; 

$$ language plpgsql; 

Answer 5

Если у вас нет разрешения на использование COPY (который работает на сервере БД), вы можете использовать вместо \copy (который работает в клиенте БД).Используя тот же пример, как Божидар Batsov:

Создать таблицу:

CREATE TABLE zip_codes 
(ZIP char(5), LATITUDE double precision, LONGITUDE double precision, 
CITY varchar, STATE char(2), COUNTY varchar, ZIP_CLASS varchar); 

Копирование данных из CSV-файла в таблицу:

\copy zip_codes FROM '/path/to/csv/ZIP_CODES.txt' DELIMITER ',' CSV 

Вы также можете указать столбцы следующего содержания:

\copy zip_codes(ZIP,CITY,STATE) FROM '/path/to/csv/ZIP_CODES.txt' DELIMITER ',' CSV 

Answer 6

Как упоминалось Павел, работает импорт в pgAdmin:

правой кнопкой мыши на таблицу -> импортировать

выбрать локальный файл, формат и кодирование

здесь является немецкий скриншот pgAdmin GUI:

Аналогичная вещь, которую вы можете сделать с DbVisualizer (у меня есть лицензия, не обязательно о бесплатной версии)

правой кнопкой мыши на столе -> Импорт данных таблицы ...

Answer 7

IMHO, самый удобный способ следовать «Import CSV data into postgresql, the comfortable way ;-)», используя csvsql из csvkit, который представляет собой пакет питона устанавливаемое через пип ,

Answer 8

COPY table_name FROM 'path/to/data.csv' DELIMITER ',' CSV HEADER; 

Answer 9

Используйте этот SQL-код

copy table_name(atribute1,attribute2,attribute3...) 
    from 'E:\test.csv' delimiter ',' csv header 

ключевое слово заголовка позволяет СУБД знать, что файл CSV имеет заголовок с атрибутами

для более визита http://www.postgresqltutorial.com/import-csv-file-into-posgresql-table/

Answer 10

Создать таблицу и иметь требуемые столбцы, которые используются для создания таблицы в файле csv.

1. Open Postgres и правая кнопка мыши на целевой таблице, которые вы хотите загрузить & выберите импорт и обновление следующих шагов в параметрах файла раздела

2. Теперь найдите файл в имени файла

3. Выберите csv в формате

4. Кодировка как ISO_8859_5

В настоящее время сдается Разное. параметры и проверьте заголовок и нажмите на импорт.

Answer 11

Личный опыт работы с PostgreSQL, все еще ожидающий более быстрого пути.

1. Создать таблицу скелет первой, если файл хранится на локальном компьютере:

drop table if exists ur_table; 
    CREATE TABLE ur_table 
    (
     id serial NOT NULL, 
     log_id numeric, 
     proc_code numeric, 
     date timestamp, 
     qty int, 
     name varchar, 
     price money 
    ); 
    COPY 
     ur_table(id, log_id, proc_code, date, qty, name, price) 
    FROM '\path\xxx.csv' DELIMITER ',' CSV HEADER; 

2. Когда \ путь \ xxx.csv находится на сервере, PostGreSQL не имеет разрешение для доступа к серверу вам придется импортировать CSV-файл через встроенные функции pgAdmin.

правой кнопкой мыши имя таблицы выберите импорт.

Если у вас есть проблемы, пожалуйста, обратитесь этот учебник. http://www.postgresqltutorial.com/import-csv-file-into-posgresql-table/

Answer 12

1) создать таблицу первого

2) Затем с помощью команды копирования, чтобы скопировать детали таблицы:

копии table_name (C1, C2, C3) .... из 'путь к файлу `s' csv '', 'csv header;

Thanks