PostgreSQLバージョン 9
OS:RedHat
現在Oracleからの移行でPostgreSQLにてTEXT取り込み処理を作成しています。
OracleではSQLLoaderを使用して取り込んでいましたが、
PostgreSQLではCOPYコマンドを使用すれば取り込みできるところまで調べました。
しかし、行末に区切文字があるためうまく取り込みできません。
【コマンド】
\copy hoge from 'hoge.txt' delimiters '|';
【行末に区切文字がある場合NG】
AAA|BBB|CCC|
ERROR: extra data after last expected column
CONTEXT: COPY hoge, line 1: "AAA|BBB|CCC|"
【行末に区切文字がない場合OK】
AAA|BBB|CCC
SQLLoaderでは行末の区切文字があっても取り込めましたが
COPYコマンドでは取り込めないようです。
回避策はないのでしょうか?
(取引先からのTEXTなので相談はして見ますがレイアウトの変更は難しいかもしれません。)
回避策がない場合、行末の区切文字を削除する方法はありますでしょうか?
行末だけの区切文字を削除する方法が分かりません。
(テキストは固定長でないため、桁数を指定した削除ができません)
行末区切文字削除の方法だけでも良いのでお願いします。
No.1ベストアンサー
- 回答日時:
行末には必ず区切り文字が存在するのでしょうか?
案1A:
1. COPY先テーブルの最後に 1列ダミー列を追加し、
COPY実行。
2. COPY実行後に追加したダミー列を削除。
案1B:
COPY先テーブルにダミー列を入れるのが嫌なら、
1. COPY専用のテーブル (テーブルの最後にダミー列を
入れたもの) を別に作って、そこにCOPY実行。
2. COPY専用テーブルからCOPY先テーブルに
INSERT ~ SELECT ~ でデータを移動。
3. COPY専用テーブルを DROP。
案2:
問題のファイルがテキストであるならば、テキストエディタの
正規表現置換を使って行末の | を空白に置換。
検索文字 |$ 置き換え文字 (空白) で行けるはず。
テキストエディタは何でもよいですが、サクラエディタ等が
使えます。
http://sakura-editor.sourceforge.net/download.html
自分なら、データ量にもよりますが、案1B を使いそうな気が
します。(COPYファイル数が多かったりすると案2は面倒なので)
回答ありがとうございます。
やはりダミー列を入れるなど一手間加えないとダメなようですね。
対応方法を持ち帰って検討させていただきます。
テキストファイルが多いので案2は少し面倒ですね。
案1で検討させていただきます。
No.2
- 回答日時:
sed で行末の区切り文字を取っ払ったものを流し込んでやるのはどうですか?
sed -e 's/[|]$//' hoge.txt | psql -U user_hoge -c "\copy hoge from STDIN delimiters '|';" db_hoge
http://itpro.nikkeibp.co.jp/article/COLUMN/20060 …
参考URL:http://www.postgresql.jp/document/9.1/html/app-p …
回答ありがとうございます。
正規表現はあまり勉強していませんでしたが行末という正規表現もあるのですね。
これを機にもう少し勉強するようにします。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・【大喜利】【投稿~11/12】 急に朝起こしてきた母親に言われた一言とは?
- ・好きな和訳タイトルを教えてください
- ・うちのカレーにはこれが入ってる!って食材ありますか?
- ・好きな「お肉」は?
- ・あなたは何にトキメキますか?
- ・おすすめのモーニング・朝食メニューを教えて!
- ・「覚え間違い」を教えてください!
- ・とっておきの手土産を教えて
- ・「平成」を感じるもの
- ・秘密基地、どこに作った?
- ・【お題】NEW演歌
- ・カンパ〜イ!←最初の1杯目、なに頼む?
- ・一回も披露したことのない豆知識
- ・これ何て呼びますか
- ・チョコミントアイス
- ・初めて自分の家と他人の家が違う、と意識した時
- ・「これはヤバかったな」という遅刻エピソード
- ・これ何て呼びますか Part2
- ・許せない心理テスト
- ・この人頭いいなと思ったエピソード
- ・牛、豚、鶏、どれか一つ食べられなくなるとしたら?
- ・あなたの習慣について教えてください!!
- ・ハマっている「お菓子」を教えて!
- ・高校三年生の合唱祭で何を歌いましたか?
- ・【大喜利】【投稿~11/1】 存在しそうで存在しないモノマネ芸人の名前を教えてください
- ・好きなおでんの具材ドラフト会議しましょう
- ・餃子を食べるとき、何をつけますか?
- ・あなたの「必」の書き順を教えてください
- ・ギリギリ行けるお一人様のライン
- ・10代と話して驚いたこと
- ・家の中でのこだわりスペースはどこですか?
- ・つい集めてしまうものはなんですか?
- ・自分のセンスや笑いの好みに影響を受けた作品を教えて
- ・【お題】引っかけ問題(締め切り10月27日(日)23時)
- ・大人になっても苦手な食べ物、ありますか?
- ・14歳の自分に衝撃の事実を告げてください
- ・架空の映画のネタバレレビュー
- ・「お昼の放送」の思い出
- ・昨日見た夢を教えて下さい
- ・ちょっと先の未来クイズ第4問
- ・【大喜利】【投稿~10/21(月)】買ったばかりの自転車を分解してひと言
- ・メモのコツを教えてください!
- ・CDの保有枚数を教えてください
- ・ホテルを選ぶとき、これだけは譲れない条件TOP3は?
- ・家・車以外で、人生で一番奮発した買い物
- ・人生最悪の忘れ物
- ・【コナン30周年】嘘でしょ!?と思った○○周年を教えて【ハルヒ20周年】
- ・あなたの習慣について教えてください!!
- ・都道府県穴埋めゲーム
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
SELECT 文の NULL列は?
-
テーブルに存在しない列をselec...
-
SQLでUPSERTを一度に複数行やる...
-
2つのテーブルで引き算 postgres
-
Postgresのデータ領域の拡張に...
-
PostgreSQLの断片化の状況を確...
-
単純なselectが遅くなるのです...
-
Postgresqlで配列に日付を格納...
-
テーブルを作ろうとしたら。
-
フィールドの入れ替えはできま...
-
javaでデータベース上のテーブ...
-
SQLにて指定日付より前、かつ最...
-
複数テーブルにまたがるmax
-
男性と2人で飲食店に行きテーブ...
-
「テーブルに座って……」という...
-
一つ前に戻るには…
-
SQL、2つのテーブルで条件一致...
-
Accessのテーブルデータを一気...
-
会社の飲み会の幹事になり、座...
-
SQliteの日付検索について
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
SELECT 文の NULL列は?
-
テーブルに存在しない列をselec...
-
SQLでUPSERTを一度に複数行やる...
-
単純なselectが遅くなるのです...
-
SQLにて指定日付より前、かつ最...
-
Postgresのデータ領域の拡張に...
-
2つのテーブルで引き算 postgres
-
PostgreSQLの断片化の状況を確...
-
javaでデータベース上のテーブ...
-
VIEWのCOPYってできないんですか?
-
Postgresqlのレポート機能について
-
MS Access から PostgreSQL へ...
-
重複を許すキーの構文がわかり...
-
デットロック回避策(autocommit...
-
最新レコードを抽出し外部結合...
-
postgres FILLFACTOR 確認方法
-
フィールドの入れ替えはできま...
-
PostgreSQL レコードからアイテ...
-
バキューム処理の実行時間の目安
-
テーブルにcsvファイルをインポ...
おすすめ情報