by shigemk2

当面は技術的なことしか書かない

memo OpenCSVSerDe

memo OpenCSVSerDe

2019/04/09

AthenaにCSVデータを突っ込むときにデータに改行が混ざってるやつは対処できない。つまり、こういうデータは改行処理されるからSELECTするなどしたら死ぬ。

1,"ab\nc"
2,"ab\nc"

これはAthenaの仕様じゃなくてOpenCSVSerdeの仕様なので、データとして読めるようにしたいなら埋め込み改行をなんとかして潰すしか無い。

CSV を処理するための OpenCSVSerDe - Amazon Athena

CSV Serde - Apache Hive - Apache Software Foundation