by shigemk2

当面は技術的なことしか書かない

Athena MSCK REPAIR TABLE

key=valueのようなプレフィックス構成でデータがHive形式でパーティション化されている場合だとMSCK REPAIR TABLEで新しいパーティションを作成できるが

aws s3 ls s3://elasticmapreduce/samples/hive-ads/tables/impressions/

    PRE dt=2009-04-12-13-00/
    PRE dt=2009-04-12-13-05/

ELBログはkey=valueのようなプレフィックス構成ではなくデータがHive形式でパーティション化されていないのでALTER TABLE ADD PARTITIONを使って新しいパーティションを作成する。

aws s3 ls s3://athena-examples-myregion/elb/plaintext/ --recursive

2016-11-23 17:54:46   11789573 elb/plaintext/2015/01/01/part-r-00000-ce65fca5-d6c6-40e6-b1f9-190cc4f93814.txt
2016-11-23 17:54:46    8776899 elb/plaintext/2015/01/01/part-r-00001-ce65fca5-d6c6-40e6-b1f9-190cc4f93814.txt

docs.aws.amazon.com