by shigemk2

当面は技術的なことしか書かない

robots.txt specification

developers.google.com

developers.google.com

FBとかYahooとかでかいサイトのrobots.txtは参考になる。