2021-02-03 robots.txt specification web developers.google.com developers.google.com FBとかYahooとかでかいサイトのrobots.txtは参考になる。