robots.txt Posted on 2013年2月19日 By syscon Posted in 備忘録 一部のリソースだけクロークを許したいな、と思った時に参考になったサイトです。 ありがとうございました。 robots.txtでAllowを使うのはどんな時?