検索エンジンのかかりぐあいには、クローラーのそれぞれ優先度というものがあります。

クローラーがサイトをクローリングする際にまず見るのが、このrobots.txtです。

robots.txt の書き方、設定と送信

詳しくは、こちらを見てください↑

それと同じ効果がるのが、メタタグですが、robots.txtとメタタグが両方存在した場合、クローラーはどちらを優先するのか？

これは、robots.txtが優先されます。

いくらメタの中に

index,follow

とあっても、robots.txtの中に

User-agent: *
Disallow: /

とあったら、間違いなく、検索にはかかってきません。

これは、実証済みです。

ちなみに、これと逆のパターンは考えられません。なぜなら、robots.txtは、ロボットの行動制限をさせるためのものですから。

10年前は、robots.txtはあまり重要視されていませんでしたが、現在は、かなり重要です。

特にGoogleでは、ガイドラインを設けて適切な記述を求めています。

ということは、これをちゃんと書いていないと検索にかかってこないってことです。

管理画面など、検索にかかってほしくないところは、クローラーの制限を掛ける必要もあるので、いずれにしても必須です。

メタタグに記載がない場合でも、robot.txtがあれば大丈夫なので、HTMLのコードを減らすことにも繋がります。（微々たるものですが）