标签 robots.txt 下的文章 - 运维学习记录

发现搜索引擎收录了不少带get参数的网页，造成了很多重复页面被收录。我们可以手动建立一个robots.txt来阻止搜索引擎收录不相关的地址。