海归论坛 :: 阅读跟帖 - 你搞错了robots.txt的用法

会员列表
收藏夹
论坛帮助

论坛首页 | 排行榜 | 在线私聊 | 专题 | 版规 | 搜索 | RSS | 注册 | 活动日历


主题: 搜索引擎的一个待开发功能，客户端程序

海归论坛首页 -> 海归商务焦点讨论 | 精华区 | 嘉宾沙龙 | 白领丽人沙龙

分屏

表形显示

阅读上一个主题 :: 阅读下一个主题

作者

搜索引擎的一个待开发功能，客户端程序

所跟贴

搜索引擎的一个待开发功能，客户端程序 -- benfangd - (342 Byte) 2005-8-19 周五, 09:31 (825 reads)

neo
[博客]

头衔: 海归中校
声望: 学员

加入时间: 2004/09/23
文章: 319
来自: Toronto
海归分: 35721

标题: 你搞错了robots.txt的用法 (265 reads) 时间: 2005-8-20 周六, 04:30

作者：neo 在海归商务发贴, 来自【海归网】 http://www.haiguinet.com

这个文件是给webmaster用来设置哪些目录和文件不开放给搜索的Spider或Crawler，一般规矩的搜索站点都应该遵循Robots.txt协议，在对每个网站进行url查找之前，应该到该站点的根目录下抓取该文件，对于出现在该文件之内的url不予fetch.
对于单个Page,还可以在Meta tag里设置该页拒绝crawler访问；
但这些都是君子协定，不规矩的Crawler一样可以不理会这些协议，但大的搜索站都是遵守这些规矩的。

作者：neo 在海归商务发贴, 来自【海归网】 http://www.haiguinet.com

相关主题
[讨论]看情人节3网图片所想到的——搜索引擎使用感受之一	生活风情	2012-2-14 周二, 10:56
常用的二十五大学术搜索引擎	海归茶馆	2011-9-20 周二, 11:55
IT招聘--国内知名搜索引擎公司-搜索研发部_多媒体内容分析高级工程师，技...	IT	2011-8-30 周二, 11:28
IT招聘--国内知名搜索引擎公司-搜索研发部_语音识别高级工程师，技术le...	海归招聘	2011-8-30 周二, 11:10
IT招聘--国内知名搜索引擎公司-搜索研发部_个性化与推荐技术研究	IT	2011-8-30 周二, 10:46
猎头-搜索引擎机器学习算法高级研究员/大规模机器学习研发工程师	IT	2011-4-01 周五, 10:50
谷歌回不来了吧？国内花巨资打造搜索引擎平台。	海归主坛	2010-8-12 周四, 18:41
【猎头职位】知名上市互联网公司-搜索引擎核心算法研究	海归职场	2009-12-03 周四, 11:29