robots 一、Robots是什么意思
作者:admin 发布时间:2023-08-01 14:53:45 分类:指南 浏览:133
一、Robots是什么意思?
Robots是一个英文单词,对英语比较懂的朋友相信都知道,Robots的中文意思是机器人。而我们通常提到的主要是Robots协议,这也是搜索引擎的国际默认公约。
二、Robots协议是什么?
Robots协议通常被称为是爬虫协议、机器人协议,主要是在搜素引擎中会见到,其本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,而不是作为搜索引擎之间互相限制和不正当竞争的工具。
百度为什么称360违反Robots协议呢?主要是因为百度认为360搜素对自身产生了竞争,百度不希望自己旗下的贴吧,文库,知道,百科等网站产品,被360搜素收录,并且在Robots协议中标注屏蔽360搜素,而360直接绕过了robots协议继续采集百度旗下产品网站的信息,因此被百度起诉。
简单的说,任何网站只要在其robots协议中加入禁止某搜索引擎访问,那么该搜索引擎就无权收录该网站的内容。而robots的重要性在于,一个网站有权利可以存在于互联网中,但又不被指定的搜索引擎索引放到搜索结果中,因为搜索引擎在互联网上就像国王,网站就是每个人的小家,而robots协议则是对抗国王的最后利器,正所谓“风能进雨能进国王不能进”。
在网站中,Robots协议是一个记事本文件,我们只要将Robots.txt文件放置在网站跟目录,里边可以标注,哪些网站目录不希望被搜索引擎抓取即可,其格式如下图所示:
- 上一篇:2021年立秋时间是早还是晚 2021年立秋时间:2021年
- 下一篇:返回列表
相关推荐
- 安徽农村信用社网上银行 如何快速登陆安徽农村信用社网上
- 数米粒返利网 1、不需要,大米9返利网永久免
- 柯南沉默的十五分钟 1、《名侦探柯南:沉默的15分
- 戴澄东 1、戴澄东是抗日名将戴安澜之第
- 植物传播的方法 1、植物种子的传播方式一:水传
- 学院代码查询 1,查询学校代码和各专业代码陕
- 房的笔顺 1、点,横折,横,撇,点,横,
- 孔令辉老婆 孔令辉和马苏,一个是大名鼎鼎的
- 严慧晶 1、今年27岁的严慧晶经历和武
- 水发胭脂电视剧 1、连秀芳。2、李司棋饰演电视
- 池塘王子 1、《池塘王子》是法国Gull
- 机场受黑广播干扰 1、黑广播,是指未经广电主管部
- 棕组词语 1、棕组词语:(1)棕榈、棕绷
- 星期六左眼跳 1、星期一2、左眼跳,今天要出
- 彼岸花开梦千羽 1、《魔法学院彼岸花的秘密》是
- 期权合约 期权合约(optioncont
- 娇子x 是不是还听说过识别烟王的说法?
- 数码宝贝ds 1、大地暴龙兽(ジオグレイモン
- 梦见打死老虎 我们在生活中,相信很多人都做过
- 汝窑在哪个省 釉面每个人审美不一样不好定标准
- 人防系统 1、全国人防系统人防工程是一种
- 深圳伪娘 摘要:深圳伪娘遭扒衣女汉子大战
- 微信摇红包 工具材料微信操作方法01周末的
- 海狸鼠 海狸鼠是大型啮齿动物,主要分布
- 夏天开空调26度省电还是28度 1、空调开28度省电还是26度
- 德阳中学贴吧 1、四川省德阳中学(Deyan
- 什么是金融业 现阶段大家认为做什么最挣
- 37wan神曲 1、《37wan神曲》是一款角
- 彻的拼音和组词 1、彻的拼音为:chè。2、贯
- 杜国璋 1、杜国璋,男,人称“杜哥“,
- 最新推荐
-
- robots 一、Robots是什么意思
- 李佳薇 煎熬歌词
- 大连艺术学院是几本 1、大连艺术学院是几本?
- 一切都会过去 一切都不会过去 犹太王大卫曾在戒指上刻有一句铭
- 朝5晚9 日剧 日剧朝5晚9演员表(主演)
- 国债市场 中国国债市场自1981年恢复以
- win7 aero 在Win7系统之中有一个很漂亮
- 欣欣向荣的近义词 【欣欣向荣的近义词】(以下词语
- 孔雀东南飞演员表 孔雀东南飞演员表(主演)
- 二级应急响应内容 防台风二级应急响应内容:
- 泳帽的戴法 泳帽的材料,一般平常买的一种是
- 张信哲 爱与折磨歌词
- 冰子弹 从上面几点来看,冰子弹就算能装
- 2021年立秋时间是早还是晚 2021年立秋时间:2021年
- 无可取代歌词 无可取代LRC歌词
- 大气污染指数 空气质量指数是根据各种污染物的
- 四年级班务工作总结 中等职业学校语文教师教学观念的
- Bruno Mars Natalie歌词
- 支付宝无法输入密码 支付宝密码输入正确但提示错误怎
- 唐珂 Ama歌词
- qq红包怎么抢 qq红包雨如何发
- 朱文 我不做被爱伤害的人歌词
- 向日葵作文 我喜欢的花是向日葵,它在夏天开
- matlab求导 Matlab是一款比较出名的商
- 无心伤害歌词 伟 无心伤害LRC歌词
- 夏雨菲 沙漠骆驼(伴奏)歌词
- gps全球定位 GPS技术应用于测绘领域,在大
- 斜箭头符号 一、复制粘贴法
- 十字路口作文 篇一:站在十字路口作文600字
- 360se.exe损坏 我们在使用win7系统的时候,
- 文科女生最吃香的专业 1、文科女生最吃香的十大专业
- 听妈妈的话歌词
- DJ小雅 Floorfiller歌词
- 我的学校日记 我的学校日记1
- 吻别英文版歌词
- excel词典xllex.dll文件丢失或损坏 Excel文件打不开情况一:
- 搭车去柏林txt Q:都说旅行最难的是出发,怎样
- 周海媚 走私歌词
- qq自由幻想家族技能 家族技能建议对那些金币比较紧张
- 最后一首情歌歌词 最后一首情歌LRC歌词
- 多玩礼包 《诸神之怒》多玩特权礼包有些什
- 火影忍者 600 说起《火影忍者》,大概是无人不
- 徐子崴 有缘人歌词
- 供电所管理 一、我国县级供电所管理中存在的
- 澳服lol 澳服lol怎么调中文,一起来看
- 快乐的六一 盼星星,盼月亮,终于盼到了一年
- 匪夷所思造句 想要用匪夷所思进行造句,那么应
- 4月28日 4月28日是什么日子:世界安全
- 感动人心的故事 感动人的故事总是有它感动人的一
- 午夜怨曲歌词
- 写物的作文 昨天,妈妈出去旅游,给我带回了
- 母亲的心 初读这篇《母亲的心》我便被深深
- 对酒当歌,人生几何!(作者 出处)
- 小女人的幸福 小女人的幸福篇1
- 云淡风轻近午天,傍花随柳过前川(作者 出处)
- 深渊巨口出装 深渊巨口出装,深渊巨口出装介绍
- 徐莹 爱的困惑歌词
- 六一文艺汇演 你知道吗?这次六一儿童节,我们
- 2020新婚贺语 百合花里的语言,是共枕安眠的梦
- 所谓伊人,在水一方(作者 出处)