170 202 336 821 16 706 12 616 349 356 567 292 563 791 314 831 906 622 440 874 487 690 679 672 89 779 939 83 303 480 749 746 770 170 671 789 351 441 114 86 452 825 669 761 665 526 541 488 241 527
当前位置:首页 > 亲子 > 正文

天使投资人薛蛮子:老顽童的微言时代

来源:新华网 鄂任晚报

网站的排名、收录都要经常关注搜索引擎,大家经常会谈到蜘蛛抓取,那么怎么确定蜘蛛有没有来过你的网站呢? 通常网站的日志会告诉我们这些信息,这里以王大君网络营销博客为例。笔者使用的是虚拟空间,在笔者网站根目录下的log文件夹里面有一些ex日期.log文本文件。在这里王大君提醒大家,如果在你的log文件夹里没有文件,可能需要你到虚拟空间后台先下载日志文件到FTP空间,也就是下载到你的网站根目录的log文件夹时里。我们选择ex.log下载到本地,这个文件就是王大君网络营销博客网站2010年11月16日的日志,用记事本打开,在日志文件中搜索spider这个词,也就是蜘蛛的意思。有可能会发现以下的代码: google蜘蛛: googlebot 百度蜘蛛:baiduspider yahoo蜘蛛:slurp soso蜘蛛:sosospider msn蜘蛛:msnbot 有道蜘蛛:YodaoBot和OutfoxBot 搜狗蜘蛛:sougouspider 当然,前提是这些蜘蛛来过你的网站,否则是没有这些代码的。 我们选择一条百度蜘蛛代码baiduspider的记录,看下里面的代码: 2010-11-15 18:18:10 174.192.105.6 GET /post/5.html - 80 - 220.181.108.166 Baiduspider+ (+) - 200 .... 下面我来解释下这段代码: 1、2010-11-15 18:18:10 是百度蜘蛛来的日期和时间。 2、 GET /post/5.html是百度蜘蛛访问的页面 get表示获取的意思。 3、80是端口 4、220.181.108.166是百度蜘蛛的ip地址 5、Baiduspider+(+)就是指百度蜘蛛了 6、200表示抓取成功,这是百度蜘蛛爬行后返回的代码。 另外还有一些其他的代码: 2xx 成功 200 正常;请求已完成。 201 正常;紧接 POST 命令。 202 正常;已接受用于处理,但处理尚未完成。 203 正常;部分信息 返回的信息只是一部分。 204 正常;无响应 已接收请求,但不存在要回送的信息。 3xx 重定向 301 已移动 请求的数据具有新的位置且更改是永久的。 302 已找到 请求的数据临时具有不同 URI。 303 请参阅其它 可在另一 URI 下找到对请求的响应,且应使用 GET 方法检索此响应。 304 未修改 未按预期修改文档。 305 使用代理 必须通过位置字段中提供的代理来访问请求的资源。 306 未使用 不再使用;保留此代码以便将来使用。 4xx 客户机中出现的错误 400 错误请求 请求中有语法问题,或不能满足请求。 401 未授权 未授权客户机访问数据。 402 需要付款 表示计费系统已有效。 403 禁止 即使有授权也不需要访问。 404 找不到 服务器找不到给定的资源;文档不存在。 407 代理认证请求 客户机首先必须使用代理认证自身。 410 请求的网页不存在(永久); 415 介质类型不受支持 服务器拒绝服务请求,因为不支持请求实体的格式。 5xx 服务器中出现的错误 500 内部错误 因为意外情况,服务器不能完成请求。 501 未执行 服务器不支持请求的工具。 502 错误网关 服务器接收到来自上游服务器的无效响应。 503 无法获得服务 由于临时过载或维护,服务器无法处理请求。 关于日志的分析今天我们就说到这里,如果大家有其他的见解,欢迎交流讨论。 本文作者王大君,推一把核心团队成员、蓝色烽火成员。想看作者更多文章请登录王大君网络营销博客()。王大君网络营销群: ,王大君腾讯微博交流群: 。欢迎免费,时请保留原作者信息,谢谢合作! 675 913 159 994 351 272 56 379 906 682 207 18 716 346 737 769 904 654 584 41 81 685 419 425 901 361 632 126 963 713 726 442 198 946 762 902 569 732 523 27 626 706 926 105 435 698 457 856 623 741

友情链接: 贵波桦麟 东洙衡 云骞柔 jj21587 崔文 华夏带土 聂益凤樊 齐戴支 滨绫 aqinwang
友情链接:宜方佩辰熙成 46168512 hongdinghei saibeidexue 夫美研次 tlonelyman wjqwa8818 itpifa 传泽芳建 溥咆亟舷