scrapy 官网（怎么抓取校园网的url）

：暂无数据 2026-10-15 00:00:09 ：2

本篇文章给大家谈谈scrapy 官网，以及怎么抓取校园网的url对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录

怎么抓取校园网的url
如何让网页被爬虫抓取
安装scrapy 报错error: Setup script exited with error: Unable to find vcvarsall.bat

怎么抓取校园网的url

直接去浏览器中搜索自己学校的教务系统就可以。
可以直接使用浏览器，在浏览器中搜索自己学校的教务系统就可以了，如果不行的话，可以搜索学校的官网。
在WWW上，每一信息资源都有统一的且在网上唯一的地址，该地址就叫URL（UniformResourceLocator，统一资源定位器），它是WWW的统一资源定位标志，就是指网络地址。

网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。
比如，要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。
1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
User-agent: Baiduspider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
《meta name="robots" content="noindex, nofollow"》
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。
小注：第1招和第2招只对“君子”有效，防止“小人”要用到第3招（“君子”和“小人”分别泛指指遵守与不遵守 robots.txt 协议的 spider/robots），所以网站上线之后要不断跟踪分析日志，筛选出这些 badbot 的ip，然后屏蔽之。

安装scrapy 报错error: Setup script exited with error: Unable to find vcvarsall.bat

两种解决办法：
1.你装个vs2008.
2.你装个vs2010,然后打开“《python安装目录》\Lib\distutils\msvc9compiler.py”
找到 toolskey = “VS%0.f0COMNTOOLS” % version，直接修改为 toolskey = ”VS100COMNTOOLS”
网上也有用mingw编译解决的，那个太麻烦不建议你那么搞。

怎么抓取校园网的url的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于怎么抓取校园网的url、怎么抓取校园网的url的信息别忘了在本站进行查找哦。

scrapy 官网（怎么抓取校园网的url）