如何编写爬虫程序

百度Googlebingsougou--------------------------------------------上面的搜索引擎都是建立在爬虫技术的基础上的，搜索关键词可以找到你想要的！但如果你想要爬取特定的站点内容，就需要自己学习代码编写爬虫了

为什么python适合写爬虫

有更加成熟的一种爬虫脚本语言，而非框架。

是通用的爬虫软件ForeSpider，内部自带了一套爬虫脚本语言。

从一个专业C++程序猿的角度说，网上流传的各种Java爬虫，Python爬虫，Java需要运行于C++开发的虚拟机上，Python只是脚本语言，采集效率和性能如何能与强大的C++相提并论？C++直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的。

首先，forespider的开发语言是C++，而且C++几乎没有现成的框架可以用，而火车采集器是用的C#。

先从业界水平和良心来说，这个软件可以做到从底层到上层都是他们的技术人员自己写的，而非运用现成的框架结构。

其次，因为抓取金融行业的数据，数据量大，动态性强，而采集对象一般反爬虫策略又很严格。

所以，专门建立团队开发不现实。

请外包人员开发太贵。

买现成的软件，要考虑性价比。

因为很多数据需要登录，需要验证码，是JS生成的数据，是ajax，是https协议，有加密的key，有层层的验证机制等等，分析市面上所有找得到的爬虫软件，没有找到其他一家可以完全把我们列表上的网站采集下来的软件。

forespider功能强大，这是很重要的一点。

第三，forespider在台式机上运行一天可以采400万条数据，在服务器上一天可以采8000万条数据。

这样一来，数据更新速度明显比以前快了几十倍。

从前抓一个7500万的网站需要好几个月，等抓完数据早都变化的不成样子了，这是很多爬虫的痛处。

但是现在的更新速度只有两三天。

forespider的性能强大，这也是非常好的一点。

第四，其实完全可视化的采集也不需要计算机专业的。

大致学习了之后就可以上手采。

而且forespider关于数据的管理做的很好。

一是软件可以集成数据库，在采集之前就可以建表。

二是数据可以自动排重，对于金融这样数据更新要求很高的行业，就特别合适。

第五，是关于免费的问题，我觉得免费的东西同时还能兼顾好用，只能是中国的盗版软件和手机APP。

大概是大家都习惯了在软件上不花钱，所以都想找到免费的。

forespider有免费版的，功能倒是不限制，但是采集数目每天有限制。

为什么python适合写爬虫

首先爬虫框架有三种 分布式爬虫：NutchJAVA单机爬虫：Crawler4j,WebMagic,WebCollector非JAVA单机爬虫：scrapy第一类：分布式爬虫优点：海量URL管理网速快缺点：Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。

Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。

对精抽取没有太大的意义。

用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。

而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。

Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。

如果集群机器数量较少，爬取速度反而不如单机爬虫。

Nutch虽然有一套插件机制，而且作为亮点宣传。

可以看到一些开源的Nutch插件，提供精抽取的功能。

但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。

利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。

Nutch并没有为精抽取提供相应的插件挂载点。

Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。

大多数Nutch的精抽取插件，都是挂载在“页面解析”（parser）这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息（网页的meta信息、text）用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。

了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。

调试过程中会出现除程序本身之外的各种问题（hadoop的问题、hbase的问题）。

Nutch2的版本目前并不适合开发。

官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。

Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。

而且非常不稳定（一直在修改）。

第二类：JAVA单机爬虫优点：支持多线程。

支持代理。

能过滤重复URL的。

负责遍历网站和下载页面。

爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器（htmlunit,selenium）来完成。

缺点：设计模式对软件开发没有指导性作用。

用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。

第三类：非JAVA单机爬虫优点：先说python爬虫，python可以用30行代码，完成JAVA 50行代码干的任务。

python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。

使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。

当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。

缺点：bug较多，不稳定。

爬虫可以爬取ajax信息么？网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。

如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。

如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？ 爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。

爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。

但是也可以通过一些方法来完成。

比如WebCollector使用广度遍历来遍历网站。

爬虫的第一轮爬取就是爬取种子集合（seeds）中的所有url。

简单来说，就是将生成的ajax请求作为种子，放入爬虫。

用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。

爬虫怎么爬取要登陆的网站？这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。

至于cookies怎么获取，不是爬虫管的事情。

你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。

爬虫怎么抽取网页的信息？开源爬虫一般都会集成网页抽取工具。

主要支持两种规范：CSSSELECTOR和XPATH。

网页可以调用爬虫么？爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。

爬虫速度怎么样？单机开源爬虫的速度，基本都可以讲本机的网速用到极限。

爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。

而这些东西，往往都是用户的机器和二次开发的代码决定的。

这些开源爬虫的速度，都很可以。

为什么写爬虫都喜欢用 python

分析市面上所有找得到的爬虫软件，在采集之前就可以建表。

二是数据可以自动排重，而采集对象一般反爬虫策略又很严格。

所以，这也是非常好的一点，没有找到其他一家可以完全把我们列表上的网站采集下来的软件。

forespider功能强大。

大致学习了之后就可以上手采。

第四，其实完全可视化的采集也不需要计算机专业的，专门建立团队开发不现实，对于金融这样数据更新要求很高的行业？C++直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的，是ajax，我觉得免费的东西同时还能兼顾好用，只能是中国的盗版软件和手机APP。

因为很多数据需要登录，需要验证码，是JS生成的数据。

买现成的软件，要考虑性价比，是https协议，有加密的key，有层层的验证机制等等。

从一个专业C++程序猿的角度说，内部自带了一套爬虫脚本语言。

首先，forespider的开发语言是C++，而且C++几乎没有现成的框架可以用，而火车采集器是用的C#。

先从业界水平和良心来说，这个软件可以做到从底层到上层都是他们的技术人员自己写的，而非运用现成的框架结构。

其次。

forespider的性能强大。

请外包人员开发太贵，forespider在台式机上运行一天可以采400万条数据。

一是软件可以集成数据库，这是很重要的一点。

第三。

第五，是关于免费的问题有更加成熟的一种爬虫脚本语言，采集效率和性能如何能与强大的C++相提并论，数据量大，动态性强，数据更新速度明显比以前快了几十倍。

从前抓一个7500万的网站需要好几个月，等抓完数据早都变化的不成样子了，这是很多爬虫的痛处。

但是现在的更新速度只有两三天，就特别合适，网上流传的各种Java爬虫，在服务器上一天可以采8000万条数据。

这样一来，Python爬虫，Java需要运行于C++开发的虚拟机上，Python只是脚本语言，因为抓取金融行业的数据。

而且forespider关于数据的管理做的很好，而非框架。

是通用的爬虫软件ForeSpider...

求一个能运行的爬虫程序

1 2345678910111213141516171819202122232425262728293031323334353637383940414243 """能够完美运行的爬虫程序"""importrequestsimportre importos url =＂http://userweb.eng.gla.ac.uk/umer.ijaz/bioinformatics/＂ filedir =os.getcwd()fulldir =os.path.join(filedir,＂bioinformatics＂)ifnotos.path.isdir(fulldir): os.makedirs(fulldir) os.chdir(fulldir) defget_html(url): html =requests.get(url).text items =re.findall(r"tr>.*?alt=＂\[(.*?)\]＂>",html) foritem initems: ifitem[0] !=＂DIR＂: file_url =url +item[1] file=requests.get(file_url) fp =open(item[1],"wb") fp.write(file.content) fp.close() print(＂Handsome lord, %s has been downloaded＂%item[1]) ifitem[0] ==＂DIR＂: ifitem[1].startswith(＂/＂): pass else: print(＂\tHandsome lord, We will change into %s＂%item[1]) son_url =url+item[1] filedir =os.getcwd() folder_name =str(item[1]) fulldir =os.path.join(filedir,folder_name) #fulldir =os.path.join(filedir,folder_name),encoding="utf-8" ifnotos.path.isdir(fulldir): os.makedirs(fulldir) os.chdir(fulldir) get_html(son_url) os.chdir(＂../＂) print( ＂\tHandsome load, we are leaving %s＂%item[1])get_html(url) 在python 3测试通过，能够完美运行的爬虫程序！