上一篇文章我写了一个利用爬虫赚钱的框架。这篇文章会更详细。我曾经做过一个简单的数据整合的案例，通过在线联盟赚取收入。

上一篇文章讲了七查查/天眼查，提供企业工商信息查询服务。他的业务基础基本上就是捕捉企业工商信息并整合这些数据的能力。

这需要很高的捕获率和准确度，需要团队来完成。

我在研究这类公司的流量来源时，观察到来自搜索引擎的流量不错，于是就想着做一个简单版的企业商业信息查询来获取搜索流量。

你可能会问：既然已经有好几个这样的网站了，为什么还要这样做呢？

因为中国有几千万家企业，如果每个企业都是一个网页，那么网页就有几千万个。从SEO（搜索引擎优化）的角度来看，您拥有的网页越多，获得搜索流量的概率就越高。从更大的规模来看，如果只有几万个网页，你获得流量的概率可能是0，但是当量级达到千万的时候，你的机会就被放大了。

你还是要问：你的网页大家都有，那搜索引擎为什么要给你排名、给你流量呢？

首先，现有网站在SEO标题关键词的设置上还有改进的空间。

其次，我绝对不是全部抄袭，我会掺杂一些内容进去。

第三，是一个概率的问题，因为网页有几千万个（这些网页的内容是有价值的），如果足够了，就有排名和流量的概率。

（虽然搜索引擎排名是由算法控制的，但我估计已经写了大量的规则来控制它们。写太多规则的一个缺点是我无法弄清楚规则之间的相关性。开个玩笑！）

于是我就撸起袖子开始写爬虫。我写了四个星期多的时间。因为需要拨号、换IP，所以买了个歪的拨号云主机。我大部分时间都花在解决这个云主机的局限性上。问题是这台主机只有500M的可用内存和1G多的可用硬盘空间。我大部分时间都在思考如何将数以千万计的工商信息html放入1G以上的硬盘中，以及如何将爬虫的运行内存控制在500M。之内。

由于是单个爬虫程序，所以爬取网页花了一个多月的时间。国庆假期，白天去泸沽湖玩。我心情很好。晚上我在房间调试程序。卧槽，网页又修改了，账号无法使用，程序又停止了。当程序员被困在这种代码调试中并不断地说f**k时。

在爬取过程中，我找到了前端同事写了一个最简单的HTML网站，只有5、6个页面。这真的很简单。我只是在想后端程序的问题。我只是一个未来不确定的网站。编写一个好的后端程序是不可能的。关键是数据库有千万级数据，必须支持各种分类查询。 ，翻页操作，所以我试图找到一种方法来优化业务本身的性质，对数据库操作和缓存做出具体的方法，这样我就可以自己处理所有的事情，并且任何查询都会在一个时间内得到响应几百毫秒。这个借鉴了大V caoz写的一篇文章的思路，

捕获数据后，网站上线并提交给搜索引擎。基本上没有人关心这个网站。半年多下来，IP数已达数万个，月收入数千元。现在客流量和收入还在不断增长。虽然对于公司来说增幅较小，但只用了两个月的时间，而且没有后续维护，所以产出比还是可以接受的。

其实1.写这篇文章的时候，我其实已经在这个基础上有了一些抓取数据、做流量的想法了，所以时不时回顾一下也不错。

2、其实数据集成很简单。后面我会讲，如何通过抓取数据并深度处理数据产生流量来赚钱。

PS：我还是强调一下，抓取的数据和商业数据一定要合法合规。