不胜其烦的网络爬虫

lasuo 2007-05-10
弱弱的问一句robbin,JE好歹也算个正统的中文站点,那些东欧啥欧的爬虫过来抓了内容去又什么用?难道他们也打算开始学中文不成?
china2wto 2007-05-14
关于爬虫和自动注册,自动发布软件,大家可以看看这个软件:厦门书生商友软件
http://bp.booksir.com/soft.asp
我估计是国内爬虫软件的老大了。(搜索引擎不算)

其中有以下几个功能值得大家研究:

1. 网络黄页登录

几分钟内将您的公司信息添加到上千家专业商贸网站的公司信息库中,使您的潜在客户能够方便的通过网络找到您的公司。

2. 广告信息发布

快速便捷地将您的广告信息通过三千家专业商贸网站免费铺遍全球,使更多的商业人士了解并关注您的公司和产品。

3. 商业信息搜索

免费从全球上千家专业商贸网站上,得到您所需要的商机信息,更多的商业机会,意味着您比竞争对手更容易获得成功。


10. 计划任务功能

无须手工操作,每天按照指定时间,指定次数,自动将您的供求信息发布到指定网站上,保证您的发布效果。

我解释一下:我是在工作中,帮助老板购买并安装使用过此软件,这个软件其实是C/S结构的,可能是爬虫服务器结合VC++做的,爬虫服务器专门搜索爬取各大论坛,各种类型的网站,然后分类整理。客户端是卖钱的,有了客户端,你就可以预先设置好你需要注册到网站上的信息,包括个人信息,和企业信息,以及你希望发布的广告,然后在选择需要发不到哪种类型的论坛网站上去。点击自动发送,客户端就会把信息发送出去。过一会儿,你去那些网站看看吧,你的个人信息自动注册到各大网站,你的公司的广告各大网站上都有了,更绝的是,程序能自动识别验证码,自动帮你填写验证码,真正做到上有政策下有对策。

我估计服务器端的维护人员有大概四五十个人,天天观察着各大网站的改版情况,一但发现有某网站改版,爬不到了,或者发布的信息失败,马上就有人去研究,然後修改服务器程序。

这个事情的发现其实是一个偶然的事情,当时我正在维护一个网站,突然有些天网站很邪,突然有大量注册新用户产生,而且地址都是厦门,用的电脑都是win98来上网的。当时根本没有意识到有此类软件,想不通。后来,因老板要求,修改用户注册流程,修改完,放上去了,每天注册注册新用户大量减少,过来2天,卷土重来,过了几天,老板不满意,又改注册程序,再次用户大量减少,再过两天,又卷土重来。到这时,我意识到了,是自动注册,自动爬虫程序在捣鬼。经过追踪,发现了,这个书生商友软件,和老板说了这件事,老板当即拍板,买!理由:也帮自己网站做一下广告。

后来意识到,这种方式,已经形成产业链了。居可靠消息,该软件在商贸领域卖的特别火。只是,我们这些没有经商头脑的程序员,还蒙在鼓里。
叶子 2007-05-14
就一个发垃圾广告的东西被吹得神一样的。


ps:国内的很多站的captcha基本是摆设,没干扰条纹,干扰颜色,字体还是一样,位置也确定,非常容易认的。
china2wto 2007-05-15
叶子 写道
就一个发垃圾广告的东西被吹得神一样的。


ps:国内的很多站的captcha基本是摆设,没干扰条纹,干扰颜色,字体还是一样,位置也确定,非常容易认的。
贵在坚持跟踪大量网站的变化,那可是人工跟踪啊,不容易!
其次是市场把握挺不错的,中国有几个商业软件能成功?
关于自动识别验证码,也不容易啊!更何况要解决所有网站的各种类型的验证码,你做一个看看!不要小瞧人家--看人挑担不吃力!
b051 2008-04-07
上captcha吧,除非人肉爬虫
fight_bird 2008-05-11
china2wto 写道
关于爬虫和自动注册,自动发布软件,大家可以看看这个软件:厦门书生商友软件
http://bp.booksir.com/soft.asp
我估计是国内爬虫软件的老大了。(搜索引擎不算)

其中有以下几个功能值得大家研究:

1. 网络黄页登录

几分钟内将您的公司信息添加到上千家专业商贸网站的公司信息库中,使您的潜在客户能够方便的通过网络找到您的公司。

2. 广告信息发布

快速便捷地将您的广告信息通过三千家专业商贸网站免费铺遍全球,使更多的商业人士了解并关注您的公司和产品。

3. 商业信息搜索

免费从全球上千家专业商贸网站上,得到您所需要的商机信息,更多的商业机会,意味着您比竞争对手更容易获得成功。


10. 计划任务功能

无须手工操作,每天按照指定时间,指定次数,自动将您的供求信息发布到指定网站上,保证您的发布效果。

我解释一下:我是在工作中,帮助老板购买并安装使用过此软件,这个软件其实是C/S结构的,可能是爬虫服务器结合VC++做的,爬虫服务器专门搜索爬取各大论坛,各种类型的网站,然后分类整理。客户端是卖钱的,有了客户端,你就可以预先设置好你需要注册到网站上的信息,包括个人信息,和企业信息,以及你希望发布的广告,然后在选择需要发不到哪种类型的论坛网站上去。点击自动发送,客户端就会把信息发送出去。过一会儿,你去那些网站看看吧,你的个人信息自动注册到各大网站,你的公司的广告各大网站上都有了,更绝的是,程序能自动识别验证码,自动帮你填写验证码,真正做到上有政策下有对策。

我估计服务器端的维护人员有大概四五十个人,天天观察着各大网站的改版情况,一但发现有某网站改版,爬不到了,或者发布的信息失败,马上就有人去研究,然後修改服务器程序。

这个事情的发现其实是一个偶然的事情,当时我正在维护一个网站,突然有些天网站很邪,突然有大量注册新用户产生,而且地址都是厦门,用的电脑都是win98来上网的。当时根本没有意识到有此类软件,想不通。后来,因老板要求,修改用户注册流程,修改完,放上去了,每天注册注册新用户大量减少,过来2天,卷土重来,过了几天,老板不满意,又改注册程序,再次用户大量减少,再过两天,又卷土重来。到这时,我意识到了,是自动注册,自动爬虫程序在捣鬼。经过追踪,发现了,这个书生商友软件,和老板说了这件事,老板当即拍板,买!理由:也帮自己网站做一下广告。

后来意识到,这种方式,已经形成产业链了。居可靠消息,该软件在商贸领域卖的特别火。只是,我们这些没有经商头脑的程序员,还蒙在鼓里。

一直以来就知道这里面有玄机,没想到已经发展得很成熟,暂且不论robbin对暴力爬虫的愤怒,这个产业还真有其存在的利润空间,只不过这是个灰色产业!