首页 模板 问答 软件
软件 \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \
网络爬虫域名采集器-有效网站域名批量采集工具

网络爬虫域名采集器-有效网站域名批量采集工具
软件名称: 网络爬虫域名采集器
授权时间: 一次购买,终身使用
附赠服务: 赠送1年售后服务与软件更新 软件客服:购买软件:网络爬虫域名采集器-有效网站域名批量采集工具
软件价格: 368即将涨价,早买早赢利
简单介绍: 本软件工作原理是从一个初始网址中,查找外部网站, 比如初始页面中有30个外部网站 ,那就继续爬取这30个外本网站, 可以正常访问的就收录进数据库, 并且在这30个网站中再次查找
最后更新: 2019-09-30
立即购买 下载测试版
测试版只能保存500个网址,
测试版无法记录采集位置,每次只能从头开始!
链接: https://pan.baidu.com/s/1WjTx7B1W9V_V9F-CCKRBZA 提取码: h7bq
演示视频
软件介绍


本软件工作原理是从一个初始网址中,查找外部网站,比如初始页面中有30个外部网站,那就继续爬取这30个外本网站,


可以正常访问的就收录进数据库并且在这30个网站中再次查找外部网站如果每个站有30个外部网站,那就是30*30=900个


然后再访问这900个网站剔除无法访问的,找到正常访问的剔除重复加入数据库,然后再查找他们页面中的外部网站,如需往复


形成裂变式蜘蛛网!


当然这里边需要处理很多事情,比如爬行记录的去重、多线程之间的干扰、等等问题


历时一个月终于开发调试出抢答稳定的2.0版本。更好的利用了现代多核CPU的性能


网络爬虫域名采集器-有效网站域名批量采集工具九戒织梦软件


目前在我的5年前的笔记本上,低压i5 CPU上能跑出10分钟1W+的网址数,已经非常强悍了


具体的性能看你自己的电脑配置了,等我过段时间换个好点的笔记本再为大家测试,


这个5年前就买的最低配的货,也该淘汰了工欲善其事必先利其器 这个道理是对的


下面放上2.5版的界面给大家预览


网络爬虫域名采集器-有效网站域名批量采集工具九戒织梦软件


这次我测试了10分钟,初始网址用的2345导航,因为我觉得导航站的外链比较多,并且能进入2345首页的网站都不是等闲之辈,所以我就选他了!!


大家可以根据自己的需求选择初始网址


这一版基本是最终形态, 估计不会有什么大的变动, 大家可以关注一下更新日志,如果有改动会在下方日志里列出!


具体的软件使用操作,大家可以看一下演示视频!





更新日志

2019-09-30 更新版本: 2.5 立即下载

  • 美化用户中心界面UI,提示最新版本
  • 新增标题/关键词/描述/是否HTTPS采集功能
  • 优化内核合并为单文件
  • 2019-08-16 更新版本: 2.0 立即下载

  • 改进多线程异步爬虫效率比1.0提升6倍
  • 增加最小化到托盘功能
  • 2019-08-2 更新版本: 1.0

  • 新软件发布上线!
  • 授权说明
  • 本站所有软件均为绿色软件,精简小巧无需安装,双击打开即可运行
  • 软件采用账号密码授权,可任意换电脑使用,但是最多允许同时2台电脑使用
  • 软件账户与本站账户互通,在本站注册的账号同时可以在软件中登录
  • 为了更好的为您提供服务,请勿将您的软件共享或转售给他人使用
  • 织梦交流社区 | 织梦模板下载 | 功能插件二次开发

    冀ICP备14002589号-3 Copyright ©2019JJdede.comAll Rights Reserved.

    平台客服 979702097 10:00 - 18:00