首页 软件 交流
软件 \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \
网络爬虫域名采集器-有效网站域名批量采集工具

网络爬虫域名采集器-有效网站域名批量采集工具
软件名称: 网络爬虫域名采集器
软件说明: 请到最下方更新日志处下载
附赠服务: 赠送1年售后服务与软件更新 软件客服:购买软件:网络爬虫域名采集器-有效网站域名批量采集工具
简单介绍: 本软件工作原理是从一个初始网址中,查找外部网站, 比如初始页面中有30个外部网站 ,那就继续爬取这30个外本网站, 可以正常访问的就收录进数据库, 并且在这30个网站中再次查找
最后更新: 2023-05-16
联系客服 免费下载
限时优惠: 购买黄金搭档套餐 《站长统计广告推送工具》 或 《网络爬虫域名采集器》 中任意一款,另一款自动优惠减免!
演示视频
软件介绍



本软件工作原理是从一个初始网址中,查找外部网站,比如初始页面中有30个外部网站,那就继续爬取这30个外本网站,


可以正常访问的就收录进数据库并且在这30个网站中再次查找外部网站如果每个站有30个外部网站,那就是30*30=900个


然后再访问这900个网站剔除无法访问的,找到正常访问的剔除重复加入数据库,然后再查找他们页面中的外部网站,如需往复


形成裂变式蜘蛛网!


当然这里边需要处理很多事情,比如爬行记录的去重、多线程之间的干扰、等等问题


历时一个月终于开发调试出抢答稳定的2.0版本。更好的利用了现代多核CPU的性能


历史版本性能:

第一版跑出10分钟1W+的网址数,已经非常强悍了

2.5版10分钟跑出2.8万个,注意这都是去重复后的网址哦,而且都是顶级域名

3.0版10分钟采集13万+个网站

3.2版  采集21万用时9分钟

每一次升级都是质的飞越,购买过的朋友快来下载最新版吧!


二级域名不算我们不采集没有用


具体的性能看你自己的电脑配置了,各位可以根据自己电脑配置适当调整线程数


这个5年前就买的最低配的货,也该淘汰了工欲善其事必先利其器 这个道理是对的


3.6版本界面:

网络爬虫域名采集器-有效网站域名批量采集工具九戒织梦软件


3.4版本界面:

网络爬虫域名采集器-有效网站域名批量采集工具九戒织梦软件


下面放上3.2版的界面给大家预览

网络爬虫域名采集器-有效网站域名批量采集工具九戒织梦软件





 

随便输入一个你想要的关键词就可以开始采集了


这一版基本是最终形态, 估计不会有什么大的变动, 大家可以关注一下更新日志,如果有改动会在下方日志里列出!


具体的软件使用操作,大家可以看一下演示视频!


建议不要过于追求太大的线程数量,这个要根据你的网络带宽来调整,线程数过大同时访问的站也就越多,那就可能其中有部分网站打不开,因为你的宽带不够了


更新日志

2023-05-16 更新版本: 3.7

  • 2023-05-16
  • 2020-04-09 更新版本: 3.6 立即下载

  • 取消多关键词输入,整体作用不大
  • 加入只要中文网站功能防止采集到国外
  • 线程数支持软件运行期动态修改
  • 合格网址采集完后继续利用不合格网址做跳板
  • 升级顶级域名算法确保有效
  • 提速保存网址速度仅需1秒钟左右
  • 新增错误网址的保存『可用于检查域名注册或其他用途』
  • 2020-03-17 更新版本: 3.5 立即下载

  • 采用最新多线程去重算法
  • 修复网址过滤造成的爬虫断链问题
  • 3.5.1 修复一处字符编码异常
  • 2020-02-27 更新版本: 3.4 立即下载

  • 新增多关键词列表支持
  • 2020-02-24 更新版本: 3.3 立即下载

  • 优化源网址采集提升关键词最终网址数
  • 加入上域名长度限制以便于过滤掉一些长长的域名
  • 2020-02-13 更新版本: 3.2 立即下载

  • 软件架构升级为64位,采集千万级别域名不会内存溢出 、新增主域名过滤功能比如要排除百度或163旗下的网址
  • 2020-01-13 更新版本: 3.1 立即下载

  • 加入采集域名后缀限制功能
  • 优化去重算法,增加后期稳定性
  • 修复数据量大时界面偶尔卡顿问题
  • 加入采集数量设置,到达后自动停止并保存
  • 2019-12-08 更新版本: 3.0 立即下载

  • 支持输入关键词启动爬虫
  • 界面更新-操作更简洁
  • 支持动态调整线程数
  • 修复长期运行时造成的界面卡死问题
  • 增加过滤二级域名选项
  • 采集性能加强
  • 2019-09-30 更新版本: 2.5 立即下载

  • 美化用户中心界面UI,提示最新版本
  • 新增标题/关键词/描述/是否HTTPS采集功能
  • 优化内核合并为单文件
  • 2019-08-16 更新版本: 2.0 立即下载

  • 改进多线程异步爬虫效率比1.0提升6倍
  • 增加最小化到托盘功能
  • 2019-08-2 更新版本: 1.0

  • 新软件发布上线!
  • 授权说明
  • 本站所有软件均为绿色软件,精简小巧无需安装,双击打开即可运行
  • 软件采用账号密码授权,可任意换电脑使用,但是最多允许同时2台电脑使用
  • 软件账户与本站账户互通,在本站注册的账号同时可以在软件中登录
  • 为了更好的为您提供服务,请勿将您的软件共享或转售给他人使用
  • 如有疑问请提交,客服会立即收到通知!
    • 全部评论(0
      还没有评论,快来抢沙发吧!

    软件大全 |交流社区

    冀ICP备14002589号-3 Copyright ©2019JJdede.comAll Rights Reserved.

    平台客服 979702097 10:00 - 18:00