网络矿工采集器开源版

官方简介

网络矿工独有的代理轮询采集机制，可有效的解决网站屏蔽问题，同时还提供了网络雷达功能，可用于互联网数据动态监控，一套软件的价格两套软件的功效，绝对是您的首选!

功能特色

插件支持：

支持。net插件，用户可基于接口扩展自己个性化的功能，网络矿工提供了cookie获取、数据加工及数据发布的接口操作;

其他：

支持灵活的定时采集策略、数据监控、静默运行等多种附加功能，不仅可以方便用户的采集工作，也从数据采集实用角度大大丰富的软件的功能应用;当前版本为免费版本，可放心使用，部分功能在免费版本中会有限制!

数据采集：

以数据采集为核心提供了导航、多页、代理采集、跨层采集、文件下载、编码解码、参数配置等功能，确保在数据采集时可应对各种复杂的采集配置需求;

强大的采集能力：

支持各种编码、压缩采集，可实现U码转换、HTML代码转换，支持cookie、自定义HTTP Header，支持代理轮询、采集延时等多种设置，支持各种排重，具备断点续采能力;

可视化及智能：

全面支持可视化配置，从导航、翻页及数据采集规则，都支持可视化的配置;

数据加工：

提供了各种字符串的加工方式，可边采集边进行数据加工，同时也提供了专用的数据加工工具，可进行数据表合并、创建列、数据格式化等多种方式，最终可获取到高质量的数据信息;提供OCR识别能力，图片水印功能;

数据发布：

数据可发布到数据库(access、mssqlserver、mysql)，也可直接发布数据到网站，同时还提供了直接入库的模式，适应采集海量数据;

多种工具：

数据加工发布工具、日志工具、HTTP嗅探器、编解码助手、正则分析器、配置助手，全面辅助您完成配置工作;