火车头采集(LocoySpider)是一款非常专业的批量采集网络数据工具,火车头采集(LocoySpider)功能强大软件功能非常强大,界面简洁明晰、操作方便快捷,设计得很人性化,火车采集器(LocoySpider)通过灵活的配置,您可以很轻松的从网页上抓取文字、图片、文件等任何资源,无论新闻、论坛、视频、黄页、图片、下载类网站,只要通过浏览器能看到的结构化的内容,通过指定匹配规则,都能采集到您所需要的内容,需要的朋友就来下载体验吧,小编下面给大家说说一些设置技巧吧,希望可以帮助到大家。
软件特色:
分布式高速采集
任务被分发到多个客户端,并且收集在同一时间运行,这使效率提高了一倍。
多识别系统
配备多种识别系统,例如文本识别,中文分词识别,任意代码识别等,使智能识别操作更加轻松。
可选验证方式
您可以随时选择是否使用加密狗来确保数据安全。
全自动运行
无需手动操作,它将在任务完成后自动关闭。
替换功能
同义,同义单词替换,参数替换,伪原始必不可少的技能。
任意文件格式下载
可以轻松下载任何格式的文件,例如图片,压缩文件和视频。
采集监控系统
实时监控采集,确保数据的准确性。
支持多数据库
支持Access/MySQL/MsSQL/Sqlite/Oracle多种类型的数据库保存及发布。
无限级多页采集
支持包含ajax请求数据在内的多个页面信息的无限级采集。
支持扩展
支持接口和插件扩展,满足各种采发需求。
功能介绍:
真正通用
收集无限的网页,无限的内容,支持多个扩展并打破操作限制。 您决定选择什么以及如何选择!
高效稳定
分布式高速采集系统,多个大型服务器可同时稳定运行,快速分解任务并最大化效率。
性价比高
高性能产品,价格适中,“为客户节省成本,提高价值”,是列车收藏家的服务理念。
数据精准
内置采集监控系统,实时报告错误并及时修复; 在收集和发布期间零遗漏数据,为用户提供最准确的数据。
使用技巧:
登录信息设置:对于某些需要登录的网站,您需要设置此项目。
单击设置按钮跳到第四步其他设置-Http请求设置
火车头采集(LocoySpider)设置技巧图2
单击“使用浏览器获取网页登录信息”按钮,登录URL,输入帐户密码,然后关闭窗口
火车头采集(LocoySpider)设置技巧图3
这样,登录信息已经记录在收集器中,这就是我们通常所说的Cookie和User-Agent。
更新日志:
用于辅助代理服务器的新的Socks代理
在任务运行过程中,您可以修改线程数和其他参数,实时调整运行速度,并添加功能以检查任务运行的当前速度和总体速度
支持SSH(SFTP文件)上传
内容提取增加了JSON提取方法,更容易提取JSON数据
插件编辑器添加了一个C#源代码文件插件,该插件类似于PHP源代码插件,该插件在编辑后直接生效,但是比PHP源代码插件支持更多的插件接口。
该软件崩溃并支持保存未完成任务的进度
新增消息机制
V9合并了收集URL和内容的方法,使用不同的队列进行列表收集和内容收集的队列,优化了收集过程,并将更新数据内容的方法从“更新”更改为“插入”,从而大大提高了收集和存储的速度;
任务运行合并到一个统一的界面中,并添加了“实时数据”查看和“任务详细信息”统计信息;修改了原来的无限级列表页面URL获取方式,使无限级配置操作更加轻松;
字段重复性比较功能不再使用数据库的独特方法,而是更改为内存Md5_16比较,这更加准确;
标签数据的来源更加详细,可以设置为从源代码中提取默认页面,页面调度和多个页面的URL地址和返回标头信息。