步骤1:创建采集任务
1)打开后羿采集器,进入主界面,点击创建任务按钮创建 "向导采集任务"
2)输入58二手房网站的URL,包括三种方式
1、手动输入:在输入框中直接输入URL,多个URL时须要换行分割
2、点击从文件中读取方式:用户选择一个存放URL的文件,文件中可以有多个URL地址,地址须要换行分割。
3、批量添加方式:通过添加并调整地址参数生成多个有规律的地址
步骤2:定制采集过程
1)点击创建后自动打开第一个URL进而进入向导设置,点击下一步进入列表页
2)在想要采集的元素所在的列表块中挑选一块,并点击块内想要抽取的元素
3)再点击列表中的其他一块,可以自动选中整个列表,点击下一步
4)选择下一页按钮,选中选择下一页选项,然后点击页面中的下一页按钮填充第一个输入框,第二个数据框可以调节任务运行中点击下一页按钮的次数。理论上次数越多,采集到的数据结果越多。点击下一步
5)在焦点框中点击选择要采集的字段。下方会显示采集到的结果,针对每个字段的结果可以设置抽取的方式,双击字段可编辑。点击下一步。
6)选择是否进入详情页面,进入详情页须要点击焦点框中可以点击进入详情页的元素,输入框中会得到该元素的xpath,点击下一步
7)在详情页中可以继续点击添加字段,此处添加二手房价格、*室*卫*厅、房源面积、楼层号,所在小区位置,点击保存或保存并运行
步骤3:数据采集及导出
1)采集任务运行中
2)采集完成后,选择“导出数据”可以把数据都导出到本地文件
3)选择“导出方式”,将采集好的数据导出,这里可以选择excel作为导出为格式
4)采集数据导出后如下图