Java爬虫可以非常溜

q-q56731526 / 2023-05-09 / 原文

Java 爬虫是一种利用 Java 语言编写的网络爬虫，主要用于从互联网上获取数据。在 Java 中，常用的爬虫框架有 Jsoup、HttpClient、Selenium 等。

其中 Jsoup 是一种解析 HTML 文档的 Java 库，可以方便地进行 HTML 解析和内容提取。HttpClient 是 Apache 组织开发的 Java HTTP 客户端库，可以模拟 HTTP 请求和响应。Selenium 是一个自动化测试工具，可以模拟用户在浏览器中的操作，对于需要进行登录等操作的网站比较有用。

使用 Java 爬虫需要注意一些法律和道德规范，如不得爬取他人的隐私数据、不得对网站造成过大的负担等。同时，也需要注意反爬虫机制，如设置 User-Agent、使用代理 IP 等方式来规避被封禁的风险。

xxl-crawler是某位大佬开源的一个java爬虫，熟悉java语言的用起来可以非常顺手。

0x01：新建工程，并在pom.xml文件引入

<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-crawler</artifactId>
    <version>1.2.2</version>
</dependency>

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.11.2</version>
</dependency>

0x02：编写页面数据对象

在此推荐两款工具，可以直观迅速的获取页面元素的Jquery cssQuery表达式。

Chrome DevTools：首先定位元素位置，然后从Element选中选中元素，点击右键选择“Copy + Copy selector”即可;

Chrome DevTools使用如图

Jquery Selector Helper（Chrome插件）：首先定位元素位置，然后从Element右侧打开Selector界面，然后定位元素即可；

package com.spider.page.vo;

import com.xuxueli.crawler.annotation.PageFieldSelect;
import com.xuxueli.crawler.annotation.PageSelect;
import com.xuxueli.crawler.conf.XxlCrawlerConf.SelectType;


@PageSelect(cssQuery = "body > div.container > div > div > table > tbody > tr")
public class GzGemasComCnPageMainVo {

    @PageFieldSelect(cssQuery = "td:nth-child(1)")
    private String code;

    @PageFieldSelect(cssQuery = "td:nth-child(2)")
    private String title;

    @PageFieldSelect(cssQuery = "td:nth-child(3)")
    private String status;

    @PageFieldSelect(cssQuery = "td:nth-child(4)")
    private String date;

    @PageFieldSelect(cssQuery = "td:nth-child(2) > a", selectType=SelectType.ATTR, selectVal="onclick")
    private String url;

    public String getCode() {
        return code;
    }

    public void setCode(String code) {
        this.code = code;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getStatus() {
        return status;
    }

    public void setStatus(String status) {
        this.status = status;
    }

    public String getDate() {
        return date;
    }

    public void setDate(String date) {
        this.date = date;
    }

    public String getUrl() {
        return url;
    }

    public void setUrl(String url) {
        this.url = url;
    }



}

0x03：创建爬虫爬取数据

XxlCrawler crawler = new XxlCrawler.Builder()
                .setUrls("http://gz.gemas.com.cn/portal/article/proList.shtml?proType=guquan&typeGz=G3T3&proSource=&pageIndex=1")
                .setAllowSpread(false) //允许扩散爬取，将会以现有URL为起点扩散爬取整站
                .setThreadCount(1)
                .setPageParser(new PageParser<GzGemasComCnPageMainVo>() {
                    @Override
                    public void parse(Document html, Element pageVoElement, GzGemasComCnPageMainVo gzGemasComCnPageVo) {
                        // 解析封装 PageVo 对象
                        String pageUrl = html.baseUri();
                        logger.info("pageUrl: " + pageUrl);
                        logger.info("Code: " + gzGemasComCnPageVo.getCode() + ", Title: " + gzGemasComCnPageVo.getTitle() 
                            + ", sdate: " + gzGemasComCnPageVo.getDate() + ", url: " + gzGemasComCnPageVo.getUrl()
                            + ", status: " + gzGemasComCnPageVo.getStatus());
                    }
                })
                .build();
crawler.start(true);