jsoup api 用法

迈不过友情╰ 2022-09-25 07:18 4阅读 0赞

jsoup api  
在解析html过程中，需要处理一个标签下的所有子节点，从而达到识别每个图片节点，并将其插入到原来的文本位置中，然而node 和 element 的方法功能不同，关于节点(node)和元素(element)的区别这里不做解释。有疑问的请自行查询。有时候需要将node处理成element。但是，node不能直接转化为element，所以需要将node处理为document，然后通过selecter得到elements，从而对element处理。以下是处理过程中分别用到的node以及element的方法，以及他们的效果。

@Test
        public void test1(){
            try {
                List<NameValuePair> headers = new ArrayList<>();
                headers.add(new BasicNameValuePair("Host", "news.mtime.com"));
                headers.add(new BasicNameValuePair("Accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"));
                String html = HttpUtil.get("http://news.mtime.com/2016/08/15/1558626.html", headers, "utf-8");
                Document doc = Jsoup.parse(html);
                Elements e = doc.select("#newsContent");
                for(Element d:e){
                    List<Node> nodes = new ArrayList<>();
                    System.out.println(d.children()); //element.children()只提取元素，没有文字节点
                    nodes = d.childNodes();
                    System.out.println(nodes+"\n"+d.childNodeSize());
                    for(int i=0;i<nodes.size();i++){ 
                        System.out.println(i);
                        Document doc1 = Jsoup.parse(nodes.get(i).outerHtml()); 
    //                  Document doc1 = nodes.get(i).ownerDocument(); //整个html文件
                        System.out.println(doc1.text());
                        System.out.println(Jsoup.parse(nodes.get(i).toString()));
                        System.out.println(nodes.get(i).outerHtml()+":"+doc1);
                        System.out.println(nodes.get(i).nodeName());
                        System.out.println(doc1.select(".newspictool").toArray().length);
                    }
                }
    
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

输出结果

<div class="newspictool right">
     <div>
      <div class="newspictooler none">
       <div method="imgtool" class="imgtool">
        <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115157.79571439_620X620.jpg" width="310">
       </div>
      </div>
     </div>
    </div>
    <b>时光网讯</b>
    <span>《西游记》</span>
    <a href="http://people.mtime.com/1254230/" target="_blank" class="tagnews" method="personidcard" personid="1254230">张纪中</a>
    <a href="http://people.mtime.com/989554/" target="_blank" class="tagnews" method="personidcard" personid="989554">黄奕</a>
    <a href="http://people.mtime.com/1000876/" target="_blank" class="tagnews" method="personidcard" personid="1000876">李明启</a>
    <br>
    <br>
    <br>
    <br>
    <br>
    <br>
    <div class="newspictool left">
     <div>
      <div class="newspictooler none">
       <div method="imgtool" class="imgtool">
        <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115206.54062321_620X620.jpg" width="310">
       </div>
      </div>
     </div>
    </div>
    <br>
    <br>
    <br>
    <br>
    [<div class="newspictool right">
     <div>
      <div class="newspictooler none">
       <div method="imgtool" class="imgtool">
        <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115157.79571439_620X620.jpg" width="310">
       </div>
      </div>
     </div>
    </div>,        , <b>时光网讯</b>,   , <span>《西游记》</span>, 全国演员海选启动仪式近日在京举行，导演, <a href="http://people.mtime.com/1254230/" target="_blank" class="tagnews" method="personidcard" personid="1254230">张纪中</a>, 、, <a href="http://people.mtime.com/989554/" target="_blank" class="tagnews" method="personidcard" personid="989554">黄奕</a>, 、, <a href="http://people.mtime.com/1000876/" target="_blank" class="tagnews" method="personidcard" personid="1000876">李明启</a>, 作为海选评委会成员出席。张纪中透露，《西游记》将拍摄成选秀节目以及系列剧在网络播出。, <br>, <br>,        当被质疑以“西游记”命名有糟蹋经典IP的嫌疑，张纪中回应说：“每一次经典被翻拍，都有人认为是糟蹋了经典。但那些发表意见的人，他们就不糟蹋了吗？怎么样才算不糟蹋？不糟蹋就是把它尘封起来放在一边？那这个东西就意义不大。我觉得糟不糟蹋精品，关键是看我们这些做的人怎么做。”, <br>, <br>,        张纪中认为，网络时代的《西游记》不能重复老版戏曲化的表演方式，“齐天大圣穿着戏曲服装，仙宫地上飘着雾，这些都过时了。”他告诫选手要做好为剧奉献的精神准备，不要想借此一夜成名。, <br>, <br>, <div class="newspictool left">
     <div>
      <div class="newspictooler none">
       <div method="imgtool" class="imgtool">
        <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115206.54062321_620X620.jpg" width="310">
       </div>
      </div>
     </div>
    </div>,        担任评委会主席的张纪中表示，《西游记》作为经典名著，没有版权之说，但要突破非常难：“像六小龄童、周星驰这样的经典很难超越，只能怀着尊敬的心情，用心尽力做好这件事。”张纪中曾执导过电视剧版《西游记》，但他表示自己不会再拍新版，“已经没那个劲了”。他表示此次活动的具体创作过程自己没有参与，目前只担任了评委工作。, <br>, <br>,        据介绍，举办此次活动要做三件事，第一，每个月都会开设大型综艺海选节目，根据线上投票和评委会评选选出前一百名，进行宣传推广；第二是在选秀三个月后，将结合《西游记》主题公园拍摄永不落幕的西游记系列剧，前十名将进行综艺深度包装，并可获得西游记系列剧的参演资格；第三是将会在明年立项开始经典名著《西游记》的拍摄。, <br>, <br>]
    27
    0
    
    <html>
     <head></head>
     <body>
      <div class="newspictool right"> 
       <div> 
        <div class="newspictooler none"> 
         <div method="imgtool" class="imgtool"> 
          <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115157.79571439_620X620.jpg" width="310"> 
         </div> 
        </div> 
       </div> 
      </div>
     </body>
    </html>
    <div class="newspictool right">
     <div>
      <div class="newspictooler none">
       <div method="imgtool" class="imgtool">
        <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115157.79571439_620X620.jpg" width="310">
       </div>
      </div>
     </div>
    </div>:<html>
     <head></head>
     <body>
      <div class="newspictool right"> 
       <div> 
        <div class="newspictooler none"> 
         <div method="imgtool" class="imgtool"> 
          <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115157.79571439_620X620.jpg" width="310"> 
         </div> 
        </div> 
       </div> 
      </div>
     </body>
    </html>
    div
    1
    1
    
    <html>
     <head></head>
     <body>
             
     </body>
    </html>
           :<html>
     <head></head>
     <body>
             
     </body>
    </html>
    #text
    0
    2
    时光网讯
    <html>
     <head></head>
     <body>
      <b>时光网讯</b>
     </body>
    </html>
    <b>时光网讯</b>:<html>
     <head></head>
     <body>
      <b>时光网讯</b>
     </body>
    </html>
    b
    0
    3
    
    <html>
     <head></head>
     <body>
        
     </body>
    </html>
      :<html>
     <head></head>
     <body>
        
     </body>
    </html>
    #text
    0
    4
    《西游记》
    <html>
     <head></head>
     <body>
      <span>《西游记》</span>
     </body>
    </html>
    <span>《西游记》</span>:<html>
     <head></head>
     <body>
      <span>《西游记》</span>
     </body>
    </html>
    span
    0
    5
    全国演员海选启动仪式近日在京举行，导演
    <html>
     <head></head>
     <body>
      全国演员海选启动仪式近日在京举行，导演
     </body>
    </html>
    全国演员海选启动仪式近日在京举行，导演:<html>
     <head></head>
     <body>
      全国演员海选启动仪式近日在京举行，导演
     </body>
    </html>
    #text
    0
    6
    张纪中
    <html>
     <head></head>
     <body>
      <a href="http://people.mtime.com/1254230/" target="_blank" class="tagnews" method="personidcard" personid="1254230">张纪中</a>
     </body>
    </html>
    <a href="http://people.mtime.com/1254230/" target="_blank" class="tagnews" method="personidcard" personid="1254230">张纪中</a>:<html>
     <head></head>
     <body>
      <a href="http://people.mtime.com/1254230/" target="_blank" class="tagnews" method="personidcard" personid="1254230">张纪中</a>
     </body>
    </html>
    a
    0
    7
    、
    <html>
     <head></head>
     <body>
      、
     </body>
    </html>
    、:<html>
     <head></head>
     <body>
      、
     </body>
    </html>
    #text
    0
    8
    黄奕
    <html>
     <head></head>
     <body>
      <a href="http://people.mtime.com/989554/" target="_blank" class="tagnews" method="personidcard" personid="989554">黄奕</a>
     </body>
    </html>
    <a href="http://people.mtime.com/989554/" target="_blank" class="tagnews" method="personidcard" personid="989554">黄奕</a>:<html>
     <head></head>
     <body>
      <a href="http://people.mtime.com/989554/" target="_blank" class="tagnews" method="personidcard" personid="989554">黄奕</a>
     </body>
    </html>
    a
    0
    9
    、
    <html>
     <head></head>
     <body>
      、
     </body>
    </html>
    、:<html>
     <head></head>
     <body>
      、
     </body>
    </html>
    #text
    0
    10
    李明启
    <html>
     <head></head>
     <body>
      <a href="http://people.mtime.com/1000876/" target="_blank" class="tagnews" method="personidcard" personid="1000876">李明启</a>
     </body>
    </html>
    <a href="http://people.mtime.com/1000876/" target="_blank" class="tagnews" method="personidcard" personid="1000876">李明启</a>:<html>
     <head></head>
     <body>
      <a href="http://people.mtime.com/1000876/" target="_blank" class="tagnews" method="personidcard" personid="1000876">李明启</a>
     </body>
    </html>
    a
    0
    11
    作为海选评委会成员出席。张纪中透露，《西游记》将拍摄成选秀节目以及系列剧在网络播出。
    <html>
     <head></head>
     <body>
      作为海选评委会成员出席。张纪中透露，《西游记》将拍摄成选秀节目以及系列剧在网络播出。
     </body>
    </html>
    作为海选评委会成员出席。张纪中透露，《西游记》将拍摄成选秀节目以及系列剧在网络播出。:<html>
     <head></head>
     <body>
      作为海选评委会成员出席。张纪中透露，《西游记》将拍摄成选秀节目以及系列剧在网络播出。
     </body>
    </html>
    #text
    0
    12
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    13
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    14
           当被质疑以“西游记”命名有糟蹋经典IP的嫌疑，张纪中回应说：“每一次经典被翻拍，都有人认为是糟蹋了经典。但那些发表意见的人，他们就不糟蹋了吗？怎么样才算不糟蹋？不糟蹋就是把它尘封起来放在一边？那这个东西就意义不大。我觉得糟不糟蹋精品，关键是看我们这些做的人怎么做。”
    <html>
     <head></head>
     <body>
             当被质疑以“西游记”命名有糟蹋经典IP的嫌疑，张纪中回应说：“每一次经典被翻拍，都有人认为是糟蹋了经典。但那些发表意见的人，他们就不糟蹋了吗？怎么样才算不糟蹋？不糟蹋就是把它尘封起来放在一边？那这个东西就意义不大。我觉得糟不糟蹋精品，关键是看我们这些做的人怎么做。”
     </body>
    </html>
           当被质疑以“西游记”命名有糟蹋经典IP的嫌疑，张纪中回应说：“每一次经典被翻拍，都有人认为是糟蹋了经典。但那些发表意见的人，他们就不糟蹋了吗？怎么样才算不糟蹋？不糟蹋就是把它尘封起来放在一边？那这个东西就意义不大。我觉得糟不糟蹋精品，关键是看我们这些做的人怎么做。”:<html>
     <head></head>
     <body>
             当被质疑以“西游记”命名有糟蹋经典IP的嫌疑，张纪中回应说：“每一次经典被翻拍，都有人认为是糟蹋了经典。但那些发表意见的人，他们就不糟蹋了吗？怎么样才算不糟蹋？不糟蹋就是把它尘封起来放在一边？那这个东西就意义不大。我觉得糟不糟蹋精品，关键是看我们这些做的人怎么做。”
     </body>
    </html>
    #text
    0
    15
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    16
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    17
           张纪中认为，网络时代的《西游记》不能重复老版戏曲化的表演方式，“齐天大圣穿着戏曲服装，仙宫地上飘着雾，这些都过时了。”他告诫选手要做好为剧奉献的精神准备，不要想借此一夜成名。
    <html>
     <head></head>
     <body>
             张纪中认为，网络时代的《西游记》不能重复老版戏曲化的表演方式，“齐天大圣穿着戏曲服装，仙宫地上飘着雾，这些都过时了。”他告诫选手要做好为剧奉献的精神准备，不要想借此一夜成名。
     </body>
    </html>
           张纪中认为，网络时代的《西游记》不能重复老版戏曲化的表演方式，“齐天大圣穿着戏曲服装，仙宫地上飘着雾，这些都过时了。”他告诫选手要做好为剧奉献的精神准备，不要想借此一夜成名。:<html>
     <head></head>
     <body>
             张纪中认为，网络时代的《西游记》不能重复老版戏曲化的表演方式，“齐天大圣穿着戏曲服装，仙宫地上飘着雾，这些都过时了。”他告诫选手要做好为剧奉献的精神准备，不要想借此一夜成名。
     </body>
    </html>
    #text
    0
    18
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    19
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    20
    
    <html>
     <head></head>
     <body>
      <div class="newspictool left"> 
       <div> 
        <div class="newspictooler none"> 
         <div method="imgtool" class="imgtool"> 
          <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115206.54062321_620X620.jpg" width="310"> 
         </div> 
        </div> 
       </div> 
      </div>
     </body>
    </html>
    <div class="newspictool left">
     <div>
      <div class="newspictooler none">
       <div method="imgtool" class="imgtool">
        <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115206.54062321_620X620.jpg" width="310">
       </div>
      </div>
     </div>
    </div>:<html>
     <head></head>
     <body>
      <div class="newspictool left"> 
       <div> 
        <div class="newspictooler none"> 
         <div method="imgtool" class="imgtool"> 
          <img src="http://img31.mtime.cn/CMS/News/2016/08/15/115206.54062321_620X620.jpg" width="310"> 
         </div> 
        </div> 
       </div> 
      </div>
     </body>
    </html>
    div
    1
    21
           担任评委会主席的张纪中表示，《西游记》作为经典名著，没有版权之说，但要突破非常难：“像六小龄童、周星驰这样的经典很难超越，只能怀着尊敬的心情，用心尽力做好这件事。”张纪中曾执导过电视剧版《西游记》，但他表示自己不会再拍新版，“已经没那个劲了”。他表示此次活动的具体创作过程自己没有参与，目前只担任了评委工作。
    <html>
     <head></head>
     <body>
             担任评委会主席的张纪中表示，《西游记》作为经典名著，没有版权之说，但要突破非常难：“像六小龄童、周星驰这样的经典很难超越，只能怀着尊敬的心情，用心尽力做好这件事。”张纪中曾执导过电视剧版《西游记》，但他表示自己不会再拍新版，“已经没那个劲了”。他表示此次活动的具体创作过程自己没有参与，目前只担任了评委工作。
     </body>
    </html>
           担任评委会主席的张纪中表示，《西游记》作为经典名著，没有版权之说，但要突破非常难：“像六小龄童、周星驰这样的经典很难超越，只能怀着尊敬的心情，用心尽力做好这件事。”张纪中曾执导过电视剧版《西游记》，但他表示自己不会再拍新版，“已经没那个劲了”。他表示此次活动的具体创作过程自己没有参与，目前只担任了评委工作。:<html>
     <head></head>
     <body>
             担任评委会主席的张纪中表示，《西游记》作为经典名著，没有版权之说，但要突破非常难：“像六小龄童、周星驰这样的经典很难超越，只能怀着尊敬的心情，用心尽力做好这件事。”张纪中曾执导过电视剧版《西游记》，但他表示自己不会再拍新版，“已经没那个劲了”。他表示此次活动的具体创作过程自己没有参与，目前只担任了评委工作。
     </body>
    </html>
    #text
    0
    22
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    23
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    24
           据介绍，举办此次活动要做三件事，第一，每个月都会开设大型综艺海选节目，根据线上投票和评委会评选选出前一百名，进行宣传推广；第二是在选秀三个月后，将结合《西游记》主题公园拍摄永不落幕的西游记系列剧，前十名将进行综艺深度包装，并可获得西游记系列剧的参演资格；第三是将会在明年立项开始经典名著《西游记》的拍摄。
    <html>
     <head></head>
     <body>
             据介绍，举办此次活动要做三件事，第一，每个月都会开设大型综艺海选节目，根据线上投票和评委会评选选出前一百名，进行宣传推广；第二是在选秀三个月后，将结合《西游记》主题公园拍摄永不落幕的西游记系列剧，前十名将进行综艺深度包装，并可获得西游记系列剧的参演资格；第三是将会在明年立项开始经典名著《西游记》的拍摄。
     </body>
    </html>
           据介绍，举办此次活动要做三件事，第一，每个月都会开设大型综艺海选节目，根据线上投票和评委会评选选出前一百名，进行宣传推广；第二是在选秀三个月后，将结合《西游记》主题公园拍摄永不落幕的西游记系列剧，前十名将进行综艺深度包装，并可获得西游记系列剧的参演资格；第三是将会在明年立项开始经典名著《西游记》的拍摄。:<html>
     <head></head>
     <body>
             据介绍，举办此次活动要做三件事，第一，每个月都会开设大型综艺海选节目，根据线上投票和评委会评选选出前一百名，进行宣传推广；第二是在选秀三个月后，将结合《西游记》主题公园拍摄永不落幕的西游记系列剧，前十名将进行综艺深度包装，并可获得西游记系列剧的参演资格；第三是将会在明年立项开始经典名著《西游记》的拍摄。
     </body>
    </html>
    #text
    0
    25
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0
    26
    
    <html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    <br>:<html>
     <head></head>
     <body>
      <br>
     </body>
    </html>
    br
    0