体验ChatGPT写PHP采集程序

栏目分类：站长杂谈    发布日期：2023-04-14    浏览次数：1717次     收藏

提问：用PHP写一个程序，采集指定内容页网址，自动识别标题和文章内容区域并采集返回JSON

<?php
$url = $_POST['url']; //获取前端传来的内容页网址
$html = file_get_contents($url); //获取页面的HTML代码

//使用正则表达式匹配文章标题和内容区域
preg_match('/<title>(.*?)<\/title>/i', $html, $title);
preg_match('/<article[^>]*>(.*?)<\/article>/si', $html, $content);

$data = array(
    'title' => strip_tags($title[1]), //去除HTML标签
    'content' => strip_tags($content[1]) //去除HTML标签
);

echo json_encode($data); //将结果以JSON格式返回
?>

以上代码仅供参考，实际采集过程中可能需要根据具体情况对正则表达式进行调整。另外，为了避免采集到的数据受到不必要的干扰，你还可以对HTML代码进行清洗，去除无用标签和属性。

补充提问：内容区域和标题区域是不确定的，需要根据内容的权重以及密集度自动识别标题和内容区域

回答如下：

这个需求比较复杂，需要使用一些自然语言处理或机器学习的技术，来对页面内容进行分析和解析，从而自动识别标题和内容区域。以下是一个简单的实现方案，供你参考：

1. 获取页面的HTML代码，并去除无用的标签和属性。

2. 使用Python的BeautifulSoup库或PHP的DOMDocument，对HTML文档进行解析，构建DOM树。

3. 针对不同类型的网站和文章，制定相应的规则和算法，来识别和提取标题和内容。比如：

• 对于大多数新闻网站，标题通常在h1标签中，而正文内容则在article或p标签中，可以根据这些特点来提取。

• 对于博客或论坛网站，标题和正文通常出现在正文的最上方，或是由用户手动输入的，可以通过分析HTML代码结构，提取最可能的标题和内容区域。

4. 进行内容的权重分析和密集度计算。可以使用TF-IDF算法等技术来计算关键词的权重，同时结合CSS样式和HTML标签等信息，来识别内容的密集度和关键线索。

5. 最终，根据计算结果和预设的规则，来提取最终的标题和内容，并将结果以JSON格式返回。

需要注意的是，这种方法仅仅是基于规则和算法来分析文章和页面，准确性和可靠性还需要多次测试和优化。对于不同类型和风格的网站和文章，可能需要针对性地设计不同的规则和算法，才能达到更好的效果。

回答如下：好的，以下是一个基于Python 3和BeautifulSoup库的示例代码，可以根据内容的权重和密集度自动识别标题和内容区域，并将结果以JSON格式返回。

import urllib.request
import urllib.parse
import json
import re
from bs4 import BeautifulSoup

def extract_content(url):
    # 获取页面HTML代码并去除无用标签和属性
    html = urllib.request.urlopen(url).read()
    soup = BeautifulSoup(html, 'html.parser')
    for script in soup(['script', 'style']):
        script.decompose() # 去除无用标签和属性
    
    # 根据规则和算法，提取最可能的标题和内容区域
    title = soup.find('h1').text.strip() # 提取标题
    
    content = ''
    max_score = -1
    for tag in soup.find_all(re.compile('^h\d$|^p$')):
        # 计算该标签内的所有文本的权重
        score = 0
        for text in tag.stripped_strings:
            # 计算关键词的权重
            for keyword in ['新冠病毒', '病毒传播', '口罩', '疫苗', '病例统计', '预防措施']:
                score += text.count(keyword)
        # 根据CSS样式和HTML标签等信息，计算标签密集度
        density = len(tag.text) / (tag.get('class') or tag.name).count(' ') ** 0.5
        # 计算总分数
        weight = score / density
        # 找出权重最大的标签
        if weight > max_score:
            max_score = weight
            content = tag.text.strip()
    
    # 将结果以JSON格式返回
    data = {
        'title': title,
        'content': content
    }
    return json.dumps(data)

print(extract_content('https://techcrunch.com/2021/03/01/heres-how-covid-19-is-changing-tech-spending-plans/'))

以上代码仅供参考，实际实现中可能需要根据具体情况进行调整和优化。为了提高代码的可读性和可维护性，你可以将规则和算法抽象成单独的函数或类，并且使用一些高级的NLP和机器学习算法来提高精度和效率。

PS：不过最后次给的代码是python的。毕竟PHP在NLP领域的积累是比不上Python的，所以也就能理解了~