【Scrapegraph-ai】AI取代爬虫工程师

视频教程

https://www.bilibili.com/video/BV1QZ421K7fh

简介

Github地址：Scrapegraph-ai
该项目可以使用大预言模型，对目标网站的内容进行爬取。真正做到，无需代码，动动嘴就取代爬虫
该项目可以使用ChatGPT等在线大模型（需要api费用），但接下来我会演示如何使用本地大语言模型（无需费用）

安装

一、安装ollama

在 Ollama官网 下载对应安装包，无脑下一步完成安装。

二、安装大预言模型

ollama pull llama3
ollama pull nomic-embed-text
ollama pull mistral

三、安装环境

1、 python官网 下载安装 python3.9+
2、 安装两个中间件

 pip install scrapegraphai
 playwright install

四、运行脚本

使用我的脚本：
链接：https://pan.quark.cn/s/637f0f372686

只需修改脚本中的 source 变量为目标网站
修改prompt 变量为 提示词（必须为英文）

python sc.py  # 运行

推荐本站淘宝优惠价购买喜欢的宝贝:

本文链接：https://sg.hqyman.cn/post/9212.html 非本站原创文章欢迎转载，原创文章需保留本站地址！

休息一下~~