iconDirEasy

网站信息抓取

如何为AI提交功能配置无头浏览器抓取

当您想使用DirEasy的AI提交功能时,可以配置无头浏览器来抓取网站信息。它会爬取网站的标题、描述、关键词、产品图片、logo等信息,并自动填充到提交表单中。

我们使用Browserless作为无头浏览器,它提供每月免费额度,也支持自托管。

设置环境变量

要启用此功能,请在您的.env文件中添加以下环境变量:

.env
BROWSER_LESS_TOKEN=
# 仅在使用自托管时需要设置基础域名
#BBROWSER_LESS_BASE_URL=

此功能为可选,但我们建议启用它,在以下情况下会自动启用:

  • 当使用fetch API获取网站信息失败时,DirEasy自动使用无头浏览器爬取网站信息
  • 当网站未提供开放图谱图片时,DirEasy自动使用无头浏览器截图

目录