适用于 WordPress 的 Crawlomatic Multisite Scraper Post Generator 插件

你可以用这个插件做什么？

适用于 WordPress 的 Crawlomatic Multisite Scraper Post Generator 插件 是一个突破边缘网站抓取和抓取，帖子生成器自动博客插件 它使用网站抓取和抓取将您的网站变成一个自动博客，甚至是一台赚钱机器！
从几乎任何网页获取内容！您不再需要需要注册并提供有限访问权限的 API，您也可以从非 API 提供网站检索数据。安排一次，让它像大师一样 7/24 自动为您发布帖子！

它是如何工作的？

该插件将抓取您提供给它的种子 URL（抓取意味着它将搜索网页包含的所有链接），并将访问并从每个抓取的 URL 中提取内容。抓取过程是可自定义的：您可以设置抓取深度、抓取速率、最大抓取文章数、仅抓取具有特定类或 ID 的链接以及更多自定义。

Crawlomatic v2.0 更新

在 v2.0 更新中，插件中添加了一个新的实时抓取短代码：[crawlomatic-scraper]。这项新功能使该插件成为易于实施的 WordPress 网络数据提取器。因此，它可用于将来自任何网站的实时数据直接显示到您的帖子、页面或侧边栏中。它还会暂时缓存抓取的内容，因此您的网站不会过度使用资源。您可以使用此插件包含实时股票报价、板球或足球比分或来自公共领域的任何其他通用内容！

此更新中包含的新功能：

• 抓取的输出可以通过自定义模板标签、页面中的短代码、帖子和侧边栏（通过文本小部件）显示。
• 抓取数据的可配置缓存。每个抓取的数据可以以分钟为单位定义缓存超时。
• 可以为每次抓取设置可配置的抓取工具用户代理。
• 可配置的默认设置，如启用、用户代理、超时、缓存、错误处理。
• 多种查询内容的方式 – CSS 选择器、XPath 或正则表达式、自动检测。
• 解析内容的广泛参数。
• 将帖子参数传递给要抓取的 URL 的选项。
• 将抓取的内容动态转换为指定的字符编码，以使用不同的字符集从站点抓取数据。
• 使用动态生成 URL 即时创建抓取页面，以根据页面的 get 或 post 参数抓取或发布参数。
• 用于对抓取数据进行高级解析的回调函数。

检查 V2 更新的官方文档，浏览示例并查看常见问题解答，以制作完美优化的网络抓取工具。

有关插件的更多信息

您可以从在浏览器中打开的几乎每个网站中抓取内容。如果内容是使用 JavaScript 加载的，则该插件可以与 PhantomJS 结合使用，以抓取 JavaScript 生成的内容。

此外，您可以自动生成无限数量的自定义网站抓取和抓取。

其他插件功能：

• v2.5.5 更新： 如果源站点发生变化，则自动更新抓取的帖子/页面/产品 + 如果抓取的 URL 在源站点上不再可用，则取消发布（设置为草稿）帖子/页面/产品（可选功能，可以启用/禁用）
• v2.5.1 更新： 从其他 WooCommerce/Shopify 商店抓取 WooCommerce 产品变体
• v2.5.0 更新： 从 Google 或 Bing 为您的自定义关键字搜索抓取搜索引擎结果。检查此新功能的教程视频.
• v2.4.1 更新： 抓取 WooCommerce 产品的产品图片库（对于非产品帖子类型，将从抓取的图片创建帖子附件）
• v2.3.5 更新： 在抓取的 HTML 上执行您自己的 JavaScript 代码并抓取结果 – 此功能仅在使用无头浏览器进行抓取 （Puppeteer/Tor/PhantomJS） 或 HeadlessBrowserAPI 时可用
• v2.2.1 更新： 抓取 RSS 提要以查找链接并抓取其中列出的文章
• v2.2.0 更新： 用无头浏览器API 从互联网上的任何网站抓取 JavaScript 生成的 HTML 内容，而无需在您的服务器上安装任何东西（除了此插件）–教程视频
• v2.1.0 更新： 使用 Tor 浏览器和 Puppeteer 从暗网抓取 .onion 网站！–教程视频
• v2.0.0 更新： 添加了 Live Scraper 简码，以获得更多的抓取控制和抓取能力：[crawlomatic-scraper]
• v1.7.1 更新： 支持站点地图抓取 –视频教程
• v1.6.5 更新： 添加了视觉内容选择器支持 –视频教程
• v1.6.0 更新： 添加了制作抓取页面的屏幕截图并在生成的帖子内容中使用它们的功能 –视频教程
• v1.5.2 更新： 能够缩短传出（帖子源）链接（并从中获利），使用Shorte.st 链接缩短服务 –缩短链接示例
• v1.4.8 更新： 添加了对抓取页面的 JavaScript 执行支持 – 需要在服务器上安装 PhantomJS –如何安装 PhantomJs？ – 视频教程
• v1.4.4 更新： 添加了为抓取页面设置多个代理的功能。该插件将在每次页面访问时随机选择一个
• v1.4.0 更新： 添加了分页抓取的功能（文章的抓取将在种子页的下一页继续）。
• v1.4.0 更新： 添加了为抓取产品导入产品价格的功能（兼容 WooCommerce）+ 直销价格自动修改 –视频教程
• v1.4.0 更新： 添加了将进口产品价格提高固定数字或将其乘以预定义数字的功能（对于直销来说非常有价值！
• v1.2.8 更新： 添加了分页帖子导入支持（到单个抓取的帖子中）检查：视频.
• v1.2.4 更新： 添加了为抓取页面设置代理的功能
• v1.2.3 更新： 添加了一个选项，用于在直接抓取失败（阻止）时从 Google 缓存中抓取页面
• 谷歌翻译支持 – 选择您要发布文章的语言
• 文本微调器支持 – 自动修改生成的文本，使用同义词更改单词 – 内置、The Best Spinner、SpinRewriter、WordAI、TurkceSpin 等 – 巨大的 SEO 价值！
• 可自定义生成的帖子状态（已发布、草稿、待处理、私人、垃圾箱）
• 列出此插件生成的所有帖子的短代码： [crawlomatic-list-posts type => ‘any’， order => ‘ASC’， ‘orderby’ => ‘date’， ‘posts’ => 50， ‘category’ => ”， ‘ruleid’ => ”]
• 抓取和抓取可以设置为尊重网站和机器人的robots.txt文件抓取页面的 HTML 标题
• 自动从市场商品生成帖子类别或标签
• 手动向项目添加帖子类别或标签
• 选择是否要更新已发布的帖子
• 将自定义 cookie 与请求一起发送到已抓取的网页（身份验证）
• 生成帖子或页面或任何自定义帖子类型
• 使用网站抓取和抓取嵌入来自 YouTube、Vimeo、Flickr、IGN、Ustream.tv 和 DailyMotion 的视频
• 定义发布约束：不发布没有图片的帖子、标题/内容短/长的帖子
• 自动为帖子生成特色图片
• 启用/禁用生成帖子的评论、pingback 或 trackbacks
• 自定义帖子标题和内容（包含各种相关帖子短代码）
• “关键字替换工具” – 其目的是定义自动替换为您的会员链接的关键字，无论它们出现在您网站内容中的任何位置。例如，您可以定义关键字“codecanyon”，并将其替换为 http://www.codecanyon.net/?ref=user_name 它出现在您网站内容中的任何位置。
• “随机句子生成器工具”（相关句子 – 如您定义的那样）
• 一段时间后自动删除生成帖子的选项
• 详细的插件活动日志记录
• 计划规则运行
• 对生成帖子的自定义字段支持
• 自定义分类法支持生成的帖子
• 无限抓取变量导入（无限导入抓取页面的部分）
• 在本地复制或不复制图像的选项
• 能够使用正则表达式解析 JSON 数据
• 将规范元标记添加到生成的帖子的选项
• 最大/最小标题长度帖子限制
• 最大/最小内容长度帖子限制
• 仅当在标题/内容中找到预定义的必需关键字时才添加帖子
• 仅当在标题/内容中找不到预定义的禁止关键字时才添加帖子
• 从文件保存和恢复插件规则列表

测试此插件

• 您可以使用 ‘测试站点生成器’.在这里您可以尝试该插件的全部功能。请注意，生成的测试博客将在 24 小时后自动删除。

插件要求

• PHP DOM ->如何安装它（如果你没有它，但你可能已经有它）： http://php.net/manual/en/dom.setup.php
• PHP 5.0 或更高
• dom、mbstring、iconv 和 json 扩展（默认启用）

有关如何配置插件的更多信息，请同时查看此 1 小时长的教程视频，涵盖了插件的完整功能集。

需要支持？

请检查我们的 知识库，它可能有您问题的答案或问题的解决方案。如果没有，请发送电子邮件至 support@coderevolution.ro 我会尽快回复。

更新日志：

版本 1.0 发布日期 2017-08-15

First version released!

版本 1.1 发布日期 2017-08-16

Fixed some small issues

版本 1.2 发布日期： 2017-08-17

Added the ability to crawl page by div class or id

版本 1.2.1 发布日期 2017-08-18

Fixed incompatibility with some WordPress installs

版本 1.2.2 发布日期 2017-08-22

Added a shortcode to display post generated by this plugin

版本 1.2.3 发布日期 2017-08-30

Added an option to crawl the page from Google cache when direct crawling fails (blocked)

版本 1.2.4 发布日期 2017-08-31

Added the ability to set proxies for crawling pages

版本 1.2.5 发布日期 2017-09-04

Added the canonicalization for generated articles

版本 1.2.6 发布日期 2017-09-13

Made the plugin timezone aware

版本 1.2.7 发布日期 2017-09-14

Fixed post date for non gmt blogs

版本 1.2.8 发布日期 2017-09-23

Added paginated post importing support

版本 1.2.9 发布日期： 2017-09-27

Bugfixes

版本 1.3.0 发布日期 2017-09-28

Fixed rule restore

版本 1.3.1 发布日期 2017-10-20

Fixed featured image generation

版本 1.3.2 发布日期 2017-10-22

Added crawling helper

版本 1.3.3 发布日期 2017-11-06

Fixed a memory issue

版本 1.3.4 发布日期 2017-11-07

Bugfixes

版本 1.3.5 发布日期 2017-12-14

Fixed class selector not working in all cases

版本 1.3.6 发布日期： 2017-12-18

Added the ability to specify a custom user agent for each crawled webpage

版本 1.3.7 发布日期 2018-01-20

Added a new text spinner service: Spinrewriter

版本 1.3.8 发布日期 2018-01-22

Plugin can now continuously import content

版本 1.3.9 发布日期 2018-02-02

Fixed issue when multiple crawl classes where specified

版本 1.4.0 发布日期 2018-02-22

Major update: added the ability to crawl imported product prices (WooCommerce compatible)
Added the ability to crawl serial content (paged crawling - crawling for articles will continue on the next page)

版本 1.4.1 发布日期 2018-03-07

Bugfixes

版本 1.4.2 发布日期 2018-03-21

Fixed a duplicate posting issue

版本 1.4.3 发布日期： 2018-03-22

Fixed a critical issue with multiple rule running

版本 1.4.4 发布日期 2018-04-04

Added the ability to define multiple proxies. The plugin will select one at random at each page access

版本 1.4.5 发布日期 2018-07-13

Updated built-in readability module

版本 1.4.6 发布日期 2018-07-16

Critical bugfixes

版本 1.4.7 发布日期 2018-07-19

Added the ability to not translate links

版本 1.4.8 发布日期 2018-09-05

Added JavaScript execution support for crawled pages - requires PhantomJS installed on server

版本 1.4.9 发布日期 2018-09-18

Bugfixes

版本 1.5.0 发布日期 2018-09-24

Added the ability to add custom post taxonomies from crawled content
Added the ability to add unlimited crawled variables to posts's content/ meta/ taxonomies

版本 1.5.1 发布日期 2018-10-16

Fixed issue when importing large pages

版本 1.5.2 发布日期 2018-10-24

Added the ability to shorten links using Shorte.st

版本 1.5.3 发布日期 2018-10-29

Fixed issue when importing paginated posts

版本 1.5.4 发布日期 2018-11-06

Added the ability to strip HTML elements by tag name (div,a,span,etc.)

版本 1.5.5 发布日期 2018-11-07

Added WooCommerce product category creation support

版本 1.5.6 发布日期 2018-12-16

Added nested importing support - import mixed content into a single post, from multiple plugins created by CodeRevolution

版本 1.5.7 发布日期： 2018-12-16

Added the ability to define a list of URLs to skip from crawling and importing

版本 1.5.8 发布日期 2019-01-08

Added the ability to import royalty free images for created posts

版本 1.5.9 发布日期 2019-01-12

Added Gutenberg blocks support

版本 1.6.0 发布日期 2019-02-01

Added the ability to make screenshots of scraped pages

版本 1.6.1 发布日期 2019-02-06

Improved compatibility with some crawled pages

版本 1.6.2 发布日期 2019-04-19

Security update

版本 1.6.3 发布日期 2019-05-15

Fixed some recently found bugs with post pagination

版本 1.6.4 发布日期 2019-05-17

Added support for TurkceSpin content spinner

版本 1.6.5 发布日期 2019-05-27

Added a much demanded new feature: Visual Content Selector for assigning scraped page content
Added the ability to scrape pages from bottom to top
Added the ability to replace words in scraped content
Other minor bug fixes and functionality improvements

版本 1.6.6 发布日期 2019-07-26

Fixed timeout issue with some crawled pages
Many small issues fixed and features improved

版本 1.6.7 发布日期 2019-08-05

Fixed issue with Google Translate

版本 1.6.8 发布日期 2019-11-15

WordPress 5.3 compatibility update

版本 1.6.9 发布日期 2020-05-11

New features added for content templates
Bugfix update

版本 1.7.0 发布日期： 2020-07-21

Added support for scraping more sites

版本 1.7.1 发布日期 2020-09-28

Added the ability to crawl sitemaps and to scrape posts linked in them
Added the ability to respect the directives set in the robots.txt files

版本 2.0.0 发布日期 2020-12-08

Added a new shortcode and Gutenberg block alternative that will enable live scraping of any website
Major performance improvement
Fixed reported bugs

版本 2.1.0 发布日期 2021-01-02

Added support for using the Tor Browser to crawl dark web sites! Scrape .onion websites like you would scrape any other public website!

版本 2.1.1 发布日期 2021-01-04

Added the ability to crawl and scrape pages using POST requests (POST form submission scraping support)

版本 2.2.0 发布日期 2021-01-14

Added support for HeadlessBrowserAPI to scrape JavaScript rendered content with ease

版本 2.2.1 发布日期 2021-01-16

PHP 8 compatibility update
Added support for crawling links from RSS feeds

版本 2.2.2 发布日期 2021-01-28

Fixed rare issue when saving importing rule settings on some PHP 8 configurations

版本 2.2.3 发布日期 2021-02-01

Improved content extraction algorithm

版本 2.2.4 发布日期 2021-02-17

Added the ability to not spin posts generated by specific rules

版本 2.2.5 发布日期 2021-03-07

Added the ability to enter multiple URLs (one per line) to be crawled and scraped

版本 2.2.6 发布日期 2021-03-07

Visual Selector improvements - now it will be able to use HeadlessBrowserAPI/Puppeteer/PhantomJS/Tor to visualize scrape content

版本 2.2.7 发布日期 2021-04-02

Fixed rare issues when crawling links with URL parameters

版本 2.2.8 发布日期 2021-04-07

Fixed rare issues with relative URL paths in crawled content

版本 2.2.9 发布日期 2021-05-03

Added the ability to skip publishing of new posts if not images found (separately, for each rule)

版本 2.3.0 发布日期 2021-05-19

Added the ability to make screenshots of websites using the HeadlessBrowserAPI feature

版本 2.3.1 发布日期 2021-06-10

Fixed content extracting/stripping in case of some websites with dynamically generated content

版本 2.3.2 发布日期 2021-07-15

Added multiple Regex expression support (for content stripping and replacement)

版本 2.3.3 发布日期 2021-07-18

Added SpinnerChief to the supported premium text spinners (SpinRewriter, The Best Spinner, WordAI, TurkceSpin)

版本 2.3.4 发布日期 2021-07-19

Added Bing Translator support (next to Google Translator and DeepL Translator)

版本 2.3.5 发布日期 2021-08-06

Added the ability to execute your own custom JavaScript on scraped pages when using headless browsers (PhantomJS/Puppeteer/Tor) or HeadlessBrowserAPI (XSS - cross site scripting feature) and scrape the resulting HTML content

版本 2.3.6 发布日期 2021-08-30

Added the ability to set featured images of posts from website screenshots
Added the ability to remove HTML content (leave text only) of XPath matched content

版本 2.3.7 发布日期 2021-09-02

Added the ability to set local storage objects when scraping websites (these are similar to cookies, their usage is supported only when using headless browsers or HeadlessBrowserAPI in conjunction with the plugin)

版本 2.3.8 发布日期 2021-09-15

Added the ability to set the WPML language to created posts

版本 2.3.9 发布日期 2021-10-19

WooCommerce product scraping related improvements

版本 2.4.0 发布日期 2022-02-28

Added support for creating WooCommerce product attributes and assign values to them from scraped data

版本 2.4.1 发布日期 2022-03-05

Added the ability to scrape image galleries for WooCommerce products

版本 2.4.1.1 发布日期 2022-03-21

Bugfix update

版本 2.4.2 发布日期 2022-04-20

Fixed Google Translator problem caused by a recent Google API update

版本 2.5.0 发布日期 2022-05-01

Crawlomatic now can scrape search engine results from Google and Bing - tutorial video: https://www.youtube.com/watch?v=h6fQeH9-X8c

版本 2.5.1 发布日期 2022-05-06

Added the ability to scrape WooCommerce product variations from Shopify and other WooCommerce products
Added the ability to automatically detect product prices
Improved readability module
Fixes and improvements

版本 2.5.2 发布日期 2022-06-14

Added the ability to translate posts a third time (acting like a Word Spinner, if the content is translated back to the original language

版本 2.5.3 发布日期 2022-06-23

Fixed WooCommerce price scraping related issue

版本 2.5.4 发布日期 2022-09-12

Added the ability to scrape links from TXT files

版本 2.5.5 发布日期 2022-10-14

Major update: post/page/product automatic updating if the scraped source URL changed

版本 2.5.6 发布日期 2022-11-30

Major update: added support for Google News scraping

版本 2.5.7 发布日期 2023-01-05

Added a new ability to HeadlessBrowserAPI to click on HTML elements by CSS selectors, enabling loading of Ajax content and bypassing Captchas which require a click

版本 2.5.8 发布日期： 2023-01-17

Added product regular price scraping feature to WooCommerce products - the regular price is the price displayed before the discount is applied. You can scrape this full price from the websites or add/multiply the original price to create it automatically

版本 2.5.9 发布日期 2023-02-10

Fixed Google News scraping after recent changes

版本 2.6.0 发布日期 2023-03-13

Added more DeepL languages
Multiline scraping expressions support added
Fixed all reported issues

版本 2.6.0.1 发布日期 2023-04-13

Fixed reported bugs

版本 2.6.0.2 发布日期 2023-05-10

Improved scraper auto detection

版本 2.6.0.3 发布日期 2023-05-22

Fixed more reported bugs

版本 2.6.0.4 发布日期 2023-06-13

Reworked backend, improved scraping speed

版本 2.6.0.5 发布日期 2023-06-29

Scraped content now better matches source site styling

版本 2.6.0.6 发布日期： 2023-07-28

Fixed Google Translate integration, working with latest changes

版本 2.6.0.7 发布日期 2023-10-18

Fixed PHP 8.2 related errors

版本 2.6.1 发布日期 2024-02-15

Fixed an issue with rule saving

版本 2.6.2 发布日期 2024-03-15

Visual selector fix for CSS issue happening in some cases

版本 2.6.3 发布日期 2024-07-12

Bugfix release
Purchase code verification now required for the plugin to function

版本 2.6.4 发布日期 2024-10-26

Content filtering improvements

版本 2.6.5 发布日期 2024-10-31

Added support for automatic Magento product variation scraping

版本 2.6.6 发布日期 2024-12-26

The plugin will detect if the same image was scraped before to the media library and will not scrape the same image twice, but will reuse the existing media library ID

版本 2.6.7 发布日期： 2025-03-28

Fixed reported issues

版本 2.6.8 发布日期： 2025-04-25

Supports WooCommerce product variation scraping from Rank Math JSON data from products

版本 2.6.8.1 发布日期： 2025-05-07

Fixed reported security issue

版本 2.6.8.2 发布日期 2025-05-16

Fixed reported critical security issue

版本 2.6.9 发布日期 2025-06-03

Fixed another security issue

您已经是客户了吗？

如果您已经购买了这个并且已经尝试过，请在该项目的评论部分与我联系并给我反馈，以便我可以使其成为更好的 WordPress 插件！

WordPress 6.8 和 PHP 8.4 已测试！

免責聲明
通过这个插件，您可以从各种网站中获取不属于您或不受您控制的内容。如果您在未经作者许可的情况下获取受版权保护的材料，插件的开发人员不对您的行为承担任何责任。此外，该插件的开发人员无法控制这些网站的性质、内容和可用性。

您喜欢我们的工作并想要更多吗？
退房 这个 MEGA 插件包.