数据抓取

无需更改任何代码，文件上传网站直接调用就可以。 调用方法：域名/?url= 示例：http://www.baidu.com/?url= 支持二级目录或多级目录...

简易高效的代理池，提供如下功能： 定时抓取免费代理网站，简易可扩展。 使用 Redis 对代理进行存储并对代理可用性进行排序。 定时测试和筛选，剔除不可用代理，留下可用代理。 提供代理 API，随机取用测试通过的可用代理。 代理池原理解析可见「如何搭建一个高效的代理池」，建议使用之前阅读。 使用准备 首先当然是克隆代码并进入 ProxyPool 文件夹： git clone https://git…...

本工具是基于兴趣及代码研究所创作，严禁用于商业用途及任何不法用途。本代码完全免费，严禁任何人将本代码用于出售及其它类似商业行为。 94采集器是一款非常受欢迎的可用于linux或者windows双平台的采集系统。相对于关关只能在Windows上运行来说，太香了。 但是94采集器也有一些缺点，比较代码全是中文，中文函数，中文变量，中文类，非常难以理解。另外就是采集效率上，94是比较容易内存溢出的，导致…...

爬虫爬多了总会被封IP，这个时候你需要去找代理。现在的代理方式主要有代理ip池，每次请求几个ip都是自定义的，这种一年普遍的价格是600￥；还有一种叫隧道代理，就是你访问的是固定的域名：端口的形式，然后服务端会使用不固定的代理ip访问，这种和代理ip池其实没有本质区别，只是一种是自己直接使用代理ip爬取，一种是使用远程服务器爬取并返回内容。这种隧道代理现在普遍好像要3000￥一年，真的是贵的不行了…...

__init__.py 新建文件 ，内容如下 import os from flask import Flask from config import Config from datetime import timedelta from app.logs import log from app.helper import filehelper, taskhelper from app.helper…...

介绍 我们想确定一个网站的真实IP地址，通常现在网站都会使用https协议，用到SSL证书是必不可少的，绝大多数企业证书都是通配符证书，因此我们可以把证书的序列号拿下来然后搜索这个证书用在了哪些业务里，然后如果部分业务中没有使用CDN或者没有覆盖到CDN，源IP地址就显示出来了！ Fofa 快捷入口 教程 这里以知乎网站为例，我们先访问网站，然后按F12打开开发者工具，点击Security 点击V…...

解压后看到的文件有： 其中discusX3.0.wpm 是发布模块，dz测试接口.ljobx 是用于测试的规则，以后不要问规则该怎么写了，就按照这个格式写。 1，上传接口 根据自己的网站编码选择GBk或者utf8文件下下面的接口文件，jiekou.php，这个接口有个密码，默认是123456，如果想要修改，就打开这个jiekou.php,修改： 就是上图这个，把默认的“123456”修改成你想要的…...

高铁火车头采集器破解版是一款非常好用很受大众喜爱的网络数据采集整理软件。这款软件几乎是所有的网页都可以采集，所涉及的范围非常的广，无论是什么语言还是编码，而且这款软件能力非常的强大。它的收集速度是普通收集器的7倍之多，其中采用了最顶级的配置系统以及经过制作方的反复性能优化，让用户的采集采集速度快到飞起。用户还可以批量的进行任务处理。大大的提高工作效率。有需要的用户快来下载体验吧！...

前言 在使用杰奇CMS建小说站的同时，往往会配套使用关关采集器进行采集小说内容，但是关关采集器需要安装在windows系统上，如果想长期建设和维护小说站，对windows系统配置（cpu、内存、硬盘）是有一定的要求，前期投入费用不低。 本文介绍的94采集器是一款杰奇Linux系统采集器，即可以安装在linux上，这样能实现将杰奇CMS和采集器同时安装在Linux上。如果你有一台Linux主机，现在…...

1 概述 94采集器支持单书号文章采集、书号列表采集、分类列表采集等方式，可以实现对目标站全量、分批采集，完全可以满足个人运营采集的需求。 2 添加任务视频教程 见上面视频 3 任务参数配置 主要参数说明 任务ID：空白，后期生成会自动补数据规则ID：选择采集规则任务名称：随便写间隔时间：这里的单位是秒，数据太小，会导致采集源站屏蔽，一般600-1800秒添加类型：有四个选项，一般默认选“添加” …...

之前讲解了94采集器的安装，从本文开始讲解94采集系统的设置，指导大家一步步实现linux系统下的杰奇cms小说采集。 94采集器设置管理 1 系统设置视频教程 见上方视频 2 数据库设置 根据自己的杰奇cms小说网站的数据库信息进行设置，如下截图所示： 3 系统设置 注意：文本格式根据自己小说站模板的格式来进行设置 4 分类设置 包含大类设置（一级分类）和小类设置（二级分类），其实和使用关关采集…...

94采集器的系统配置完成后，接下来就是采集规则编写，利用采集规则对目标站进行采集。 1 概述 可以直接导入已有的采集规则，也可以自己编写新规则；采集规则有两种编写方式，分别是正则规则和CSS规则。 2 采集规则编写视频教程 最上面。 3 手工导入已有规则 94采集器系统中，规则列表栏目下，直接点击“导入”即可，本文提供了几个已有的规则供大家下载（附件）。 4 新规则编写 94采集器系统中，规则列表…...

94采集器本身功能相对于关关来说还是弱了不少，但因为可以运行在Linux上这一点特质，使得很多站长趋之若鹜，但是94采集器已经很久没有更新了，作者也不知道哪里去了。如果想改点功能或者增加点什么功能或者fix什么bug都成为妄想。 无错源码今天提供的是94最后发布的5.2.4版本，相信可以帮助有需要的人解燃眉之急，毕竟源码在手，天下我有。 照例先看下截图吧 94的作者是少见的拿中文来写代码的作者，怎…...

关关采集器一直是小说采集的不二选择，强大的规则，替换功能，能够满足所有人的需求。 唯一的缺点是.net开发的，必须在windows下使用，但这并不影响网站拥有者对它的热爱。 本站提供关关采集器9.0源码，以便一起研究学习这个采集器的过人之处。 所有源码保证无错，有问题请私信站长。 代码仅供研究学习开发的思路，严禁用于任何不法用途。...

做网站或者其他应用难免要接国外或者国内平台的短信，但我们也没有那么多手机号。尤其是国外，手机号没有怎么办，这边小编给大家推荐两个接码平台，一个国外一个国内的，对于有些应用想测试却没有那么多手机号的用户来说是非常有效的。 国外的推荐 Sms-Active   这是一个老牌的接码平台了，基本什么平台的码都可以接。价钱也很便宜。 国内的推荐 椰子平台  也是国内的老平台了，使用方法如…...

94Spider采集器无错版，已修复所有错误。 直接导入安装即可，谨记使用python 3.8.x，其他版本python会报错。 cfscrape不需要额外安装，已经包含在文件中。 作为程序员是一定要了解爬虫的，若是我们能把爬虫定制为一个小小的系统，在采集同类型的资源时，将会事半功倍，下面我推荐的是一个python版本的采集器，这个采集器主要是采集小说网站的，但是不防我们拿来研究研究，开阔一下思路…...

94采集器默认是限制了同时开启线程的。 使用本文件替换后可以破解线程限制。 使用方法： init.py文件放入app\view task.py文件放入app文件夹...

有时候千辛万苦采集下来的内容但是杂乱无章，面对复杂的html代码想过滤无从下手，为了得到一个标准的内容，下面分享一下火车头采集常用的纯正则过滤规则。 场景1 每一个段落都是<p></p>没有多余的HTML标签和与主题无关的字符 提取数据方式 选择 正则提取，组合结果填 <p>[参数1]</p> 场景2 有些内容开始和结尾并没有p标签，换行是用br标签…...

本版本在wordpress6.3下不能正常发布，请使用下方最新支持wordpress6.3的版本 源码说明 Wordpress 6.x 5.x 4.x 都可以用本插件发布！！！ 本站实测无错，请不必怀疑。 更新说明  适用于火车头采集器7.6-9.6(同高铁采集器)  优化了验证标题重复  优化了附件、图片、缩略图的上传和生成  增加了对多个分类方式的发布参…...

如何保护好discuz论坛的内容不被别人采集，可以在论坛网站后台开启discuz防采集设置。 方法/步骤 打开discuz网页后，直接点击打开登录页面，在登录页面输入管理员帐号和密码，然后点击登录，如下图所示。 成功登录后，直接点击导航上面的【管理中心】，如下图所示。 点击后跳转到discuz管理中心认证页面，直接输入密码，然后点击提交，如下图所示。 成功登录discuz管理中心后，直接点击导航栏…...

当短时间内频繁采集discuz，会触发discuz的防采集机制，默认打开的是一段javascript脚本，然后再通过跳转跳转到真实地址，这样子的情况下如何采集呢，本文将教会你如何破解这类型的防采集的采集。...