简数采集器助手提供数据采集功能,可以帮助用户采集网页上的文章,在软件输入网页地址就可以开始采集,您可以设置采集方案,可以输入关键词采集,可以将采集的数据发布到WorpPress、帝国、织梦、ZBlog、Discuz、Destoon、Typecho、Emlog等CMS网站系统,软件提供编辑功能,可以在软件直接替换标题,可以插入关键词,可以中英转换文字语言,可以替换同义词,支持图片下载,为用户提供更专业的采集方案;简数采集器助手支持自动采集功能,用户可以通过这款软件设置每天自动采集的时间,设置每周自动采集的时间,支持微信公众号文章采集、今日头条、新闻关键词泛采集、淘宝客商品采集,如果你需要这款软件就下载吧!
软件功能
微信公众号文章、今日头条一键采集
采集微信公众号文章、今日头条,只需简单的输入,即可启动采集到完整的数据(系统自动接入多家商业IP代理商)。
多样化的图片下载存储方式
图片下载存储方式支持:阿里云OSS、七牛对象存储,腾讯云、又拍云、暂存简数,彻底解决图片防盗链问题。
定时采集+定时自动发布
每周,每天,每小时...,设置后即可按计划定时采集发布,轻松实现网站内容定时自动更新。
强大的SEO工具和灵活的数据加工处理工具
提供自动内链,正文前、中、后插入其它记录的摘要(不影响阅读)、翻译、同义词替换等原创辅助工具;自动过滤无用内容及广告等批量操作,保障数据显示格式的整齐。
与WordPress无缝对接
在Wordpress控制台插件搜索“keydatas”进行安装或升级;在简数控制台点击几下即可发布到Wordpress(2分钟内完成)。【简数采集】是新一代的网站文章采集和发布平台,它完全在线配置和使用云采集,功能强大,操作简单,配置快捷高效。
简数不仅提供网页文章采集、数据批量修改、定时采集、定时定量自动发布等基本功能,还集成强大的SEO工具,并创新实现了规则智能提取引擎、书签一键采集发布等特色功能,大幅提升了采集配置和发布效率。
采集简单,发布更轻松:支持一键发布到WorpPress、帝国、织梦、ZBlog、Discuz、Destoon、Typecho、Emlog等CMS网站系统,还可以发布到自定义Http接口。
另外还支持特定文章的“一键快速采集”,包括:微信公众号文章、今日头条、新闻泛采集。
软件特色
自动内链
给正文指定的关键词添加自定义链接,并可控制内链数量。合理的网站内链接,能提高收录与网站权重。
正文自动插入其它记录摘要(强烈推荐)
在正文开头、中间、结尾各插入一段摘要,摘要来自其它采集的数据,并可自定义格式,不影响用户阅读,有利于收录。
标题插入关键词
在标题开头或结尾随机插入用户提供的关键词(关键词库),还可对标题分词并与词库进行匹配后插入
同义词替换
支持同义词替换,对收录非常有帮助。系统提供官方同义库,用户也可自定义同义词库。[详细]正文插入自定义段落及标题自动关键词
在正文的开头、中间、结尾随机插入用户提供的段落,并把段落对应的关键词添加到标题最后。(需预定义段落库及关键词)
多语言翻译、简繁体转换
翻译支持百度、有道API接口。多语言同时翻译,翻译后内容存储在新的字段中;支持简繁体互转。
安装方法
1、打开简数采集器助手直接启动,显示软件的安装协议
2、提示安装地址C:\Program Files (x86)\采集器助手
3、软件的安装快捷方式,点击下一步
4、提示安装设置预览,点击安装
5、提示下载进度,等待软件安装结束吧
6、提示安装结束界面,点击完成启动软件
使用说明
1、软件界面如图所示,可以在这里找到您需要使用的功能
2、进入软件以后就可以在软件设置采集方式,可以输入基本信息以及网页地址
3、提供引导功能,可以在软件界面按照引导步骤设置采集任务,可以智能提取列表页中的多个详情页网址,智能提取详情页内容
4、公众号采集功能,输入任务名、文章采集方式、公众号名称或ID、删除指定位置图像
5、规则提取设置功能,直接进入网站提取相关的内容,也可以自己配置字段内容
6、定时采集功能,在软件设置采集频率,设置时间日期,设置截止时间
7、发布功能,可以将你的采集内容发布到网站,相关的发布状态可以在软件界面显示
8、设置发布对应字段(目标网站)把网站需的字段与详情提取器配置的字段进行映射对应
9、文字转换功能,如果你的文章需要发布为英文就可以通过这款软件翻译
10、发布以后会显示相关的文章地址,点击可以打开发布后的文章
官方教程
1. 智能向导 【创建采集任务】(推荐使用)
智能向导可以自动生成普通文章常用的字段(标题,内容,发布日期等,详情见常用字段),并可以与wordpress,织梦、zblog和帝国等发布字段自动映射。
完整的详细教程请看【文章采集入门教程(超详细)】;
提示:需完整完成智能向导步骤(点击 ‘下一步’ 直到 ‘Finish’),系统才会自动生成常用字段和映射发布字段。
2. 高级创建 【创建任务(高级)】
使用高级创建任务需要用户自己定义字段。一般用于采集跟自己业务比较相关的字段信息,如商品等。
创建高级任务后,基本信息,列表提取器和详情提取器规则都为空,需自行设置,还有发布目标映射字段都得自行配置;
提示:如果创建的任务需要登录才能采集到内容,需要使用Cookie,详细教程看使用fiddler获取网站Cookie,并应用到简数采集。
常用字段
【创建采集任务】按照智能向导步骤,一步步操作,完成后详情提取器会自动生成以下默认常用字段:
title(标题),author(作者),pubDate(发布日期),content(内容),tag(标签),description(描述),keywords(关键字),category(分类)。
文章采集入门教程(超详细)
第一步:登录简数控制台
打开简数数据采集平台-http://www.keydatas.com 页面,点击右上角控制台,注册账号并登录进入控制台。
第二步:创建采集任务
用户需先寻找要采集的网页,一般是 “列表页 + 详情页” 模式,教程以IT168网络安全频道-http://safe.it168.com/chanel-2-att-10-page-1.shtml为例,用户可以跟着教程操作一遍。
点击【创建采集任务】按钮,使用智能向导模式创建任务,自命名任务名称与填写采集的列表页网址,再点击下一步即可。
提示:智能向导创建任务最常用,还有其他创建任务的方式:高级创建任务、微信公众号文章采集、今日头条采集和淘宝客采集;
第三步:完善列表页的智能抽取结果
I、查看列表页智能抽取结果
使用智能向导创建任务,系统会先用智能算法获取详情页链接(多个),用户可以双击预览链接处的打开检查,如果不是想要的数据,可以点击【列表提取器】按钮进行手动修改。(建议每次创建任务都打开列表提取器进行确认)
智能获取结果如下图:
提示:上面结果中,系统智能发现了翻页规则,用户可以设置要采的页数。(建议在创建任务完成后再修改,详细教程可看 批量网址抓取配置 )
例子IT168列表页很明显获取不正确,点击【列表提取器】按钮进入设置界面。
列表提取器打开后如下图:发现智能获取的是页面底部的网站介绍信息(简数可视化采集,绿色框框住的内容代表已选择采集)
II、修改列表页抽取规则
修改列表页规则主要有3个步骤:
点击“重置当前字段”按钮,重新开始配置;
用鼠标点击要采集的链接(一般是标题),只需点击两个不同链接,系统便会自动选中其它相似的链接;
检查页面左下角“数据预览” 下方是否列出了文章链接地址(相对的或绝对链接都可以),如果有则配置正确,如果没有,需要再重复上面第1和第2步。(注意选择的Xpath路径是以a或者a/kds结尾才是正确的)
修改完成后保存关闭,在智能向导界面点击刷新,再点击下一步;
第四步:完善详情页的智能抽取结果
I、查看详情页智能抽取结果
系统会智能抽取详情页以下数据:(智能抽取的模板是列表提取器获取的第一个链接详情页)
title(标题),content(内容),author(作者),pubDate(发布日期),tag(标签),description(描述),keywords(关键字),category(分类)。
智能获取结果如下图:如果智能抽取的内容非想要的或者为空,可以打开【详情提取器】进行修改。
II、详情提取器界面
左侧上方一列title、content、author等参数称之为字段,字段可添加、删除或重命名;
在右侧页面显示窗口,用鼠标点击来设置采集页面指定位置的内容,绿色框表示该字段已选择的采集区域。
III、修改详情页采集规则
该例子智能获取大部分正确,现在假设content字段获取不正确,来演示如何修改,主要分三步:
重置当前字段配置;
选择要采集的指定位置内容;
检查规则通用性;
1、点击选择要修改的content字段 ==》 再点击【重置当前字段配置】按钮;
2、重置后,先勾选【获取HTML】(保留排版和图片) ==》 选择要采集的正文部分(鼠标左键点击),如果发现难以精确选择到指定区域,此时可先选择正文里的一小段内容,再点击扩大点选区域;
3、点击【典型详情页网址】栏,在下拉列表中选其它文章链接 ==》 查看预览并测试采集,确认是否通用;
IV、字段数据处理配置(可选)
每个字段都可进行数据处理(点击字段右侧绿色按钮或者下方设置按钮):删除、填充、替换、提取、过滤,设置随机或固定值等等。
以content字段为例,一般正文里的原有链接都不保存的,可以进入对应的字段数据处理选择【删除所有链接(保留文本)】,保存即可;
其他数据处理功能详情见字段数据处理配置
V、完成采集规则配置
完成详情提取器规则修改后,点击右上角【保存并关闭】按钮,在智能向导界面点击刷新,然后下一步,再点击finish,一般不直接点击启动采集,因为还有其他功能需要设置。
提示:完成任务创建后,如果还想要设置多页列表页采集,可以看详细教程 批量网址抓取配置
第五步:图片下载配置(可选)
如果需要将图片下载到用户服务器或者商业云存储(例:阿里云,七牛云等),需先设置图片下载,再启动采集。(不需要下载图片可跳过这一步)
以下载图片到用户服务器为例:
图片下载配置-存储方式选择
点击【图片下载配置】==》点选【存储到简数】==》选择对应CMS系统的官方配置选项,例 “暂存简数-WordPress(官方)”==》 保存;
提示:建议使用简数官方的图片下载配置即可,如果CMS系统默认存储图片的目录有改动,才需要创建新的暂存简数图片配置。
其它图片存储方式配置请见:图片文件下载及云存储;
第六步:启动采集任务
在任务中,点击右上角的【启动 | 定时采集】按钮,进入启动采集界面,一般使用默认配置即可,点击【启动 | 定时】按钮,开始采集。
采集完成:
第七步:数据SEO处理(可选)
不使用SEO规则的可以跳过这一步。
在任务中,进入【结果数据&发布】栏目 ==》点击【SEO&简繁体&翻译工具】按钮 ==》选择SEO规则 “正文插入动态段落(官方)” ==》执行SEO(按发布状态)==》查看是否执行成功,有灰底的段落就是插入的动态段落,内容来源于同一任务的其他数据;
提示:SEO规则的详细教程可以看如何使用简数SEO工具;
第八步:发布目标设置
发布采集的文章到用户网站,需要2个步骤:
在用户网站系统后台安装简数发布插件;
创建发布目标(一般一个发布目标对应一个栏目);
I、安装简数发布插件(以发布到wordpress为例)
在WordPress网站后台左侧菜单打开:“插件” --》 “安装插件” --》 输入关键词 keydatas或简数 搜索插件--》 安装后,点击“启用”,左侧菜单便会出现“简数采集平台” --》 点击“简数采集平台” 即可修改发布密码等。
提示:其他CMS系统简数发布插件的安装请看数据发布的详细教程。
II、创建发布目标
在任务里点击【发布目标管理】栏目,按照CMS系统创建对应类型的发布目标,点击【+发布目标-WordPress】
III、填写网站基本信息
名称可自命名,网站首页链接请填写网站首页URL(http或https协议也需填上),发布插件密码是在用户CMS系统后台的简数插件处获取;
VI、设置发布对应字段
对wordpress网站的属性(下图:目标网站字段名列)进行映射匹配,每个属性可以设置为详情提取器中定义字段获取的内容(下图:值来源1列)或者 固定值(下图:值来源2列),两列只能一个有填选内容存在(值来源1列的内容优先生效)。
例如下图中标题属性在值来源1列选择title,内容属性在值来源1列选择content,分类目录属性值来源1不选择对应字段,在值来源2列填写分类名称,例如新闻;(分类栏目设置详细教程)
设置完成后,保存关闭(第三步除非特殊需求,一般不用设置)。
提示:其他CMS系统的字段设置可以查看 数据发布教程 或者 发布常见问题 ;
第九步:手动发布数据
在任务中,进入【结果数据&发布】栏目 ==》点击【发布数据】按钮 ==》选择发布目标 ==》点击【发布】按钮 ==》查看发布结果(按状态发布过程中,可以关闭页面或电脑的,是云端发布的);
至此,手动创建任务,发布数据的流程就已结束,下面是自动化采集发布。
第十步:自动化采集与发布
自动化采集与发布主要作用:
用户只需设置一次,系统就会自动定时采集,自动数据SEO处理和自动发布,省时省力高效;
实现定时定量更新网站内容,可有效提高网站的收录;
I、自动发布与SEO设置
在任务中,进入【自动化:发布&SEO&翻译】栏目 ==》勾选上【自动发布】 ==》选择发布目标 ==》勾选上【采集后,自动执行SEO】==》选择SEO规则 “正文插入动态段落(官方)” ==》最后点击保存按钮;
II、定时采集启动
进入任务,点击右上角的【启动 | 定时采集】按钮 ==》勾上 “启用定时采集” ==》选择定时方式(以每天为例) ==》设置开始日期和时间(以30分钟后为例,点击30分钟按钮)==》设置截止时间(以2年后为例,点击设为2年后按钮)==》 点击【启动 | 定时】按钮==》查看定时采集是否成功运行;
红色时钟小图标的右侧为下次运行的定时时间
提示:建议开始时间为未来时间,不要设置已过去的时间;
∨ 展开