快速过滤重复的数据是一款在处理文本内容常用的辅助工具，当您在处理一个大型文件的时候，需要将里面重复的行数删除，如果你打开文本慢慢的删除，应该是需要花费很多时间的，而利用软件自动检测以及自动删除功能，可以让您在几秒钟之内将处理重复的数据，例如您可以将一个100M的TXT文本加载到这款“快速过滤重复的文本行”软件上，通过设置过滤规则，随后软件会自动找到重复的行数，并将其删除，从而节约您手动删除重复内容的时间！
软件功能
1、快速过滤重复的数据可以帮助您在软件上生成一个随机的检查对象
2、点击第一个界面上的随机文本就可以生成作为测试的TXT文本
3、可以过滤功能，自动将文本上重复的数据删除
4、删除以后可以提示您对于源文件行数
5、可能从200行删减到100行
6、有两个过滤的方案
7、支持区分大小写以及不区分大小写
软件特色
1、绿色软件，无需安装；
2、仅支持txt文本文件；
3、支持区分大小写；
4、可生成随机行数的文本文件；
5、支持另存，不影响源文件；
6、仅支持最多100万行和100M的文本文件
使用方法
1、点击textfilter32v5_FPC.exe启动，打开就可以进入快速过滤重复的文本行执行界面
2、在第一栏设置随机文本行，可以设置为300000，具体的数字手动输入就可以了
3、点击第二栏“生成随机文本文件”进入保存数据的主要界面
4、保存的文件名称可以在这里设置，默认的格式就是TXT
5、如图所示，您可以设置为“河东-快速过滤重复的数据”
6、提示您已经生成300000个随机文件，D:tools桌面河东软件园ksglcfdwbh河东-快速过滤重复的数据.txt
7、如图所示，您可以打开生成的文件，在这里查看TXT上的文字内容
8、点击过滤重复行(区分大小写)功能，会出现相关的使用方式
9、第一步:选择包含重复行的源文件
10、将需要过滤的TXT文本打开就可以了
11、第二步:选择过滤后的文件保存位置，建立一个新的TXT保存结果
12、测试的数据如下图，将过滤的主要内容显示在列表上
主要测试内容
文件数据读取用时:0毫秒
过滤重复文本用时:2毫秒
文件数据保存用时:1毫秒
备注:1000毫秒=1秒
源文件行数:300
过滤后文件行数:300
文件中最短行字符数:3
文件中最长行字符号:254
源文件大小:03MB
删除重复行后,文件大小:.03MB
本程序当前内存用量:85.95MB
点击确定后将释放大部分内存。
∨ 展开