pyFileSearcher(批量文件处理工具)

pyFileSearcher被设计成一个轻量级的、易于使用的、但能够处理大量文件的工具，个人可以在大型企业服务器上使用的工具，以找出--哪些文件在过去几天里占用了空间，它是免费的，它是开源的，它适用于Linux和Windows。

软件介绍

　　你得到的是什么？

　　按名称、大小、文件类型搜索。按路径的一部分进行搜索。搜索索引中列出的不早于N天的文件

　　保存已删除文件的信息，对它们的搜索和对普通文件的搜索一样

　　能够保存搜索设置供将来使用

　　能够以csv格式保存搜索结果

　　在搜索结果中突出显示不存在的（已删除的）文件

　　记录访问错误--你将知道哪些文件夹由于某种原因没有被索引到

　　支持Windows中的长路径（>256个字符）。

　　它是如何工作的

　　该程序在你的硬盘上运行，并保存关于文件的最低限度的必要信息：大小、创建时间、修改时间和文件的第一次索引时间（便于在不看属性的情况下寻找新文件）。为了存储这些信息，你可以使用sqlite数据库（每个你想索引的目标目录都有一个），如果你想索引几十万和几百万个文件，也可以使用MySQL数据库。在后一种情况下，你可以只使用一个数据库，但指定几个目标目录。在这两种情况下，每个目标目录都是与其他目录并行索引的。

　　在你设置了简单的索引参数（目标目录，以及在使用sqlite的情况下，扩展名的白名单或黑名单）之后，你可以用"--scan "参数运行程序，自动开始索引，之后程序将被关闭。使用这个键可以通过调度程序运行。

　　在扫描过程中，在工作（"data"）目录中会创建一个pid文件。它的存在会阻止启动扫描的过程，如果程序崩溃了--请手动删除它。

　　测试

　　该程序在一个有大约2000万个文件的文件服务器上进行了测试。扫描时间 - 约5小时。最大线程中的文件：~7000000

　　MySQL的非默认参数（对于debian stretch）。

　　innodb_buffer_pool_size = 3000M

　　innodb_log_file_size = 128M

　　innodb_log_buffer_size = 4M

　　innodb_flush_method = O_DIRECT

更新日志

　　在1.1.1中

　　修复：将pid进程保存到pid文件中。额外的验证减少了在pid文件未被删除时停止扫描执行的机会。

　　其他：默认 "sqlTransactionLimit "从20000改为1000