1. 项目概述如果你在安全测试或者渗透测试的圈子里待过一阵子肯定对“目录扫描”这个词不陌生。简单来说它就是拿着一个包含各种常见目录和文件名的“字典”去一个个尝试访问目标网站看看哪些路径是真实存在的。这活儿听起来简单但做起来讲究可不少。从早期的御剑、DirBuster到后来的Dirsearch、cansina工具一直在进化但痛点也一直存在速度慢、误报多、对复杂场景比如假404页面、需要递归扫描的目录支持不够好或者配置起来太麻烦。今天要聊的dirmap就是冲着解决这些痛点来的。它定位自己是一个“高级web目录、文件扫描工具”目标是要比DirBuster、Dirsearch这些前辈更强大。我实际用下来感觉它确实在并发处理、扫描模式多样性以及结果处理的精细度上下了不少功夫。对于安全研究人员、渗透测试工程师甚至是负责自家业务资产梳理的运维同学来说掌握一个像dirmap这样高效且功能全面的工具能极大提升发现隐藏入口、敏感文件泄露等安全风险的能力。这篇文章我就结合自己多次实战使用的经验带你从安装配置到高级功能调优彻底玩转dirmap让它成为你工具箱里的利器。2. 核心功能与设计思路拆解在深入命令行之前我们得先搞清楚dirmap到底“高级”在哪里。它并不是简单地把几个老工具的功能拼凑起来而是在架构和设计思路上做了不少优化。2.1 多模式扫描引擎告别单一爆破传统的目录扫描工具核心逻辑就是“字典爆破”读取一个文本文件把里面的每一行当作路径去请求。dirmap在此基础上抽象出了四种核心扫描模式你可以根据目标情况灵活选择或组合通过配置文件。字典模式这是最基础也是最常用的模式。dirmap内置了经过筛选的字典如dict_mode_dict.txt同时也支持你指定单个字典文件或多个字典目录。它的聪明之处在于能对字典进行一些预处理比如自动处理路径前的斜杠确保请求格式正确。爆破模式当你没有任何现成字典或者想针对短路径进行穷举时这个模式就派上用场了。你可以指定生成字典的长度范围比如3-4个字符和字符集比如a-z、0-9或自定义字符工具会基于排列组合自动生成所有可能的路径进行尝试。这在寻找短命名、规律性强的管理后台入口时特别有效。爬虫模式这是我认为dirmap设计上的一大亮点。它不再是“盲扫”而是先对目标网站进行爬取从页面的HTML代码中提取出所有的链接href、资源路径src、表单提交地址action等。然后基于这些真实的路径信息动态生成一个针对性的“字典”再进行扫描。这种方式极大地提高了扫描的精准度和效率因为它是基于目标实际使用的路径规则来“猜”其他可能存在的路径往往能发现一些通用字典里没有的、目标特有的隐藏目录。Fuzz模式这个模式适用于目标URL有特定格式的情况。比如你发现目标站点很多脚本都是/api/v1/{action}.php这种格式。你可以设置一个Fuzz标签如{dir}并准备一个字典文件里面是user,admin,config等单词。dirmap会将标签替换为字典中的每一项构造出/api/v1/user.php/api/v1/admin.php等URL进行探测。这对于测试RESTful API接口、模块化应用非常有用。这四种模式不是互斥的。一个成熟的扫描策略往往是先用手工浏览或爬虫模式摸清站点结构再用针对性的字典或Fuzz模式进行深度探测。2.2 高并发与智能递归速度是目录扫描工具的硬指标。dirmap采用协程进行并发请求可以轻松配置上百个并发线程默认30在面对单个目标或多个目标支持CIDR格式网段和IP范围时都能保持高速扫描。它的并发模型是“n个目标 * n个payload”这意味着即使你在扫一个C段每个IP下的每个路径探测也是并发的效率很高。另一个影响效率的关键点是“递归扫描”。想象一下你扫到了一个/admin/目录返回状态码200。一个简单的工具可能就停在这里了。但dirmap可以配置为对某些特定状态码如301重定向、403禁止访问的响应进行递归扫描。比如遇到一个403的/backup/目录工具会自动尝试/backup/index.php,/backup/backup.zip等路径这常常能挖出更深层的东西。你还可以设置递归的最大URL长度、排除某些后缀如图片、CSS这些通常没必要递归或特定子目录避免陷入无意义的循环和资源浪费。2.3 精细化的请求与响应处理扫描的准确性一半靠字典另一半靠如何发送请求和判断响应。dirmap在这方面提供了丰富的可配置项。请求定制你可以完全自定义HTTP请求。包括User-Agent伪装成浏览器、Cookie用于访问需要登录态的页面、请求头、请求方法GET/HEAD、超时时间、请求间随机延迟避免触发WAF的速率限制。特别是代理功能可以配置为Burp Suite等抓包工具的地址方便我们实时查看和修改每一个探测请求进行深度分析。响应过滤这是减少误报和噪音的关键。dirmap可以自动检测“假404页面”。很多网站会自定义404错误页返回状态码200内容是一段友好的“页面未找到”提示。如果工具只认404状态码就会漏报。dirmap会先请求几个肯定不存在的随机路径学习目标站点的404页面特征如特定的HTML结构、关键词在后续扫描中自动过滤掉具有相同特征的响应。此外你还可以自定义只记录哪些状态码的响应比如只关心200和403。设置跳过特定大小的页面比如跳过大小为0的空白页。使用正则表达式匹配响应内容只记录符合特定模式的响应比如页面内容包含“password”或“database”。选择在结果中是否显示页面的Content-Type和大小帮助快速判断文件类型。这些功能组合起来使得dirmap的输出结果非常干净、高价值大大减少了后期人工筛选的工作量。3. 环境部署与基础使用实战理论讲得再多不如动手跑一遍。我们这就从零开始把dirmap环境搭起来并完成第一次扫描。3.1 系统环境准备与工具安装dirmap是一个Python3工具所以首先确保你的系统已经安装了Python3建议3.6以上版本和pip包管理器。在Linux或macOS上这通常已经预装。在Windows上可以去Python官网下载安装包记得勾选“Add Python to PATH”。安装过程非常简单一条命令搞定git clone https://github.com/H4ckForJob/dirmap.git cd dirmap python3 -m pip install -r requirement.txt这里有个关键注意事项安装依赖时可能会遇到一个关于progressbar模块的冲突。dirmap使用的是progressbar2但系统里如果有一个老的progressbar包就会导致运行时报错。如果你在后续运行中看到类似“ModuleNotFoundError: No module named ‘progressbar’“或者与bar.log相关的错误请执行以下命令解决python3 -m pip uninstall progressbar # 如果存在则卸载 python3 -m pip install progressbar2 # 安装正确的版本这个小坑我踩过所以提前给你标出来。安装完成后目录结构大致如下dirmap/ ├── dirmap.py # 主程序入口 ├── dirmap.conf # 核心配置文件 ├── requirement.txt # 依赖列表 ├── data/ # 存放各类字典文件 ├── dictmult/ # 多字典模式用的目录 ├── fuzzmult/ # Fuzz模式多字典目录 ├── lib/ # 核心库文件 └── output/ # 扫描结果默认输出目录3.2 首次扫描快速上手命令解析我们先来一次最基础的扫描感受一下。假设我们的目标是http://testphp.vulnweb.com这是一个知名的故意留下漏洞的测试网站。最基本的命令格式是python3 dirmap.py -i 目标 -lcf-i参数用于指定输入目标。-lcf参数是--load-config-file的缩写意思是加载默认的配置文件dirmap.conf。这是必须的因为dirmap的大量高级功能都通过配置文件控制没有这个参数工具无法正常运行。那么针对单个URL的扫描命令就是python3 dirmap.py -i http://testphp.vulnweb.com -lcf执行后你会看到终端开始滚动输出信息显示当前的扫描进度、并发数、已发现的路径等。扫描结束后所有结果会自动保存到output/目录下文件名为testphp.vulnweb.com.txt。打开看看里面会列出所有状态码符合要求默认是200的URL以及它们的页面大小和Content-Type。除了单个URLdirmap支持多种目标输入格式非常灵活IP地址python3 dirmap.py -i 192.168.1.1 -lcf会自动补上http协议CIDR格式子网python3 dirmap.py -i 192.168.1.0/24 -lcf扫描整个C段IP范围python3 dirmap.py -i 192.168.1.1-192.168.1.100 -lcf从文件读取目标列表python3 dirmap.py -iF targets.txt -lcftargets.txt文件里可以混合上述所有格式每行一个目标。这对于批量资产探测来说非常方便。实操心得在实战中我强烈建议始终使用-lcf参数。即使你只想快速扫一下也应该通过修改配置文件来调整行为而不是依赖不存在的命令行快捷参数。因为dirmap的设计哲学就是“配置驱动”它的命令行参数主要用于指定目标和加载配置细粒度的控制都在dirmap.conf里。4. 核心配置文件深度解析与调优dirmap.conf是这个工具的灵魂。默认配置虽然能用但要想发挥其全部威力必须根据实际场景进行调优。这个配置文件采用类似INI的格式分为多个区块。我们逐一拆解。4.1 递归扫描配置深挖潜在路径[RecursiveScan]区块控制着是否以及如何对发现的目录进行深入扫描。[RecursiveScan] conf.recursive_scan 1 # 0关闭1开启。建议在针对单个站点深度探测时开启。 conf.recursive_status_code [301,403] # 遇到这些状态码时进行递归扫描。 conf.recursive_scan_max_url_length 60 # URL超过此长度则停止递归防止过长无效请求。 conf.recursive_blacklist_exts [html,htm,shtml,png,jpg,webp,bmp,js,css,pdf,ini,mp3,mp4] # 这些后缀的文件不递归。 conf.exclude_subdirs # 排除特定的子目录例如 [/cgi-bin/, /static/]为什么是301和403301重定向往往意味着路径有变化跟着重定向走可能发现真实资源。403禁止访问则强烈暗示该路径存在只是没有权限其子路径可能存在权限配置不当的文件如/admin/../config.php。将200也加入recursive_status_code可以深度遍历整个网站结构但会产生大量请求需谨慎。黑名单扩展名列表中的都是静态资源或常见文件递归扫描它们意义不大排除可以显著提升效率。排除子目录如果你明确知道某些目录无关紧要比如公开的图片目录可以在这里排除避免浪费资源。4.2 扫描模式配置选择你的“武器”[ScanModeHandler]区块是配置的核心你一次只能启用一种主要扫描模式。字典模式配置conf.dict_mode 2 # 0关闭1单字典2多字典 conf.dict_mode_load_single_dict data/dict_mode_dict.txt conf.dict_mode_load_mult_dict dictmult单字典模式适合使用一个精心维护的通用字典。多字典模式会读取dictmult目录下的所有字典文件合并后进行扫描。dirmap自带的dictmult里包含了备份文件字典、信息泄露字典等分类清晰。我的经验是在时间允许的情况下优先使用多字典模式覆盖面更广。爆破模式配置conf.blast_mode 1 conf.blast_mode_min 3 conf.blast_mode_max 4 conf.blast_mode_custom_charset abcdefghijklmnopqrstuvwxyz0123456789_-这里我设置生成长度为3到4位字符集包含小写字母、数字、下划线和连字符的字典。这个字符集覆盖了绝大多数短目录/文件的命名习惯。计算一下如果字符集长度是38位生成3位和4位的所有组合总数量是 38^3 38^4 54,872 2,085,136 2,140,008 个。这是一个不小的量请确保你的目标能承受这样的请求压力并合理设置超时和延迟。爬虫模式配置conf.crawl_mode 1 conf.crawl_mode_parse_html //*/href | //*/src | //form/action conf.crawl_mode_dynamic_fuzz 1crawl_mode_parse_html使用了XPath表达式来从HTML中提取链接。这是默认配置已经能抓取绝大多数有效路径。如果你有特殊需求可以修改这个XPath。crawl_mode_dynamic_fuzz开启后工具会利用爬取到的路径特征如目录层级、文件命名风格动态生成新的猜测字典非常智能。Fuzz模式配置conf.fuzz_mode 1 conf.fuzz_mode_load_single_dict data/fuzz_mode_dir.txt conf.fuzz_mode_label {dir}假设目标URL是http://target.com/api/{dir}字典里有user,get,set那么就会生成/api/user,/api/get,/api/set三个路径进行探测。你可以创建自己的Fuzz字典比如针对PHP站点的[‘index’, ‘admin’, ‘login’].php或者针对API的[‘v1’, ‘v2’, ‘latest’]/user。4.3 请求与响应处理配置伪装与过滤的艺术[RequestHandler]区块让你能更好地隐藏扫描行为并适应目标环境。[RequestHandler] conf.request_header_ua Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 conf.request_delay 1 conf.request_timeout 5 conf.request_limit 50 conf.redirection_302 TrueUser-Agent务必修改为一个常见的浏览器UA避免使用工具默认的或空UA这很容易被识别。随机延迟request_delay 1意味着每个请求前会随机等待0到1秒。这在针对生产环境扫描时至关重要能有效降低请求频率规避简单的速率限制策略。超时时间根据网络情况调整。内网可以短一些2-3秒扫描公网站点建议设长一点5-10秒。并发限制request_limit控制单个目标的协程数。增加此值能提升速度但可能加重目标负载或触发防护。一般设置在30-100之间比较稳妥。302重定向建议开启。很多登录页面、错误处理都会用到302跟随重定向才能发现真正的端点。[ResponseHandler]区块决定了什么结果值得被记录。[ResponseHandler] conf.response_status_code [200, 301, 302, 403, 500] conf.auto_check_404_page True conf.skip_size 1k conf.response_header_content_type 1 conf.response_size 1响应状态码我通常不会只记录200。301/302重定向能揭示站点结构403禁止访问本身就是重要的安全发现表明路径存在但受控500服务器内部错误有时会暴露敏感信息。将这些都纳入记录范围。自动检测404必须开启。这是dirmap的核心优势之一能极大减少误报。跳过大小skip_size “1k”会跳过所有小于1KB的响应。很多无意义的错误提示、空白页、小图标都小于这个值过滤掉能让结果更聚焦。显示内容类型和大小开启后结果文件中会附带每个URL的Content-Type和页面大小方便快速筛选。比如一个application/json的响应很可能是一个API接口一个巨大的text/html响应可能是一个后台管理页面。4.4 代理与调试配置[ProxyHandler]区块允许你将所有流量导向代理比如Burp Suite。[ProxyHandler] conf.proxy_server {http:http://127.0.0.1:8080, https:http://127.0.0.1:8080}配置后所有请求都会经过Burp你可以查看、修改甚至重放每一个探测请求进行更深入的手动测试。这是渗透测试中不可或缺的环节。[DebugMode]区块有一个实用功能[DebugMode] conf.debug 1将debug设为1运行工具时它不会真正发送请求而是打印出将要扫描的所有payload即构造好的完整URL然后退出。这在检查你的字典、Fuzz标签或爆破字符集是否正确时非常有用是一个安全的“预演”模式。5. 高级实战场景与策略组合掌握了基本配置我们就可以针对不同的实战场景组合运用dirmap的功能制定高效的扫描策略。5.1 场景一针对大型企业外网的温和型资产发现目标特点目标系统可能部署有WAF、IDS对异常流量敏感。我们需要尽可能低调、完整地发现其Web资产。策略目标列表使用-iF参数输入一个包含域名和IP的清单。配置核心request_delay 2增大延迟降低频率request_limit 20降低并发request_header_ua设置为与业务相关的、合法的浏览器UA甚至可以从目标网站的访问日志中提取一个conf.proxy_server配置Burp代理便于监控和手动干预扫描模式首选爬虫模式(crawl_mode 1)。因为它基于目标现有页面生成字典行为最像真实用户噪音最小。开启动态Fuzz (crawl_mode_dynamic_fuzz 1) 以扩大发现面。递归扫描谨慎开启仅对[301, 403]进行递归并设置较小的recursive_scan_max_url_length如50。结果过滤开启auto_check_404_page设置skip_size “2k”以过滤掉大量小资源文件。注意事项这种扫描仍然会对目标造成压力。务必在获得明确授权后进行。扫描速度不是首要目标隐蔽性和完整性才是。5.2 场景二内网渗透测试中的深度目录爆破目标特点内网环境通常没有严格的WAF可以承受较高并发。目标是尽可能深、尽可能广地发现敏感路径和文件。策略配置核心request_delay 0内网延迟低可以关闭延迟request_limit 100或更高 充分利用内网带宽request_timeout 3内网响应快超时可以设短扫描模式采用多字典模式(dict_mode 2)。使用dictmult目录下的大字典并结合自己收集的行业专用字典、CMS特定字典如WordPress, Joomla目录字典。递归扫描强力开启。conf.recursive_scan 1conf.recursive_status_code [200, 301, 302, 403, 500]。对几乎所有有“反应”的路径都进行深入挖掘。爆破模式辅助针对发现的疑似管理后台短路径如/adm,/sys可以单独启用爆破模式设置blast_mode_min 1,blast_mode_max 3使用小字符集进行短口令爆破寻找登录入口。响应记录记录所有状态码重点关注403和500。一个403页面可能通过/admin/../这类路径遍历被绕过。500错误页面可能包含数据库连接字符串等堆栈信息。5.3 场景三CTF比赛或特定应用接口Fuzz目标特点目标应用结构已知或存在明显模式如/api/{version}/{function}需要快速测试大量参数。策略扫描模式主要使用Fuzz模式(fuzz_mode 1)。字典准备根据题目或应用提示准备自定义的Fuzz字典。例如针对版本号[‘v1’, ‘v2’, ‘v3’, ‘latest’, ‘stable’, ‘beta’]针对功能名[‘user’, ‘admin’, ‘config’, ‘upload’, ‘download’, ‘list’]针对参数[‘.git’, ‘.bak’, ‘.old’, ‘.tar.gz’, ‘?debug1’]注意Fuzz标签可以放在URL任何位置配置示例conf.fuzz_mode_label “{func}” conf.fuzz_mode_load_single_dict “custom_api_funcs.txt”假设目标URL是http://ctf.target/api/v1/{func}就会用你的字典进行填充。结合使用可以先使用爬虫模式快速发现现有的API端点分析其URL模式再针对性地编写Fuzz字典和标签进行第二轮深度Fuzz。6. 结果分析与常见问题排查扫描完成只是第一步从海量结果中提炼出有价值的信息并解决扫描过程中遇到的问题才是更关键的能力。6.1 高效分析扫描结果dirmap的结果默认保存在output/目录下以目标主机名命名。一个典型的结果行如下http://target.com/admin/ [200] [text/html] [4.2KB]包含了URL、状态码、Content-Type和页面大小。我们可以利用这些信息进行快速筛选按状态码筛选200 OK重点查看。特别是text/html类型的大页面很可能是管理后台、登录界面。application/json或text/xml的可能是API接口。301/302 Found使用curl -L或浏览器访问跟踪重定向的最终目的地往往能发现真实的资源位置。403 Forbidden尝试使用../进行路径遍历或者更换HTTP方法如将GET改为POST、PUT尝试绕过。有时403只是针对特定方法。500 Internal Server Error黄金信息源。仔细查看响应体很可能包含数据库错误、代码片段、绝对路径等敏感信息。按文件类型和大小筛选查找常见的敏感文件扩展名.bak,.old,.tar.gz,.zip,.sql,.log,.txt,.md。特别关注大小异常的页面。一个几十KB的phpinfo.php页面或者一个巨大的.sql文件都是高危发现。使用文本处理工具在Linux下可以结合grep,awk,sort等命令快速分析结果文件。# 找出所有包含‘admin’的路径 grep -i admin output/target.com.txt # 找出所有状态码为403的路径 grep ‘\[403\]’ output/target.com.txt # 按页面大小排序找出最大的文件 sort -t ‘[’ -k 4 -nr output/target.com.txt | head -206.2 常见问题与解决方案实录在实际使用中你可能会遇到以下问题这里是我的排查经验问题1扫描速度非常慢或者大量请求超时。可能原因1网络延迟或目标响应慢。解决方案增加request_timeout如10秒或15秒。适当降低request_limit并发数减轻单目标压力。可能原因2触发了目标的速率限制或WAF。解决方案显著增加request_delay如3-5秒让请求间隔更随机、更长。更换User-Agent。如果使用代理检查Burp中是否有很多请求被拦截或返回挑战如429状态码。可能原因3字典太大且递归扫描开启。解决方案先使用小字典或爬虫模式进行初扫。对于递归扫描通过recursive_blacklist_exts和exclude_subdirs严格限制范围。问题2结果中有大量404误报假阳性。可能原因auto_check_404_page功能未生效或失效。排查检查配置文件中conf.auto_check_404_page True是否设置。dirmap学习假404特征时需要目标站点对不存在的路径返回状态码200。如果目标对所有不存在路径严格返回404状态码此功能无法生效。解决方案手动配置conf.custom_response_page。先手动访问几个肯定不存在的路径观察其响应内容的共同特征比如固定的标题、底部版权信息、某个特定的div的id编写一个正则表达式来匹配这个特征并填入配置。这样dirmap会过滤掉匹配该正则的所有响应。问题3扫描过程中程序崩溃或报错。可能原因1progressbar2模块冲突。解决方案如前所述执行pip uninstall progressbar pip install progressbar2。可能原因2字典文件格式或路径错误。排查检查dirmap.conf中指定的字典路径是否正确字典文件是否存在且可读。确保字典文件是纯文本格式每行一个路径。可能原因3Python环境或依赖问题。解决方案尝试在项目目录下创建一个干净的Python虚拟环境重新安装依赖。python3 -m venv venv source venv/bin/activate # Linux/macOS # venv\Scripts\activate # Windows pip install -r requirement.txt问题4如何扫描需要Cookie或Token认证的页面解决方案使用conf.request_header_cookie配置项。首先用浏览器正常登录目标系统通过开发者工具F12复制Cookie请求头的完整值。然后将其填入配置conf.request_header_cookie “sessionidabc123; csrftokendef456”这样dirmap发出的所有请求都会携带这个Cookie从而能够访问受权限保护的路径。注意Cookie可能会过期需要定期更新。问题5输出结果文件太大难以分析。解决方案优化扫描配置减少低价值结果。设置conf.skip_size过滤小文件。调整conf.response_status_code只记录你最关心的状态码。在扫描前使用[DebugMode]的conf.debug 1预览payload数量如果过于庞大考虑缩小字典范围、字符集或爆破长度。工具的价值最终体现在使用者的经验和策略上。dirmap提供了强大的“武器库”但何时用“刀”何时用“枪”需要根据目标的“地形”和“盔甲”来灵活决策。从一次简单的-lcf快速扫描开始逐步深入到配置文件每一个选项的理解和调优你会发现自己对Web应用目录结构的认识以及发现潜在威胁的能力都会有质的提升。记住耐心和细致永远是安全测试中比工具更重要的品质。