# robots.txt for yzwk.com
# 易创网络-优智文库 软件工具平台

# 允许所有搜索引擎爬虫访问
User-agent: *
Allow: /

# 禁止访问的目录和文件
Disallow: /css/
Disallow: /js/
Disallow: /components/
Disallow: /*.txt
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
Disallow: /backup/

# 允许访问重要的静态资源
Allow: /favicon.ico
Allow: /image/*.png
Allow: /image/*.jpg
Allow: /image/*.jpeg
Allow: /image/*.gif
Allow: /image/*.webp

# 网站地图位置
Sitemap: https://www.yzwk.com/sitemap.xml

# 针对特定搜索引擎的优化设置

# 百度爬虫
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# 谷歌爬虫
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

# 360搜索爬虫
User-agent: 360Spider
Allow: /
Crawl-delay: 1

# 必应爬虫
User-agent: bingbot
Allow: /
Crawl-delay: 1

# 禁止恶意爬虫
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# 爬取频率限制（避免服务器过载）
# 主要搜索引擎每秒最多1次请求
Crawl-delay: 1

# 主机信息
# Host: www.yzwk.com