User-Agent: *
Disallow:

# 允许所有爬虫访问
Allow: /

# 站点地图
Sitemap: http://localhost/sitemap.xml

# 禁止访问的目录
Disallow: /admin/
Disallow: /includes/
Disallow: /logs/
Disallow: /themes/

# 允许访问的文件类型
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.webp$
Allow: /*.svg$

# 搜索引擎爬虫专用设置
User-Agent: Googlebot
Allow: /

User-Agent: Bingbot
Allow: /

User-Agent: Baiduspider
Allow: /

User-Agent: YandexBot
Allow: /

User-Agent: DuckDuckBot
Allow: /