# задаем таймаут в 40 секунд только для YandexBot
User-agent: Yandex
Crawl-delay: 40

User-agent: Yandex
Disallow: /wp-includes/

User-agent: Yandex
Disallow: /wp-admin/

User-agent: Yandex
Disallow: /wp-content/mp3/

# задаем таймаут в 40 секунд только для bingbot
User-agent: bingbot
Crawl-delay: 4000

# задаем таймаут в 40 секунд для всех роботов
User-agent: *
Crawl-delay: 40

# закрываем индексацию wp
User-agent: *
Disallow: /wp-admin/

# закрываем индексацию wp
User-agent: *
Disallow: /wp-includes/

# закрываем индексацию mp3
User-agent: *
Disallow: /wp-content/mp3/

User-agent: ia_archiver
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: ia_archiver-web.archive.org 
Disallow: /