#robots для Яндекса

User-agent: Yandex
Allow: /index.html 
Allow: /frm*.html
Disallow: /app*.html
Disallow: /frmLicense.html
Disallow: /*.php
Disallow: /*.bat
Disallow: /*.txt
Crawl-delay: 5 # задает таймаут в 2 секунды


#robots для остальных

User-agent: *
Allow: /index.html 
Allow: /frm*.html
Disallow: /app*.html
Disallow: /*.php
Disallow: /*.bat
Disallow: /*.txt
Disallow: /frmLicense.html
Crawl-delay: 5 # задает таймаут в 2 секунды