Robots.txt generator.

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

Ang robots.txt file sa isang website ay tumutulong sa webmaster na huwag pansinin ang tinukoy na mga file o mga direktoryo kapag ang Secrch Engine Spider ay nag-crawl ng isang site.

Robots.txt generator makatulong sa iyo na makakuha ng robost.txt file mas madali, wehn mo piliin ang search engine na pinapayagan at pag-crawl oras ng pagkaantala, ipasok ang URL ng sitemap at piliin ang mga rotot na pinapayagan pagkatapos makuha ang iyong code. Ang code tulad ng sa ibaba:

User-agent: *

Huwag pahintulutan: /

User-agent: ia_archiver.

Huwag pahintulutan:

User-agent: slurp.

Huwag pahintulutan:

User-agent: Aport.

Huwag pahintulutan:

User-Agent: Teoma.

Huwag pahintulutan:

User-Agent: Baiduspider.

Huwag pahintulutan:

User-Agent: Twiceler.

Huwag pahintulutan:

User-Agent: Robozilla.

Huwag pahintulutan:

User-Agent: Gigabot.

Huwag pahintulutan:

User-agent: Googlebot.

Huwag pahintulutan:

User-agent: Googlebot-image.

Huwag pahintulutan:

User-Agent: Googlebot-Mobile.

Huwag pahintulutan:

User-Agent: Mail.ru.

Huwag pahintulutan:

User-agent: MSNBOT.

Huwag pahintulutan:

User-agent: PSbot.

Huwag pahintulutan:

User-Agent: Naverbot.

Huwag pahintulutan:

User-Agent: Yeti.

Huwag pahintulutan:

User-agent: Nutch.

Huwag pahintulutan:

User-agent: StackRambler.

Huwag pahintulutan:

User-agent: Scrubby.

Huwag pahintulutan:

User-agent: Asterias.

Huwag pahintulutan:

User-Agent: Yahoo-Slurp.

Huwag pahintulutan:

User-Agent: Yandex.

Huwag pahintulutan:

Robots.txt generator.