Robots.txt-ին տեքստային ֆայլ է, որի օգնությամբ մենք կարողանում ենք վերահսկել կայքի ինդեքսացիան։

•Robots.txt ֆայլի միջոցով կարող ենք թույլ չտալ որոնողական համակարգերին ինդեքսավորել մեր կայքի ոչ որակյալ էջերը։

•Robots.txt ֆայլի միջոցով կարող են նշել, թե որ էջերն ու ֆայլերը ինդեքսավորվեն կամ չինդեքսավորվեն որոնողական համակարգերի կողմից։

•Կարող ենք նշել, թե որքան ժամանակը մեկ այցելեն Crawler  ռոբոտները։

•Կարող ենք արգելափակել որոշակի մեդիա ֆայլերի ինդեքսավորումը որոնողական համակարգերի կողմից։

 

Robots.txt ֆայլն ունի հետևյալ տեսքը՝

•      User-Agent: * - վերաբերում է բոլոր որոնողական համակարգերի բոտերին։

•      User-agent: Yahoo – վերաբերում է կոնկրետ որևէ որոնողական համակարգի բոտի։

•      Allow կամ disallow / դիրեկտորիա/ - նշում ենք, թե կայքի որ դիրեկտորիան պետք է ինդեքսավորվի կամ չինդեքսավորվի, օրինակ՝

                        Disallow: /search/

                        Disallow: /*sort=*

·         Disallow: * կամ Disallow:/ - փակում ենք կայքը ամբողջությամբ ինդեքսացիայից

·         Disallow: - կայքը բաց է ինդեքսացիայի համար

·         Allow:* կամ Allow:/  կայքը բաց է ինդեքսացիայի համար

 

Host

Եթե կայքը ունի մեկից ավելի դոմեյններ, նշում ենք, թե որն է կայքի հիմնական դոմեյնը։

Sitemap

Robots.txt ֆայլի ամենավերջում գրում ենք, թե որտեղ է գտնվում կայքի sitemap-ը։

 

Ստեղծել Robots.txt ֆայլ` https://htmlweb.ru/analiz/robots.php https://htmlweb.ru/analiz/robots.php

Լրացուցիչ՝  https://support.google.com/webmasters/answer/6062608?hl=ru