Сиздердин сайтта түбүндө сакталган robots.txt билэ сыяктуу желе роботторду айтам издегич алар жөргөлөп уруксат кандай каталогдор жана өздүк жөргөмүштөр. Бул robots.txt билэни колдонуу үчүн жеңил, бирок сиз унутпашыбыз керек, кээ бир нерселер бар:
- Кара шляпа желе Роботтор robots.txt билэни бурбайт. таралган түрлөрү оруп-жыюу үчүн электрондук почта даректерин издеп кесепеттүү боттор жана роботтор болуп саналат.
- Кээ бир жаңы программисттер robots.txt билэни четке роботторду жазып берем. Бул адатта ката жолу менен ишке ашырылат.
- Ким Сенин robots.txt билэни көрө аласыз. Алар ар дайым robots.txt деп аталат жана ар дайым сайт түбүндө сакталат.
- Андан тышкары, кимдир бирөө алардын robots.txt делосуна четтеткен эмес, бир-беттеги сиздин robots.txt делосуна тарабынан алынып жаткан папке же дарек бириктире турган болсо, издөө каражаттары баары аны мүмкүн.
маанилүү бир нерсени жашыруу үчүн robots.txt маалыматты колдонбойбуз. Силер болсо, тескерисинче, артында маанилүү маалымат керек коопсуз сырсөздөрү же Интернеттен, аны толугу менен таштап.
Бул Sample Files кантип колдонсо болот?
Эмнени каалап жакын үлгүсүндөгү текстти көчүрүү жана robots.txt делосуна салып кой. Сиздин жактырган тарам дал робот, каталогу жана билэ атын өзгөртүү.
Эки негизги robots.txt Files
Колдонуучу агент: *
Тыйуу: /
Бул кандайдыр бир робот деп айтылат (User-Agent: *) бул сайтка ар бир баракты ойлобош керек кайрылат (тыйуу: /).
Колдонуучу агент: *
тыйуу салуу:
Бул кандайдыр бир робот деп айтылат (User-Agent: *) бул сайтка ар бир бетти көрүүгө уруксат кайрылат (тыйуу:).
Сиз ошондой эле robots.txt билэни кетип бош же бир күнү бардык сиздин сайтка ээ болгон эмес, бул эмне кыла алат.
Коргоо Өзгөчө Directories From малышка
Колдонуучу агент: *
Тыйуу: / CGI-бин /
Тыйуу: / темп /
Бул кандайдыр бир робот деп айтылат (User-Agent: *) бул маалымат китепчелерин койбошу керек кайрылат / CGI-бин / жана / темп / (тыйуу: / CGI-бин / тыйуу: / темп /).
Коргоо Айрым беттерди From малышка
Колдонуучу агент: *
Тыйуу: /jenns-stuff.htm
Тыйуу: /private.php
Бул кандайдыр бир робот деп айтылат (User-Agent: *) бул дептер койбошу керек кайрылат /jenns-stuff.htm жана /private.php (тыйуу: /jenns-stuff.htm тыйуу: /private.php).
Сиздин Сайтты жетүү бир белгилүү Апакем алдын алуу
Колдонуучу агент: Lycos / XX
Тыйуу: /
Бу билэ Lycos Bot (User-Agent: Lycos / хх) деп айтылат каалаган сайтка кирүүгө уруксат берилген эмес, (тыйуу: /).
Уруксат берүү гана белгилүү бир робот мүмкүндүк алуу
Колдонуучу агент: *
Тыйуу: /
Колдонуучу агент: Googlebot
тыйуу салуу:
Бул биринчи кезекте, биз жогоруда окшоп бардык роботторду уруксат, андан кийин ачык Googlebot (User-Agent: Googlebot) берет бардык мүмкүнчүлүгү бар (тыйуу:).
Топтоштуруу Get You Дал келеби бошотуулар үчүн бир нече саптарды
ал Колдонуучу агент сыяктуу эле, өтө камтыган Колдонуучу агент сызыгын колдонууну жакшы жатып: * +, сиз эле белгилүү болот. үчүн роботтор билэни окуп экенин унутпа. биринчи сызыктар бардык роботтор нерсенин бөгөт болуп, андан кийин иштин бардык роботтор деген нерсенин кирүүгө уруксат берилет деп, анда, роботтор бардык мүмкүнчүлүгүнө ээ болот.
Эгер сиз туура robots.txt билэни жазган же жокпу, так эмес, болсо, сиз robots.txt билэни текшерип же жаңы бирин жаздыруу үчүн Google'дун Webmaster куралдарды колдоно аласыз.