robots.txt 사용 방법

 

 

robots.txt 새로만드거나 개인사이트 최상 루트에서 FTP 프로그램으로 다운로드후 열기하여

 

아래 목록중 자기가원하는  스타일로 저장후 다시 개인 사이트 최상 루트에 업로드 하시면 됩니다.

 

---

모든 검색로봇 접근 차단시
User-agent: *
Disallow: /

---

모든 검색로봇 접근 허용시
User-agent: *
Allow: /

---

원하는 검색로봇만 검색허용

검색로봇
네이버 Yeti
다음 Daumoa
구글 Googlebot
야후 Yahoo! Slurp
마이크로소프트 Msnbot
빙 Bingbot

 

User-agent: *
Disallow: /
User-agent: *
Allow: Googlebot

---

특정 폴더만 접근 금지시
User-agent: *
Disallow: /폴더명/

---

 모든 검색로봇 접근을 허용시

User-agent: *
Allow: /

---