반응형 Robots.txt2 robots.txt 작성 방법 robots.txt 파일을 작성하시면 됩니다. 텍스트 에디터(메모장 등)를 열고, 새로운 파일을 생성합니다. 파일의 첫 번째 줄에는 다음과 같이 작성합니다. User-agent: * 이 부분은 검색 엔진 로봇 중 모든 로봇을 대상으로 설정하겠다는 의미입니다. 다음 줄에는 로봇이 접근하지 말아야 할 디렉토리를 지정합니다. 예를 들어, wp-admin 디렉토리를 로봇이 접근하지 못하게 하려면 다음과 같이 작성합니다. Disallow: /wp-admin/ 이렇게 작성하면, 검색 엔진 로봇은 wp-admin 디렉토리를 크롤링하지 않습니다. 만약 로봇이 접근하지 못해야 할 페이지나 파일이 있다면, 다음과 같이 작성합니다. Disallow: /page-name/ Disallow: /file-name.html 이렇게.. 2023. 4. 24. robots.txt 사용 방법 robots.txt 새로만드거나 개인사이트 최상 루트에서 FTP 프로그램으로 다운로드후 열기하여 아래 목록중 자기가원하는 스타일로 저장후 다시 개인 사이트 최상 루트에 업로드 하시면 됩니다. 모든 검색로봇 접근 차단시 User-agent: * Disallow: / 모든 검색로봇 접근 허용시 User-agent: * Allow: / 원하는 검색로봇만 검색허용 검색로봇 네이버 Yeti 다음 Daumoa 구글 Googlebot 야후 Yahoo! Slurp 마이크로소프트 Msnbot 빙 Bingbot User-agent: * Disallow: / User-agent: * Allow: Googlebot 특정 폴더만 접근 금지시 User-agent: * Disallow: /폴더명/ 모든 검색로봇 접근을 허용시 Us.. 2023. 1. 2. 이전 1 다음 반응형
