robots.txt 작성 방법

 robots.txt 파일을 작성하시면 됩니다.

텍스트 에디터(메모장 등)를 열고, 새로운 파일을 생성합니다.

파일의 첫 번째 줄에는 다음과 같이 작성합니다.

User-agent: *

이 부분은 검색 엔진 로봇 중 모든 로봇을 대상으로 설정하겠다는 의미입니다.

다음 줄에는 로봇이 접근하지 말아야 할 디렉토리를 지정합니다.
예를 들어, wp-admin 디렉토리를 로봇이 접근하지 못하게 하려면 다음과 같이 작성합니다.

Disallow: /wp-admin/

이렇게 작성하면, 검색 엔진 로봇은 wp-admin 디렉토리를 크롤링하지 않습니다.

만약 로봇이 접근하지 못해야 할 페이지나 파일이 있다면, 다음과 같이 작성합니다.

Disallow: /page-name/
Disallow: /file-name.html

이렇게 작성하면, 검색 엔진 로봇은 page-name 페이지와 file-name.html 파일을 크롤링하지 않습니다.

모든 설정이 끝나면, 파일을 "robots.txt"로 저장하고, 워드프레스 블로그의 루트 디렉토리에 업로드합니다.
위와 같은 방식으로 작성된 robots.txt 파일은 검색 엔진 로봇이 해당 블로그를 크롤링할 때, 지정한 디렉토리나 페이지를 크롤링하지 않도록 막아줍니다.

검색 엔진 로봇이 크롤링할 수 있는 폴더를 나타내는 방법은 robots.txt 파일에서

 Allow 지시어를 사용하는 것입니다. 

Allow 지시어는 검색 엔진 로봇이 특정 폴더나 파일을 크롤링할 수 있도록 허용합니다.
Allow 지시어를 사용하는 방법은 다음과 같습니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

위의 예제에서는 User-agent 지시어를 사용하여 모든 검색 엔진 로봇을 대상으로 설정하였습니다.

 그 다음 Disallow 지시어를 사용하여 wp-admin 디렉토리에 접근하지 못하게 했습니다. 

그러나 wp-admin/admin-ajax.php 파일에 대해서는 Allow 지시어를 사용하여 허용했습니다.

위와 같이 Allow 지시어를 사용하여 특정 폴더나 파일을 허용하면 검색 엔진 로봇은 해당 폴더나 파일에 접근하여 크롤링할 수 있습니다.