인터넷 환경은 빠르게 변화하고 있습니다.
과거에는 단순한 검색엔진 크롤러만 관리하면 되었지만, 현재는 ChatGPT, Gemini, Claude, Perplexity, GPTBot 등 다양한 AI 크롤러와 수많은 자동화 봇이 웹사이트를 지속적으로 방문하고 있습니다.
DX Bot Challenge는 이러한 변화에 대응하기 위해 개발된 DXCMS 전용 봇 관리 플러그인입니다.
허용할 봇은 자유롭게 등록하고, 일반 사용자에게만 Challenge를 적용하여 불필요한 서버 부하를 줄이면서도 AI 크롤러와 검색엔진은 정상적으로 접근할 수 있도록 설계되었습니다.
주요 기능
봇 Challenge 활성화
사이트 방문 시 Challenge를 적용하여 일반적인 자동화 봇의 접근을 차단합니다.
정상적인 방문자는 최초 한 번만 인증되며 이후에는 쿠키를 이용하여 재인증 없이 사이트를 이용할 수 있습니다.
로그 기록
Challenge 통과 및 차단 기록을 로그로 저장할 수 있습니다.
운영자는 실제 차단 현황을 쉽게 확인할 수 있으며, 공격 패턴 분석에도 활용할 수 있습니다.
쿠키 유지시간 설정
Challenge 통과 후 인증 쿠키의 유지 시간을 자유롭게 설정할 수 있습니다.
예를 들어
- 1시간
- 하루
- 일주일
등 사이트 운영 정책에 맞게 조정할 수 있습니다.
Secret Key 지원
Challenge 생성 시 Secret Key를 사용하여 위변조를 방지합니다.
이를 통해 단순한 우회 시도를 어렵게 만들어 보안을 강화합니다.
사용자 허용 봇 등록
기본 제공되는 봇 외에도
- semrushbot
- ahrefsbot
등 원하는 User-Agent를 직접 등록할 수 있습니다.
한 줄에 하나씩 입력하면 되므로 관리가 매우 간단합니다.
다양한 AI 크롤러 기본 지원
기본적으로 다양한 AI 및 검색엔진 봇이 등록되어 있습니다.
예를 들어
- Googlebot
- Googlebot Image
- Google Extended
- Bingbot
- GPTBot
- ChatGPT User
- Gemini
- ClaudeBot
- Claude User
- PerplexityBot
- Applebot
- DuckDuckBot
- YandexBot
- Slurp
- BaiduSpider
- Naver(Yeti)
등 주요 글로벌 검색엔진과 AI 크롤러를 기본 지원합니다.
실시간 통계
관리자는 다음 정보를 바로 확인할 수 있습니다.
- 오늘 차단(JS 실패)
- 오늘 봇 차단
- 오늘 IP 차단
현재 사이트의 봇 활동 현황을 한눈에 확인할 수 있습니다.
성능
DX Bot Challenge는 무거운 방화벽(WAF) 방식이 아닙니다.
필요한 순간에만 Challenge를 수행하고, 이후에는 쿠키를 활용하여 인증 여부를 확인하므로 서버 부하가 매우 적습니다.
또한 허용된 검색엔진 및 AI Bot은 Challenge를 거치지 않으므로 크롤링 효율도 유지됩니다.
불필요한 데이터베이스 접근 없이 동작하도록 설계되어 일반적인 홈페이지부터 대규모 커뮤니티까지 부담 없이 사용할 수 있습니다.
설치 방법
설치는 매우 간단합니다.
1. 플러그인 업로드
플러그인을 DXCMS의 plugins 디렉터리에 업로드합니다.
/plugins/dx-bot-challenge
2. 플러그인 활성화
플러그인은 활성화 필요없습니다. 내장 admin을 제공합니다.
그냥, 업로드 후, 관리자에서 보안관리를 하시면 됩니다.
3. Secret Key 설정
관리자 화면에서 원하는 Secret Key를 입력합니다.
사이트마다 서로 다른 값을 사용하는 것을 권장합니다.
4. 쿠키 유지시간 설정
Challenge 통과 후 유지할 시간을 설정합니다.
기본값은 3600초
5. 허용할 봇 등록
추가로 허용하고 싶은 User-Agent가 있다면
한 줄에 하나씩 입력합니다.
semrushbot
ahrefsbot
facebookexternalhit
6. 저장
저장 버튼을 누르면 즉시 적용됩니다.
별도의 서버 재시작은 필요하지 않습니다.
## 데모사이트에서 관리자를 로그인하신 후 확인하실 수 있습니다.
아이디 : admin / 비밀번호 : 12341234
