안녕하세요!
혹시 여러분, 사이트 최적화에 필요한 “robots.txt 파일” 놓치고 계시진 않나요?
클라우드웨이즈에서 워드프레스를 운영하면서 SEO 성적이 안 나오는 이유, 사실 이 작은 파일 하나 때문일 수 있습니다.
오늘은 초보라도 10분 만에 끝낼 수 있는, 클라우드웨이즈 robots.txt 파일 만드는 방법을 알려드릴게요.
이거 안 하면, 사이트가 검색엔진에서 사라질 수도 있습니다.
목차
클라우드웨이즈란?
클라우드웨이즈(Cloudways)는 아마존 AWS, 구글 클라우드, 디지털오션 등 다양한 클라우드 서버 위에 간편한 관리 플랫폼을 제공하는 서비스입니다.
초보자도 몇 번 클릭만으로 서버를 세팅할 수 있어 인기가 많습니다.
특히 워드프레스 사용자들에게 최적화되어 있어 빠른 속도와 쉬운 관리가 강점이죠.
| 장점 | 단점 |
|---|---|
| 간편한 서버 관리 | 무료 플랜 없음 |
| 다양한 클라우드 지원 | 세부 설정이 복잡할 수 있음 |
| 강력한 워드프레스 최적화 | 가격이 약간 비쌈 |
robots.txt란 무엇인가?
robots.txt 파일은 검색엔진 로봇(크롤러)에게 내 사이트의 어떤 부분을 수집하고, 어떤 부분을 무시해야 하는지 알려주는 파일입니다.
쉽게 말해,
“이곳은 봐도 돼, 저기는 들어오지 마.”
하는 지도를 제공하는 셈이죠.
✔️ robots.txt가 필요한 이유
- 검색엔진 최적화(SEO) 향상
- 민감한 정보 보호
- 서버 과부하 방지
클라우드웨이즈에서 robots.txt 파일 만드는 법
① 서버 접속 방법
- 클라우드웨이즈에 로그인합니다.
- 상단 메뉴에서 Servers를 클릭한 후, 설정할 서버를 선택합니다.
- Application Management > Application Settings로 이동합니다.
- SSH 접속 정보를 확인합니다.
- SSH 클라이언트(예: PuTTY)를 사용해 서버에 접속합니다.
👉 팁: 클라우드웨이즈에서는 SFTP를 지원하니 파일질라(Filezilla) 를 사용하시면 됩니다.
먼저 파일질라 클라이언트 버전을 다운로드해 설치해 주세요.
설치가 완료되면 프로그램을 실행한 후,
상단 메뉴에서 [파일] → [사이트 관리자] 를 눌러 서버 연결을 준비합니다.
[사이트 관리자] 창이 열리면, ‘새 사이트’ 버튼을 눌러주세요.
새 사이트를 생성한 후, 다음 정보를 입력합니다.
- 호스트
- 사용자 이름
- 비밀번호
FTP 접속 정보는 클라우드웨이즈 사용자의 경우,
클라우드웨이즈 대시보드에서
[Servers] → [Server Management] → [Master Credentials] 메뉴에서 확인할 수 있습니다.
② robots.txt 파일 생성
연결이 완료되면 파일질라 화면이 이렇게 나올 거예요.
- 왼쪽은 내 컴퓨터,
- 오른쪽은 연결된 사이트 서버입니다.
이제 내 PC에 저장된 robots.txt 파일을 서버로 옮길 시간입니다.
여기서 가장 중요한 점!
👉 무조건 public_html 폴더 안에 파일을 업로드해야 합니다.
오른쪽 서버 영역에서 public_html 폴더를 열어주세요.
그런 다음, 왼쪽 내 컴퓨터 영역에서 robots.txt 파일을 찾아 더블클릭하거나 끌어다 놓기 해서 서버에 올려주세요.
파일을 성공적으로 업로드했다면, 마지막으로 검증도 해야겠죠?
브라우저 주소창에내 사이트 주소/robots.txt
를 입력해보세요.
업로드한 파일 내용이 바로 보인다면, 성공입니다!
③ 기본 추천 코드 예시
User-agent: *
Disallow: /wp-admin/
Disallow: /feed/
Allow: /
Sitemap: https://사이트명.com/sitemap_index.xml| 명령어 | 설명 |
|---|---|
| User-agent | 모든 검색엔진 로봇 대상으로 설정 |
| Disallow | 특정 경로 크롤링 금지 |
| Allow | 특정 경로는 예외 허용 |
| Sitemap | 사이트맵 위치 알려주기 |
클라우드웨이즈 robots.txt 관리 시 주의사항
- Disallow를 너무 많이 걸면 오히려 SEO에 악영향을 줄 수 있어요.
- 중요한 페이지(예: 결제, 로그인)는 차단하는 것이 좋습니다.
- 수정 후에는 반드시 robots.txt 테스트 툴로 오류를 확인하세요.
- 사이트맵 URL은 절대 빠뜨리지 마세요.
결론
오늘 알려드린 방법으로 클라우드웨이즈 robots.txt 설정을 제대로 해두면, 검색엔진에도 잘 노출되고 사이트 보안까지 챙길 수 있습니다.
귀찮다고 미루지 말고, 바로 지금 설정해보세요!
완벽한 robots.txt 파일은 사이트 최적화의 출발점입니다.
자주 묻는 질문
Q1. 클라우드웨이즈에서는 robots.txt 파일이 기본으로 생성되나요?
A. 아니요, 기본으로 생성되지 않습니다.
워드프레스를 설치하면 일부 플러그인이 자동 생성할 수 있지만, 대부분은 직접 만들어야 합니다.
특히 검색엔진 최적화를 제대로 하려면 직접 작성하고 관리하는 것이 가장 안전합니다.
Q2. robots.txt 파일이 없으면 사이트에 문제가 생기나요?
A. 반드시 문제가 생기진 않지만, 검색엔진이 사이트를 제대로 이해하지 못할 수 있습니다.
robots.txt 파일을 설정해두면 검색로봇이 중요한 페이지는 수집하고, 민감한 페이지는 차단할 수 있어 SEO에 큰 도움이 됩니다.
Q3. 파일질라 대신 다른 툴로 robots.txt를 업로드할 수 있나요?
A. 네, 가능합니다.
파일질라 외에도 클라우드웨이즈의 내장 파일 관리자나, 터미널을 이용한 SSH 접속 등 다양한 방법으로 파일을 업로드할 수 있습니다.
단, 초보자에게는 파일질라가 가장 쉽고 안전한 방법입니다.
Q4. robots.txt 수정 후 바로 검색엔진에 반영되나요?
A. 아니요, 시간이 조금 걸립니다.
수정된 robots.txt 파일은 검색엔진이 사이트를 다시 크롤링할 때 반영됩니다.
빠르게 반영하고 싶다면 구글 서치 콘솔에서 robots.txt 테스트 도구를 이용하거나, URL 검사 도구로 재크롤링을 요청할 수 있습니다.
Q5. robots.txt에 꼭 사이트맵 주소를 넣어야 하나요?
A. 권장합니다!
사이트맵 주소를 명시하면 검색엔진이 내 사이트 구조를 더 빠르게 이해하고, 더 많은 페이지를 정확하게 인덱싱할 수 있습니다.Sitemap: https://yourdomain.com/sitemap.xml 형태로 꼭 추가해 주세요.
