본문 바로가기
카테고리 없음

Claude Code를 이용하여 URL 크롤링 프로그램 만들기

by tamasblog 2026. 4. 3.

도매사이트에서 상품 소싱하다 보면, 괜찮은 상품이 눈에 들어올 때마다 URL을 하나씩 복사해서 어딘가에 저장해야 하는 순간이 옵니다. 한두 개야 그냥 하죠. 그런데 한번에 100개씩 골라야 할 때는 어떨까요? 상품 링크에 들어가서 링크 복사, 엑셀파일 열고 붙여넣기. 이걸 상품마다 반복하고 있으면 같은 행동을 반복하는 로봇이 된 것 같은 기분입니다.

 

제 목표는 바이브코딩을 이용하여 도매사이트 상품의 데이터를 전부 자동으로 가공하는 것입니다. 그래서 저는 이미 Antigravity를 이용하여 도매사이트 상품의 대표 이미지와 상세 페이지를 자동으로 다운로드하는 프로그램을 만들어 놨어요. 근데 그 프로그램은 상품 URL을 입력해야 동작하거든요. 결국 병목은 그 URL을 모으는 과정이었던 거예요. 자동화의 앞단에 수작업이 떡하니 버티고 있으니, 전체 흐름이 매끄럽지가 않더라고요.

 

1. Claude code를 이용하여 프로그램 만들기


도매 사이트는 URL을 일괄 수집하는 기능을 제공하지 않아요. 상품 목록 페이지에서 마음에 드는 걸 하나씩 클릭해서 들어가고, 그때마다 주소창에서 URL을 따로 저장해야 하는 구조인 거죠. 사이트 잘못도, 사용자 잘못도 아니에요. 그냥 그런 불편함을 해소해주는 도구가 우리에게 없었을 뿐이죠.

 

저도 처음엔 URL을 수동으로 정리하다가 지쳐서 포기한 적이 있어요. 그때 '이런거 자동으로 해주는 프로그램 어디 없나..' 싶었는데, 크롤링이라는 단어 자체가 뭔가 개발자만의 영역 같아서 엄두가 안 나더라고요.

 

저는 이전에 Antigravity를 이용하여 '이미지 자동 저장 프로그램'을 만들었습니다. 그래서 이번에도 AI한테 맡기기로 하였죠. 그런데 이번에는 Antigravity가 아닌 Claude Code를 사용해보기로 하였습니다. 사실 여자친구가 Claude를 사용하는데 코딩은 Claude code가 최고라고 하기에, Antigravity와는 어떤 점이 다를지 궁금해서 사용해보기로 했죠. 둘의 차이를 비교도 해보고 싶으니까요.

Claude code 시작 화면 ( 중앙 상단에 '코드'를 클릭하면 입장 가능 )
Claude code 시작 화면 ( 중앙 상단에 '코드'를 클릭하면 입장 가능 )

 

마침 여자친구 노트북에 Claude code가 있어서 바로 프로그램을 만들어달라고 했습니다.

 

"도매사이트 상품 목록에서 원하는 상품 URL을 클릭하면 엑셀 파일에 저장하는 프로그램 만들어줘"

 

2. 만들어지기까지.. 시행착오 & 솔직 후기


Claude Code의 첫인상

그런데 돌아온 반응이 예상 밖이었어요. Chrome Extension이 좋겠냐, Python 앱으로 갈 거냐, 갑자기 전문 용어들이 쏟아지는 거예요. 순간 '이거 나 같은 초보가 건드려도 되는 건가...' 싶었죠.

 

근데 여기서 Antigravity와의 차이가 확 느껴졌어요. Antigravity는 "어떻게 하고 싶은지 말해주세요!"라고 열린 질문을 던지는 스타일이거든요. 반면 Claude Code는 객관식 선택창을 띄워줬어요. 추천 항목에는 별도 표시까지 해주니까, 뭘 골라야 할지 모를 때 훨씬 편했습니다. 직접 타이핑해서 대답할 수 있는 선택지도 있어서 자유도가 막힌 느낌은 아니었어요.

 

몇 가지를 고르니까 Python 기반으로 프로그램을 만들기 시작했어요. 그러면서 파일 구조가 어떻고, 어떤 파일이 생성됐는지를 상세하게 보여주는데 멍하니 지켜보기만 했습니다. 저에게는 낯선 나라의 외국어 수준이었어요. 

전문가같은 말을 쏟아내는 Claude code

 

하지만 그 내용을 반드시 이해해야 하는 건 아니더라고요. Claude Code가 자기 작업 내역을 보여주는 거였을 뿐, 이후 대화에서는 알기 쉬운 말로 다시 설명해줬거든요. 혹시 여러분도 Claude Code 쓰다가 복잡한 내용이 쏟아져도, 당황하지 말고 그냥 대화를 계속 이어가세요.

 

오류 발생 및 해결

약 4분 정도 시간이 흘렀고, 프로그램이 완성되었습니다. Claude code에게 프로그램을 실행시켜 달라고 한 뒤, 설레는 마음으로 테스트해 보았습니다. 처음 만들 때 [ ATL + 마우스 우클릭 ]으로 엑셀에 저장하게 만들었기에 바로 도매상품을 클릭해 보았어요.

 

그런데 아무리 클릭해도 아무런 일도 일어나지 않았습니다. 엑셀 파일에도 아무런 내용도 추가되지 않았죠.

 

하지만 괜찮습니다. 이런 일이 생겨도 이 한마디면 다 해결되거든요. "고쳐줘."

 

제대로 작동하지 않는다고 말하자, Claude code가 열심히 이유를 찾기 시작했습니다. 그러면서 저에게 어떤 작업을 할 때마다 테스트를 해달라고 요구하였고, 대략 2분동안 몇 차례 테스트를 진행했더니 순식간에 고쳐졌습니다.

Claude code가 오류를 찾아가는 과정

 

오류를 수정하고 잘 작동되는지 확인했습니다. [ ATL + 마우스 우클릭 ]으로 수집할 사이트를 클릭하고 엑셀 파일을 열었더니, URL이 잘 저장되어 있었습니다.

 

엑셀 저장 형식도 내 맘대로

기본으로 만들어진 엑셀은 URL만 덜렁 저장되는 구조였어요. 평소 제가 쓰던 정리 방식이 따로 있었거든요. A열에 크롤링 순서, B열에 URL, C열에 상품번호, D열에 상품 제목, E열에 이미지 사용 가능 여부, F열에 수집 시간.

 

이 형식을 Claude Code한테 그대로 전달했더니, 이번엔 알아서 도매사이트의 HTML 구조(웹사이트의 뼈대라고 생각하시면 돼요)를 분석한 뒤 상품번호와 제목까지 자동으로 뽑아오게 만들어줬어요.

나의 요청대로 URL이 저장되고 있는 엑셀파일

 

테스트 결과를 보고 속으로 감탄했습니다. 제가 수동으로 하던 걸 클릭 몇 번으로 끝낸 거잖아요.

 

완성 후 체감

예전에 상품 30개 URL을 정리하는 데 10분 넘게 걸렸어요. 하지만 지금은 목록을 훑으면서 눈에 띄는 상품을 ALT + 우클릭으로 찍기만 하면 끝이라, 이제는 URL 30개를 2분만에 저장해 냅니다. 작업 시간이 5분의 1로 줄어든거죠. 수집한 URL을 제가 만든 사진 자동 저장 프로그램에 넘기면 이미지 다운로드까지 자동으로 이어지니까, 소싱 작업 전체가 하나의 흐름으로 연결된 셈이에요.

 

3. 이런 분이 읽으면 딱 좋아요


읽어보시면 좋을 분 :

  • 도매 사이트에서 상품 소싱을 자주 하고, URL 복붙에 시간을 뺏기는 분
  • 코딩을 몰라도 AI로 나만의 도구를 만들어보고 싶은 분
  • Antigravity 같은 자동화 도구를 쓰고 있는데, Claude Code가 실제로 어떤지 궁금한 분

이 글이 안맞을 수 있는 분 :

  • 이미 Python이나 Selenium으로 크롤링 환경을 구축해놓은 분
  • 대규모 데이터 수집이 필요한 분 (이 도구는 수동 클릭 기반이라 소규모 소싱에 적합해요)
  • 도매 사이트를 이용할 일이 없는 분

 

4. 총평


사용 편의성 ★★★★★ Claude Code가 거의 다 해줘요. 제가 한 건 에러 메시지 전달뿐
실용성 ★★★★★ URL 모으는 시간이 체감 80% 줄었어요
제작 소요 시간 ★★★★☆ 시행착오 포함해서 약 2시간정도, 집중하면 더 빠를 듯 합니다
작업물 완성도 ★★★☆☆ 이미 충분하지만, 분명 더 추가하고 싶은 기능이 떠오를거라 생각합니다
초보 친화도 ★★★★☆ 선택지를 띄워줘서 Antigravity보다 오히려 편했어요

 

5. 지금 바로 해볼 수 있어요


"나도 해볼까?" 싶으셨다면, 진짜 별거 없어요. Claude Code에 들어가서 이렇게 입력해보세요.

 

"도매사이트 상품 목록 페이지에서 상품 URL을 클릭하면 수집해주는 프로그램을 만들어줘. 수집된 URL은 엑셀 파일에 저장해줘."

 

이 한 문장이면 출발점은 충분합니다. 궁금하거나 모르는게 생기면 그것도 물어보면 돼요. 같은 질문 열 번 해도 AI는 항상 친절하고 자세하게 설명해 주니까요.

 

Claude Code를 아직 안 써보셨다면, [공식 사이트]에서 먼저 둘러보세요. 간단한 설치만 마치면 오늘 당장 만들어볼 수 있습니다.


혹시 Antigravity로 이미지 자동 저장 프로그램을 만든 과정이 궁금하시다면 아래 링크를 통해 보실 수 있습니다.

 

| 1일차 글 보기: [사용하고 싶은 프로그램을 못찾으셨나요? Antigravity로 나만의 프로그램 만들기 [1일차]

| 2일차 글 보기: [사용하고 싶은 프로그램을 못찾으셨나요? Antigravity로 나만의 프로그램 만들기 [2일차]

| 3일차 글 보기: [사용하고 싶은 프로그램을 못찾으셨나요? Antigravity로 나만의 프로그램 만들기 [3일차]

 

 

Q & A


Q1. 코딩 진짜 하나도 모르는데 가능한가요? 저도 IT 비전공자예요. 하지만 Claude Code가 코드를 전부 작성해주니까 제가 직접 한 건 없어요. 에러가 나면 그 화면을 보여주고, 원하는 기능이 있으면 말해주면 추가해줘요.

 

Q2. Claude Code는 유료인가요? 네, 유료 서비스입니다. 다만 가장 낮은 요금제인 Pro 플랜(월 20$)으로도 대부분 충분히 사용 가능합니다. 그리고 다양한 다양한 장점을 가진 Claude의 상위 모델인 Opus도 활용할 수 있어 유용하죠.

 

Q3. Claude 설치가 어렵지 않나요? 저는 여자친구의 노트북에 이미 설치가 되어 있어서 바로 사용할 수 있었습니다. 하지만 알아보니 일반적인 프로그램들과 설치 방법이 다르지 않아 쉽게 설치하실 수 있을겁니다.

 

Q4. 아무 도매 사이트에서도 쓸 수 있나요? 원리는 같아요. 다만 사이트마다 URL 구조가 다르니까, 해당 사이트에 맞게 바꿔달라고 Claude Code에 요청하면 됩니다. 저도 다른 사이트로 확장해볼 생각이에요.

 

Q5. Antigravity 없이 이 확장 프로그램만 써도 되나요? 물론이죠. 하지만 유료 플랜 사용자 외에는 사용할 수 없으니, AI를 이용한 프로그램 만들기가 처음이시라면 Antigravity를 먼저 체험해보시는걸 추천드립니다. Antigravity는 무료로도 사용 가능하거든요.