Claude Code를 이용하여 URL 크롤링 프로그램 만들기 [2일차]

상품 URL 수집 프로그램을 만들고 나서 하루종일 신나게 썼어요. ALT + 우클릭 한 번이면 엑셀에 URL이 착착 쌓이니까, 예전처럼 주소창에서 복사+붙여넣기를 반복하던 때가 이상하게 느껴질 정도였죠.

그런데 한 100개쯤 수집하고 나니까, 슬슬 불편한 지점들이 고개를 들기 시작했어요. "어라, 이거 아까 담은 상품 아닌가?" 엑셀 파일을 위아래로 스크롤하면서 중복을 눈으로 확인하는 제 모습을 발견한 거예요. 수집 속도는 빨라졌는데, 정작 중복 체크는 여전히 제 눈에 의존하고 있었던 셈이죠.

거기다 가끔 수집이 실패하는 상품도 있었어요. 클릭은 했는데 엑셀에 안 들어가 있는 거예요. 어떤 상품이 빠졌는지 알 수가 없으니, 나중에 "분명 담았는데..." 하고 헤매는 일이 생기더라고요.

엑셀 파일이 매번 같은 폴더에 저장되는 것도 은근 귀찮았어요. 프로젝트마다 폴더를 나눠서 관리하고 싶은데, 저장 경로를 바꾸려면 매번 직접 옮겨야 했거든요.

1. 도구 탓이 아니라, 아직 덜 다듬어진 거였을 뿐

이런 불편함이 쌓이면 보통 "에이, 그냥 수동으로 할까" 하고 돌아가기 쉬워요. 저도 그랬거든요. 한번은 중복 확인하다 짜증이 나서 엑셀을 닫아버린 적도 있었고요.

그런데 가만히 생각해보면 프로그램 자체가 잘못된 게 아니었어요. 처음 만들 때 "URL 수집"이라는 핵심에만 집중했으니까, 그 주변의 디테일까지 챙기지 못한 건 당연한 거였죠. 요리를 레시피대로 맛있게 만들었는데 그릇이랑 플레이팅을 아직 안 한 상태랄까요. 맛은 있는데 뭔가 부족한 느낌. 그래서 이번엔 그 부족한 부분을 채워보기로 했습니다.

2. 다시 Claude Code를 열었다

지난번에 프로그램을 처음 만들 때 썼던 Claude Code를 다시 꺼냈어요. 이미 한 번 써본 도구니까 진입 장벽은 없었고, 기존 프로그램에 기능만 얹으면 되니까 명령할 작업도 명확했죠.

첫 번째 요청: 중복 수집 URL 감지

가장 먼저 손댄 건 중복 감지였어요. Claude Code한테 "이미 수집한 URL을 다시 수집하면 엑셀에서 빨간 글자로 표시해줘"라고 말했습니다. 약 2분 만에 뚝딱 만들어줬고, 테스트로 같은 상품을 두 번 클릭해봤어요.

결과는... 동작은 제대로 했는데, 솔직히 제 기대와 좀 달랐어요. 빨간 글자로 바뀌긴 하는데, 파일을 열어봐야만 중복인지 알 수 있는 구조였거든요. 그리고 빨간 글자로 표시되지만, 결국 그 부분은 제가 직접 제거해야하는 번거로움도 존재했어요.

수집하는 시점에서 바로 "이거 중복이야!"라고 알려줘야 의미가 있지, 나중에 열어서 확인하는 건 결국 전이랑 다를 게 없으니까요.

그래서 방향을 바꿨어요. "중복 URL을 클릭하면 엑셀에 저장하지 말고, 화면에 '이미 수집된 URL입니다'라는 메시지 창을 띄워줘"라고 다시 요청했죠. 이번엔 한 번에 원하는 대로 나왔어요. 같은 상품을 클릭하는 순간 팝업이 뜨니까, 수집하면서 실시간으로 중복 여부를 확인할 수 있게 된 거예요.

이 과정에서 느낀 게 하나 있어요. AI한테 처음부터 완벽한 결과를 기대하기보다, 한 번 받아보고 "이 부분은 이렇게 바꿔줘"라고 구체적으로 수정 요청하는 게 훨씬 효율적이라는 점이에요. 마치 인테리어 시안 받고 "여기 색상만 바꿔주세요" 하는 것처럼요.

두 번째 요청: URL 수집 실패 목록 저장

다음은 수집 실패 문제였어요. 간혹 네트워크 오류나 사이트 구조 문제로 URL 수집이 안 되는 경우가 있는데, 이전에는 그냥 조용히 넘어가 버렸거든요. 실패한 줄도 모르고 지나치는 거라 나중에 "분명 50개 클릭했는데 왜 47개지?" 같은 상황이 생기곤 했죠.

"수집 실패한 URL은 엑셀 파일에 별도 시트로 저장해줘. 시트 이름은 [수집 실패 URL]로 해줘. "라고 요청했습니다. 이건 비교적 수월하게 완성됐어요. 실패 시트에는 URL과 함께 실패 시간, 에러 원인까지 기록되도록 해줘서, 나중에 해당 상품만 골라서 다시 수집하면 되는 구조가 됐습니다. 에러 원인까지 기록되니 나중에 에러가 많이 쌓이면 claude code에게 보여주며 에러 발생률을 낮추는 것도 가능할 것 같구요.

엑셀 파일 내 [수집 실패] 시트 모습 — 테스트를 계속 진행하였으나, 실패하는 경우가 나오지 않아 공백만 유지되었습니다.

세 번째 요청: 엑셀 파일 저장 경로 설정

마지막으로 엑셀 파일 저장 경로 설정이에요. 이때까지 프로그램이 실행되는 폴더에 자동으로 저장됐는데, 소싱 프로젝트별로 폴더를 분리해서 관리하고 싶었죠. "프로그램 사용할 때 엑셀 파일 저장할 폴더를 임의로 선택할 수 있게 해줘"라고 했더니, 폴더 선택 창이 먼저 뜨고 선택한 폴더에 엑셀이 생성되는 방식으로 바꿔줬어요. 별것 아닌 것 같지만, 작업 끝나고 파일 옮기는 수고가 사라지니까 생각보다 편해졌습니다.

세 가지 기능 추가 후 체감

세 가지를 추가하는 데 총 1시간 정도 걸렸어요. 중복 감지에서 방향을 바꾸느라 20분 정도 더 썼고, 나머지 두 개는 각각 15~20분이면 끝났습니다. 처음 프로그램을 만들 때 2시간 걸렸던 걸 생각하면, 이번엔 확실히 빠르더라고요. 이미 뼈대가 잡혀 있으니까 살만 붙이면 되는 느낌이었어요.

3. 이전과 지금, 뭐가 달라졌을까

처음 만들었을 때는 "URL을 자동으로 모을 수 있다"는 것 자체가 감동이었어요. 그런데 이번에 손을 보고 나니, 단순한 수집 도구가 아니라 제 작업 방식에 딱 맞는 소싱 도구가 된 느낌이에요.

중복 클릭하면 바로 알려주니까 일일이 파일을 뒤질 필요가 없고, 실패 목록이 따로 쌓이니까 놓친 상품을 나중에 한꺼번에 처리할 수 있어요. 저장 경로까지 프로젝트별로 나눌 수 있으니, 소싱 작업 → URL 수집 → 이미지 다운로드(Antigravity 프로그램 활용)까지 전체 흐름이 훨씬 깔끔해졌고요. 예전에는 수집 끝나고 파일 정리하는 데만 10분씩 쓰곤 했는데, 이제는 그 시간이 통째로 없어졌어요.

어제 만들고 방금 기능 추가를 마친 상황이라 제대로 써보진 않았지만, 벌써부터 이 프로그램 없이 소싱하라고 하면 좀 막막할 것 같아요.

4. 이런 분이 읽으면 딱 좋아요

읽어보시면 좋을 분 :

1편을 보고 URL 수집 프로그램을 이미 만들었는데, 뭔가 더 붙이고 싶은 분
AI로 프로그램을 만들었지만 "기능 추가"는 또 다른 영역이라 망설이고 있는 분
도매 소싱 작업에서 중복 관리나 파일 정리 때문에 스트레스 받는 분

이 글이 안 맞을 수 있는 분 :

아직 기본 URL 수집 프로그램을 안 만들어본 분 (1편부터 보시는 걸 추천드려요)
이미 크롤링 자동화를 고도화해서 쓰고 있는 개발자분
소싱 작업 자체를 하지 않는 분

5. 총평

사용 편의성	★★★★★	"이렇게 바꿔줘" 한마디면 끝. 지난번보다 더 수월했어요
실용성	★★★★★	중복 확인에 쓰던 시간이 아예 사라졌어요
제작 소요 시간	★★★★★	기능 3개를 1시간 만에 추가. 뼈대가 있으니 빠릅니다
작업물 완성도	★★★★☆	거의 완성형에 가까운데, 쓰다 보면 또 뭔가 떠오르겠죠
초보 친화도	★★★★★	기존 프로그램에 "이것도 해줘"만 말하면 돼서 진입 부담이 없었어요

6. 지금 바로 해볼 수 있어요

1편에서 URL 수집 프로그램을 이미 만들어두신 분이라면, Claude Code를 열고 이렇게 입력해보세요.

"이 프로그램에 중복 URL 감지 기능을 추가해줘. 이미 수집한 URL을 다시 클릭하면 '이미 수집된 URL입니다'라는 메시지를 띄워줘."

이 한 문장이면 첫 번째 업그레이드는 시작돼요. 거기서 마음에 안 드는 부분이 있으면 또 고쳐달라고 하면 되고요. AI한테 처음부터 100%를 기대하기보다, 70%짜리를 받아서 대화하면서 100%로 끌어올리는 게 바이브코딩의 핵심인 것 같아요.

7. 앞으로의 계획

자, 지금까지 5일동안 Antigravity와 Claude code를 이용해서 제가 사용할 프로그램을 만들어 봤는데요. 항상 이 문제 때문에 신경쓰이더라구요. 바로 1일 할당량입니다.

앞으로도 계속 저에게 필요한 것들을 만들어 갈 예정인데, 종종 할당량 부족으로 작업이 중단되니 조금 힘이 빠지더라구요. 그래서 프로그램을 더 만드는 시간을 갖기 전에 할당량이나 기본적인 지식을 쌓고 다시 출발할 예정입니다.

이 글을 읽고 계신 분들도 바이브코딩을 처음 사용하신다면 저와 같은 의문과 궁금증을 가지시리라 생각됩니다. 그래서 제가 먼저 열심히 공부한 뒤, 여러분과 함께 나눌 예정이니 다음 글도 기대해주세요!

아직 기본 프로그램을 안 만들어보셨다면, 1편부터 따라 해보시는 걸 추천합니다.

| 1편 보기: [Claude Code를 이용하여 URL 크롤링 프로그램 만들기]

Q & A

Q1. 1편 프로그램 없이 이 글만 보고 따라 할 수 있나요? 이번 글은 기존 프로그램에 기능을 추가하는 내용이라, 1편에서 기본 프로그램을 먼저 만드는 게 좋아요. 1편 링크는 글 마지막에 있으니 참고해주세요.

Q2. 기능 추가할 때도 비용이 따로 드나요? 별도 비용은 없어요. Claude Code 구독(Pro 플랜 월 $20) 안에서 다 됩니다. 기존 대화 이어서 하면 맥락도 유지돼서 더 편하고요. 하지만 할당량 초과 후에도 더 작업하고자 하실 경우에는 추가 사용량을 미리 결제하셔야 합니다.

Q3. 중복 감지가 100% 정확한가요? URL 기준으로 비교하는 거라 같은 URL이면 확실히 잡아냅니다. 다만 같은 상품인데 URL이 다른 경우(예: 파라미터가 다른 경우)는 별도 상품으로 인식할 수 있어요.

Q4. 기능을 한 번에 다 추가하지 않고 하나씩 한 이유가 있나요? 처음에 세 개를 한꺼번에 요청했다가 결과가 뒤엉킬까 봐 하나씩 진행했어요. 실제로 중복 감지에서 방향을 바꿨는데, 다른 기능이랑 섞여 있었으면 수정이 더 복잡했을 거예요.

Q5. 실패 목록에 찍힌 URL을 자동으로 재수집하는 것도 가능한가요? 지금은 수동으로 다시 클릭해야 하는데, 이것도 Claude Code한테 요청하면 만들 수 있을 거예요. 다음 업데이트 때 시도해볼 생각입니다.

Q6. 다른 도매사이트에서도 이 기능들이 작동하나요? 중복 감지나 저장 경로 설정은 사이트와 무관하게 동작해요. 다만 수집 실패 감지 부분은 사이트 구조에 따라 조정이 필요할 수 있는데, 그것도 Claude Code한테 "이 사이트에 맞게 바꿔줘"라고 하면 됩니다.

Q7. 처음부터 이런 기능까지 포함해서 만들 수는 없었나요? 가능은 하겠지만, 추천하진 않아요. 처음부터 너무 많은 걸 넣으면 문제가 생겼을 때 원인 찾기가 어렵거든요. 기본이 안정적으로 돌아가는 걸 확인하고, 필요한 것들을 하나씩 얹어가는 게 결과적으로 더 빠른 방법이었어요.

tamasblog 님의 블로그