캐나다 교민들이 사용하는 최애 카페인 '캐스모'를 특정키워드로 크롤링해 주는 프로젝트를 구현합니다.
요구사항
- 구인/구직 코너에서 특정 검색어를 크롤링하여 엑셀로 저장한다.
- 읽어야 할 페이지수는 변경가능하다
- 단독 실행 가능한 프로그램으로 제공한다.
코드 구현
import requests
from bs4 import BeautifulSoup
# 입력변수를 정의함(검색어, 읽고자 하는 페이지수)
keyword = 'windsor'
pageno = 10
# type은 검색해야할 세부카테고리를 정의함(구인구직, 룸렌트 등등)
class CasmoSearch:
def __init__(self,keyword,pageno,type):
self.keyword = keyword
self.totalpage = pageno
self.type = type
self.url = 'https://m.cafe.daum.net/skc67/8cBB/search?r=https%3A%2F%2Fm.cafe.daum.net%2Fskc67%2F8cBB%3Fprev_page%3D3%26firstbbsdepth%3D02Orn%26lastbbsdepth%3D02OrU%26page%3D4&query='
# 세부카테고리 url을 정의함
def search(self):
if self.type == 'hire':
url = 'https://m.cafe.daum.net/skc67/8cBB/search?r=https%3A%2F%2Fm.cafe.daum.net%2Fskc67%2F8cBB%3Fprev_page%3D3%26firstbbsdepth%3D02Orn%26lastbbsdepth%3D02OrU%26page%3D4&query='
if self.type == 'rent':
url = 'https://m.cafe.daum.net/skc67/33dV/search?r=https%3A%2F%2Fm.cafe.daum.net%2Fskc67%2F33dV%3FboardType%3D"&query='
# 기본 url은 구인구직으로 함
if url == None:
url = self.url
url = url + f'{self.keyword}'
# f'https://m.cafe.daum.net/skc67/8cBB/search?r=https%3A%2F%2Fm.cafe.daum.net%2Fskc67%2F8cBB%3Fprev_page%3D3%26firstbbsdepth%3D02Orn%26lastbbsdepth%3D02OrU%26page%3D4&query={self.keyword}'
for i in range(1,self.totalpage+1):
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
items = soup.select('.img_none ')
for item in items:
titile = item.select_one('.tit_info').text
description = item.select_one('.desc_info').text
# test = item.select_one('.img_none >a')
# print(test)
link = 'https://m.cafe.daum.net' + item.select_one('.img_none >a').attrs['href']
date = item.select_one('.created_at').text
print(titile, description, link, date)
# 다음페이지 정보를 가져오는 알고리즘
pages = soup.select('.num_page > a')
print(f'###### {i} page')
if soup.select_one('.num_page > em'):
current_page = int(soup.select_one('.num_page > em').text)
for page in pages:
if page != None:
if int(page.text) == (current_page + 1):
url = 'https://m.cafe.daum.net' + page.attrs['href']
print(url)
코드 실행
keyword = '윈저'
pageno = 2
type = 'hire' # 'hire' or 'rent'
casmo = CasmoSearch(keyword=keyword,pageno=pageno,type=type)
casmo.search()구현을 위한 핵심내용
페이지를 가져오는 방식이 다른 웹사이트와 다른 방식이라서 여기서 다음카페의 Pagenation이 어떻게 구현되어 있는지 관찰이 필요했습니다. 단순하게 파라미터 값을 가져오는 구조가 아니었으며 아래 페이지 링크를 분석하여 해당 값을 가져온 다음에 next page정보를 획득함
실행결과
(윈저) 엔지니어 고용 < 엔지니어링 모집 공고> GMODIS (엔지니어링/Project Management)에서 다음과 같은 업무 분야에서 함께 오래 일하실 분을 모십니다. - 모집 분야: Project Engineer (풀 or 파트타임) - 모집 인원: 0 명 - 업무... https://m.cafe.daum.net/skc67/8cBB/570828?searchView=Y 24.09.24
[구인] 현장 자재관리 모집 공고 안녕하세요, 전기 시공업체에서 현장 자재관리 하실분 모집합니다. 현재 주 근무지는 윈저, 온타리오이며 (숙식제공) 가족같이 함께 성장할 인재를 찾고 있습니다. 간단한 이력서를 이메일로 첨부하여 지원해... https://m.cafe.daum.net/skc67/8cBB/569482?searchView=Y 24.09.08
[구인] 저니맨 전기기사 모집 공고 시공업체에서 저니맨 전기기사를 모집합니다. 저희는 토론토 유니언 소속 회사입니다. 현재 주 근무지는 윈저, 온타리오이며 (숙식제공) 가족같이 함께 성장할 인재를 찾고 있습니다. 저희 회사에 관심이... https://m.cafe.daum.net/skc67/8cBB/569481?searchView=Y 24.09.08
[구인] CAD technician 모집 공고 안녕하세요, 전기 시공업체에서 CAD Technician 모집합니다. 현재 주 근무지는 윈저, 온타리오이며 (숙식제공) 가족같이 함께 성장할 인재를 찾고 있습니다. 저희 회사에 관심이 있으시다면, 간단한 이력서를... https://m.cafe.daum.net/skc67/8cBB/569480?searchView=Y 24.09.08
[구인] 견습생/저니맨 전기기사 모집 공고 견습생 및 저니맨 전기기사를 모집합니다. 저희는 토론토 유니언 소속 회사입니다. 현재 주 근무지는 윈저, 온타리오이며 (숙식제공) 가족같이 함께 성장할 인재를 찾고 있습니다. 저희 회사에 관심이 있으시다면... https://m.cafe.daum.net/skc67/8cBB/569438?searchView=Y 24.09.08
[구인] CAD technician 모집 공고 안녕하세요, 전기 시공업체에서 CAD Technician 모집합니다. 현재 주 근무지는 윈저, 온타리오이며 (숙식제공) 가족같이 함께 성장할 인재를 찾고 있습니다. 저희 회사에 관심이 있으시다면, 간단한 이력서를... https://m.cafe.daum.net/skc67/8cBB/569437?searchView=Y 24.09.08
[구인] 견습생/저니맨 전기기사 모집 공고 견습생 및 저니맨 전기기사를 모집합니다. 저희는 토론토 유니언 소속 회사입니다. 현재 주 근무지는 윈저, 온타리오이며, 가족같이 함께 성장할 인재를 찾고 있습니다. 저희 회사에 관심이 있으시다면, 간단한... https://m.cafe.daum.net/skc67/8cBB/569291?searchView=Y 24.09.06
[구인] Plant Safety Coordinator (안전관리자/윈저) 구인합니다 안녕하세요 온타리오주 Windsor 에서 근무가능한 플랜트 현장안전 코디네이터 구인합니다. (Safety Cordinator) 직무내용: 플랜트 건설현장 내부 안전관리 (Overall Management) 관련업무 법인장에게 정기보고... https://m.cafe.daum.net/skc67/8cBB/565300?searchView=Y 24.07.22
해외이사 업체 캐나다쉬핑에서 물류직원으로 일할 윈저지역의 파트타임 직원을 모집합니다. 업소명 및 지역: 윈저에 거주하시는 분들중에서 캐나다쉬핑에 이사화물 하역을 도와줄 파트타임 헬퍼를 구합니다. 7월 18일 오전 9시 시작 업소명 및 지역: 캐나다쉬핑 / 윈저 업소 공식 연락처 : 647-380-1000... https://m.cafe.daum.net/skc67/8cBB/564886?searchView=Y 24.07.17
[구인] 윈저 근처의 LG 밧데리 공장 건설에 필요한 인력 - 기계, 전기, 배관, 구매, 총무 등 미국에 사는 친구가 캐나다에서 영어와 한국어가 가능한 교민(영주권, 시민권자) 직원을 구한다기에 캐스모에 광고를 올립니다. 구직 희망자는 아래 내용을 보시고 직접 연락하시기 바랍니다. 회사명: Autorica... https://m.cafe.daum.net/skc67/8cBB/560502?searchView=Y 24.05.21
해외이사 업체 캐나다쉬핑에서 물류직원으로 일할 윈저지역의 파트타임 직원을 모집합니다. 업소명 및 지역: 윈저에 거주하시는 분들중에서 캐나다쉬핑에 이사화물 하역을 도와줄 파트타임 헬퍼를 구합니다. 5월 1일 오전 10시 시작 업소명 및 지역: 캐나다쉬핑 / 윈저 업소 공식 연락처 : 647-380-1000... https://m.cafe.daum.net/skc67/8cBB/558648?searchView=Y 24.04.30
★★윈저에서 함께 일하실 분을 모집니다.(간단한 법인업무 지원 및 통역) 안녕하세요!!! 캐나다 윈저에서 사업을 영위하고 있는 SH Supplying Canada Inc. 입니다. 기본적인 법인 지원 업무(구매,계약,보험등 지원) 및 통역 업무가 가능하신 분과 함께 일하고 싶습니다. 희망하시는 분은... https://m.cafe.daum.net/skc67/8cBB/549592?searchView=Y 24.01.19
해외이사 업체 캐나다쉬핑에서 물류직원으로 일할 파트타임 직원을 모집합니다. 업소명 및 지역: 윈저에 거주하시는 분들중에서 캐나다쉬핑에 이사화물 하역을 도와줄 파트타임 헬퍼를 구합니다. 업소 공식 연락처 : 업소명 및 지역: 캐나다쉬핑 / 윈저 업소 공식 연락처 : 647-380-1000... https://m.cafe.daum.net/skc67/8cBB/549442?searchView=Y 24.01.18
윈저 카풀 안녕하세요 :) 월-금 오전 오후에 10-20분 정도 하루에 2번 카풀 해주실 분 계신가요? 기름값까지 포함하여 드릴 예정이오니 관심 있으신 분은 아래 링크 확인 부탁드려요! 카풀 https://open.kakao.com/o/soEDTe4f https://m.cafe.daum.net/skc67/8cBB/549395?searchView=Y 24.01.17
★윈저에서 함께 일하실 분을 모집니다.(간단한 법인업무 지원 및 통역)★ 안녕하세요!!! 캐나다 윈저에서 사업을 영위하고 있는 SH Supplying Canada Inc. 입니다. 기본적인 법인 지원 업무(구매,계약,보험등 지원) 및 통역 업무가 가능하신 분과 함께 일하고 싶습니다. 희망하시는 분은... https://m.cafe.daum.net/skc67/8cBB/549357?searchView=Y 24.01.16
★윈저에서 함께 일하실 분을 모집니다.(간단한 법인지원 업무 및 통역)★ 안녕하세요!!! 캐나다 윈저에서 사업을 영위하고 있는 SH Supplying Canada Inc. 입니다. 기본적인 법인 지원 업무(구매,계약,보험등 지원) 및 통역 업무가 가능하신 분과 함께 일하고 싶습니다. 희망하시는 분은... https://m.cafe.daum.net/skc67/8cBB/549293?searchView=Y 24.01.16
[구인] Windsor -한식당 주방($20부터) 안녕하세요 토론토에서 4시간 서쪽인 윈저에서 풀타임 (한식당) 직원 구합니다 1.숙식제공 2.시급 $20부터 ~초보여도 괜찮습니다 ~~ 3.오픈채팅방으로 문의 부탁 드리며 간단한 이력 문의시 먼저 알려주세요... https://m.cafe.daum.net/skc67/8cBB/548618?searchView=Y 24.01.08
윈저 일식쉐프 구함 미국 디트로이트 바로앞 도시 윈저에 위치한 Aji sushi 에서 스시 사시미 가능한 쉐프님 구합니다. 일식 배우고 싶은 학생들도 파트타임 잡으로 가능하니 언제든지 연락주세요. LMIA도 지원 가능합니다. 풀타임... https://m.cafe.daum.net/skc67/8cBB/548294?searchView=Y 24.01.04
윈저 비지니스 셋업 희망자 윈저의 battery 공장 건립으로 인한 많은 비지니스 기회가 있습니다. 미용실, 식당, 수퍼마켓 등... 한인들을 위한 많은 비지니스 Needs와 기회가 있습니다. 비지니스 론 부터, 부동산 구매 및 리스, 계획, 설계... https://m.cafe.daum.net/skc67/8cBB/546508?searchView=Y 23.12.07
요리사분 채용 _윈저에 계신 분 환영 제품을 제조하기 위한 사업장의 기계설비 , 공조 및 배관분야의 전문 공사를 수행하고 있습니다. 현재 윈저의 캐나다 법인 직원들의 복리를 위한 일환으로 직원들의 점심과 저녁을 준비 해 주실 요리사 또는 요리... https://m.cafe.daum.net/skc67/8cBB/546507?searchView=Y 23.12.07
###### 1 page
https://m.cafe.daum.net/skc67/8cBB/search/all?query=%EC%9C%88%EC%A0%80&r=https%3A%2F%2Fm.cafe.daum.net%2Fskc67%2F8cBB%3Fprev_page%3D3%26firstbbsdepth%3D02Orn%26lastbbsdepth%3D02OrU%26page%3D4&sort=0&head=&page=2
(주) 탑엔지니어링 현장 공무 모집_Topen Inc (캐나다 법인) Topen Inc 캐나다 법인 - 본사 (주) 탑엔지니어링 캐나다 윈저 현장 공무 담당자를 모집합니다. 우리 회사는 2014년 창립한 이후로 반도체, Display 그리고 Battery 등 첨단 제품을 제조하기 위한 사업장의 기계... https://m.cafe.daum.net/skc67/8cBB/546506?searchView=Y 23.12.07
[구인] (완료)함께 일 하실 분을 찾습니다. 윈저 지역 배터리 공장 건설 현장에 매니지먼트 회사에서 어시스턴트를 구하고 있습니다. 최소 1년 최대 3년 계약직을 찾고 있으며, 숙소와 차량 마일리지 제공됩니다. https://startwindsor.com 통해서 좀 더... https://m.cafe.daum.net/skc67/8cBB/545001?searchView=Y 23.11.19
[구인] (완료)윈저 지역 구인 윈저 지역 배터리 공장 건설 현장에 매니지먼트 회사에서 어시스턴트를 구하고 있습니다. 최소 1년 최대 3년 계약직을 찾고 있으며, 숙소와 차량 마일리지 제공됩니다. https://startwindsor.com 통해서 좀 더... https://m.cafe.daum.net/skc67/8cBB/544803?searchView=Y 23.11.17
[구인] (완료)매니지먼트 어시스턴트 윈저 지역 배터리 공장 건설 현장에 매니지먼트 회사에서 어시스턴트를 구하고 있습니다. 최소 1년 최대 3년 계약직을 찾고 있으며, 숙소와 차량 마일리지 제공됩니다. https://startwindsor.com 통해서 좀 더... https://m.cafe.daum.net/skc67/8cBB/544484?searchView=Y 23.11.14
캐나다출장으로 인한 긴급 통역알바 구합니다. 안녕하세요 저희는 한국에서 캐나다로 진출하여 윈저 프로젝트를 수행하고 있는 SH Supplying CANADA 라는 회사입니다. 긴급히 약 7~9일사이의 일정으로 출장이 금일 ( 18일)출발하여 캐나다 토론토 현지시간으로... https://m.cafe.daum.net/skc67/8cBB/541759?searchView=Y 23.10.18
[구인] 윈저 일식당 미국 디트로이트 바로앞 도시 윈저에 위치한 Aji sushi 에서 스시 사시미 가능한 쉐프님 구합니다. 일식 배우고 싶은 학생들도 파트타임 잡으로 가능하니 언제든지 연락주세요. LMIA도 지원 가능합니다. 풀타임... https://m.cafe.daum.net/skc67/8cBB/541232?searchView=Y 23.10.13
[구인] 에어비앤비 클리너 $40/h(윈저) 윈저 다운타운부근 에어비앤비 클리너 모집합니다. 건별 cash 지급 가능하며, 시간당 $40 기본 2시간 그후 양에 따른 시간추가. 2bd 1ba 펜트하우스이며, 일박요금이 높아서 주요 손님들이 출장자 혹은 전문직등... https://m.cafe.daum.net/skc67/8cBB/539849?searchView=Y 23.09.30
[구인] 윈저에 위치한 일식당에서 쉐프 구합니다 윈저에 위치한 Aji sushi 에서 스시 사시미 가능한 쉐프님 구합니다. 일식 배우고 싶은 학생들도 파트타임 잡으로 가능하니 언제든지 연락주세요. LMIA도 지원 가능합니다. 풀타임 파트타임 다 구인합니다. 언제... https://m.cafe.daum.net/skc67/8cBB/535708?searchView=Y 23.08.30
[구인] LG CNS 미주법인에서 회계/세무 분야 경력직을 모집합니다.(윈저 근무) 회계/세무 분야 경력직을 채용 중 입니다. - 포지션 : LG CNS 미주법인 캐나다지점 회계/세무 - 근무지 : 윈저 - 지원 방법 : 아래 링크를 통해 지원 https://careers.lg.com/app/job/RetrieveJobNoticesDetail... https://m.cafe.daum.net/skc67/8cBB/515466?searchView=Y 23.03.21
[구인] 컨비니언스 캐셔 MS Lakeshore Convenience (1196 Essex County Rd 22, Emeryville, ON N0R 1C0) (윈저 근처 30분 거리에 위치한 Emoryville 에 위치한 컨버니언스입니다) 시급: $15.00/ hr 직무: 캐셔 근무시간: 주 2회 (시간... https://m.cafe.daum.net/skc67/8cBB/434041?searchView=Y 21.12.31
코코메디 가격 코코메디 사용법 가격 후기 바로 보세요♥ 조지 3세 왕미국독립전쟁 때 영국 왕이 마부용 가발과 가죽반바 지와 톱 부츠승마용 장화를 착용한 채 윈저영국왕궁 테라스 코코메디 가격 코코메디 사용법 가격 후기 바로 보세요♥ 위에서 있는 장면을 묘사한... https://m.cafe.daum.net/skc67/8cBB/373953?searchView=Y 21.05.21
[구직] 단기 알바 안녕하세요. 현재 윈저에서 대학을 다니고 있는 남학생입니다. 나이는 만 20세입니다. 한국에 가기전 4/28 - 6/5 대략 한달 알바를 해보고 싶어서 글을 써봅니다!!! 시간은 상관없습니다 (full time 선호) 지역은... https://m.cafe.daum.net/skc67/8cBB/280576?searchView=Y 19.04.11
[구직] 서머타임 토론토 알바 구합니다! 안녕하세요! 지금 윈저(windsor)에서 St. Clair College 를 다니고 있는 20살 남학생입니다. 4월 26일날 학교가 끝나서 5월부터 6월까지 한달동안 빡세게 일하고 한국으로 가려고 합니다. (6월 6일 비행기... https://m.cafe.daum.net/skc67/8cBB/275415?searchView=Y 19.03.12
Sales 해밀턴/키치너/워털루/윈저/런던/나이아가라 지역 모집 세일즈 담당하실분 모집합니다 온라인.마케팅 및 홍보 포스팅 재택 근무 파트타임 미니멈 시급 이력서 보내주세요. ****************@*****.*** https://m.cafe.daum.net/skc67/8cBB/236288?searchView=Y 18.07.12
Windsor Arms Hotel 에서 Patisserie Assistance really great but not bad. 시급은 자세히는 모르겠으나 Minimum 혹은 그 이상 드리는걸로 알고 있어요, 윈저암호텔에 국제 영화 축제 할때 마다 유명한 스타들이 온다고 들었어요, 줄리아 로버츠, 조지 클루니... https://m.cafe.daum.net/skc67/8cBB/43913?searchView=Y 12.09.10
Windsor Arms Hotel Patisserie Chef Assistance really great but not bad. 시급은 자세히는 모르겠으나 Minimum 혹은 그 이상 드리는걸로 알고 있어요, 윈저암호텔에 국제 영화 축제 할때 마다 유명한 스타들이 온다고 들었어요, 줄리아 로버츠, 조지 클루니... https://m.cafe.daum.net/skc67/8cBB/43770?searchView=Y 12.09.07
###### 2 page
개발문의 환영합니다.
Start an Open Chat on KakaoTalk!
Tap the link to get started.
웍투오토] 웹크롤링 & 업무자동화 개발문의
https://open.kakao.com/o/sF2plaVg
'웹크롤링' 카테고리의 다른 글
| 틱톡(Tiktok) 채널페이지 크롤링 사례 (1) | 2024.10.25 |
|---|