하나둘셋넷

[웹 크롤링] 메타코드 강의 후기 - "4강 관광 상품 리뷰 크롤링 및 분석 프로젝트(1)"

메타코드M (mcode.co.kr)

하나투어 페이지의 주소는 아래와 같습니다.

https://www.hanatour.com/trp/pkg/CHPC0PKG0200M200?pkgCd=AVP228240501ZEA&prePage=major-products&directSale=PL00113904

페이지 Url 변화 확인

"하나투어" 홈페이지에서 베스트탭을 눌러 상품을 찾습니다.

하나의 상품을 선택하고, 아래로 스크롤을 하면 "여행후기" 탭을 확인할 수 있습니다.

여행후기탭을 누를 때와 누르지 않았을 때 url에는 변화가 생기지 않는 모습을 볼 수 있습니다.

이러한 상황에서 selenium을 통한 크롤링이 유용합니다.

여행후기 버튼 클릭 구현

여행후기 버튼 클릭을 구현하기 위하여 F12를 눌러 개발자 모드를 실행합니다.

개발자 모드에서 마우스 버튼을 클릭한 뒤에, "여행후기" 탭을 눌러 태그를 확인하고 XPath를 복사합니다.

아래의 코드에 복사한 값을 붙여넣습니다.

review_link = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="ulTag"]/li[6]/a')))

여기에서 웹페이지가 로드될 때까지 기다리도록 "EC.presence_of_element_located()"를 활용합니다.

Box 안의 요소 불러오기, selector 복사

후기 안의 요소들을 불러오는 것이 목표입니다.

개발자 모드에서 마우스를 통해 Box의 태그 정보들을 확인하고 "Copy selector"를 수행합니다. 결과는 아래와 같습니다.

"sticky06 > div > div.rating_list > ul > li:nth-child(1)" 

현재 클래스는 "list_review_v2" 입니다.

따라서 'ul.list_review_v2 > li' 를 통하여 클래스가 list_review_v2인 ul 태그들의 자식들인 li들을 찾습니다.

코드는 아래와 같습니다.

lis = driver.find_elements(By.CSS_SELECTOR, 'ul.list_review_v2 > li')

리뷰에 대한 정보 추출

리뷰의 정보들을 하나씩 추출하는 것이 목적입니다.

리뷰의 정보들dms 'rating_info' 클래스 안에 span 태그로 기록되어 있습니다.

따라서 find_elements(By.TAG_NAME, 'span')을 통하여 각 요소들에 접근합니다.

딕셔너리에 적절한 키 이름을 정의하고 spans[1].text 문법 구조를 통해 해당 값를 넣습니다.

리뷰 정보, 리뷰 카테고리 정보 추출

리뷰 정보와 리뷰 카테고리를 추출하는 것이 목적입니다.

여기에서는 if 문법을 사용하여 정보가 있으면 해당 정보를 담고, 정보가 없다면 빈 칸으로 하였습니다.

클래스 이름은 F12 개발자 모드에서 확인한 결과 각각 'review_count.con', 'review_cate'입니다.

각각 'review', 'review' 를 키 값으로 하여 .text를 통해 value로 딕셔너리에 추가합니다.

추출된 정보를 데이터프레임 형태로 변환

for문의 마지막에 reviews.append(review_info)를 작성하여 만들어진 딕셔너리를 위에서 만든 reviews 리스트에 담습니다.

리스트 안에는 딕셔너리 형태의 정보가 담겨있으며, 리스트의 키 값에는 'rating', 'user', 'category', 'date', 'age', 'review', 'review_cate'가 있습니다.

데이터프레임으로 만들기 위하여 pd.DataFrame(reviews)를 사용합니다.

출력을 하면 올바른 결과가 나옴을 확인할 수 있습니다.

[웹 크롤링] 메타코드 강의 후기 - "3강 예매 가능한 기차표 찾기 프로젝트"

메타코드M (mcode.co.kr)

코레일 예약 페이지 주소는 아래와 같습니다.

https://www.letskorail.com/ebizprd/EbizPrdTicketPr21111_i1.do

url을 복사합니다.

미래 시점의 데이터를 사용할 것이며, 2 페이지 정도 넘어간 다음에 url을 복사합니다.

url = 'https://www.letskorail.com/ebizprd/EbizPrdTicketPr21111_i1.do?&txtGoAbrdDt=20240417&txtGoHour=093200&selGoYear=2024&selGoMonth=04&selGoDay=17&selGoHour=00&txtGoPage=2&txtGoStartCode=0001&txtGoStart=%EC%84%9C%EC%9A%B8&txtGoEndCode=0020&txtGoEnd=%EB%B6%80%EC%82%B0&selGoTrain=05&selGoRoom=&selGoRoom1=&txtGoTrnNo=&useSeatFlg=&useServiceFlg=&selGoSeat=&selGoService=&txtPnrNo=&hidRsvChgNo=&hidStlFlg=&radJobId=1&SeandYo=&hidRsvTpCd=03&selGoSeat1=015&selGoSeat2=&txtPsgCnt1=1&txtPsgCnt2=0&txtMenuId=11&txtPsgFlg_1=1&txtPsgFlg_2=0&txtPsgFlg_3=0&txtPsgFlg_4=0&txtPsgFlg_5=0&txtPsgFlg_8=&chkCpn=N&txtSeatAttCd_4=015&txtSeatAttCd_3=000&txtSeatAttCd_2=000&txtGoStartCode2=&txtGoEndCode2=&hidDiscount=&hidEasyTalk=&adjcCheckYn=N'

아래 코드를 실행함으로써, 본격적인 데이터를 탐색하기 전에 필수 라이브러리들인

BeautifulSoup, selenium, ChromeDriverManager, WebdriverWait 라이브러리 등을 불러옵니다.

from bs4 import BeautifulSoup
import pandas as pd

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait

아래 코드를 통하여, Selenium 웹 드라이버를 실행하는 과정을 수행합니다.

# Selenium 웹 드라이버 실행
driver = webdriver.Chrome(service = service)
driver.get(url)
wait = WebDriverWait(driver, 10)

테이블 정보를 담는 데이터프레임을 생성합니다.

리스트 구조를 활용하여 for문을 돌면서 각 tr의 td 데이터를 담는 데이터프레임을 생성합니다.

컬럼 이름들은 다음과 같습니다.

columns = [
    '구분', '열차번호', '출발시각', '도착시각', '특실/우등실', '일반실', '유아',
    '자유석/입석', '인터넷특가(멤버십혜택)', '예약대기', '정차역(경유)', '차량유형/편성정보', '운임요금', '소요시간']

아래와 같이 tr 안의 td에 들어있는 값들을 하나씩 리스트에 추가하는 코드를 작성합니다.

# 데이터를 저장할 빈 리스트 생성
data_rows = []

# table_contents의 각 tr 태그(행)에 대해 반복하면서 ,td 데이터를 컬럼에 담는다.
for tr in table_contents.find_all('tr'):
    # 각 열에 해당하는 데이터 추출
    data = []
    for td in tr.find_all('td'):
        text = td.get_text(strip=True)
        # 열에 데이터를 추가
        data.append(text)
    # 데이터를 행으로 추가
    data_rows.append(data)

마지막 코드를 통하여 데이터프레임 구조로 저장합니다.

df = pd.DataFrame(data_rows, columns = columns)
df

현재 이미지 태그의 값들은 데이터 프레임에 담기지 않은 모습을 보인다.

위에서와 마찬가지로 for문 구조를 작성하는데, 이번에는 td.find('img') 코드를 추가하여,

위에서 만든 데이터프레임에 빈 칸이 생기는 경우가 없도록 할 것입니다.

# table_contents의 각 tr 태그(행)에 대해 반복하면서, td 데이터를 컬럼에 담아준다.
for tr in table_contents.find_all('tr'):
    # 각 열에 해당하는 데이터 추출
    data = []
    for td in tr.find_all('td'):
        # td 안에 있는 im 태그가 있는지 확인, alt 속성 추출
        img_tag = td.find('img')
        # img_tag가 존재하면
        if img_tag:
            text = img_tag.get("alt", "")
        else:
            text = td.get_text(strip=True)
            
        # 열에 데이터를 추가
        data.append(text)
    # data, 즉 방금까지 td 태그들이 쌓인 data 리스트에 url도 하나 더 추가
    data.append(url)
    # 데이터를 행으로 추가
    data_rows.append(data)

"if img_tag" 조건문을 추가하고 img 태그가 있는 경우에는 "img_tag.get("alt", "")" 과정이 수행되도록 합니다.

그 외의 경우에는 위에서 진행한 대로 "td.get_text(strip=True)" 과정이 진행되도록 합니다.

다음 버튼 활용

원하는 위치에 대하여 Copy XPath를 진행합니다.

복사된 XPath는 "//*[@id="divResult"]/table[2]/tbody/tr/td/a[2]/img" 형태입니다.

#'다음' 버튼 찾아서 클릭
        try:
            next_button = driver.find_element(By.XPATH, '//*[@id="divResult"]/table[2]/tbody/tr/td/a[2]') # copy XPATH
        except:   #이전 버튼이 없어서 위치가 2번째가 아니라 1번째 a태그로 변경된
            next_button = driver.find_element(By.XPATH, '//*[@id="divResult"]/table[2]/tbody/tr/td/a[1]') # copy XPATH
        
        next_button.click()
        time.sleep(2)

except 문에 적혀있듯이 다음 버튼을 클릭하여 넘어가면 그 이후에는 [2] 부분을 [1]로 변경하여 동작히 수행되도록 만들어 줍니다.

다음 버튼을 클릭하면 이전 버튼이 사라지기 때문에 이러한 XPath 경로의 변화가 생깁니다.

중복제거

drop_duplicates 함수를 사용하여 데이터프레임 상에서 중복되는 요소를 제거합니다.

subset 안에는 중복을 제거할 열을 선택합니다. 이번 경우에는 "출발시각"이 같은 경우를 중복으로 선택하였습니다.

뒤에서 keep = 'first' 옵션을 활용하여 중복되는 요소 중에서 가장 처음에 나온 행만 남기도록 합니다.

데이터 처리가 완료된 이후에는 df.head(20)을 통해 올바르게 작업이 수행되었는지 확인합니다.

예약 가능한 일반실 찾기

" df[ df['일반실'] == '예약하기' ] " 코드를 수행함으로써 일반실 중에서 예약이 가능한 경우만 출력하도록 합니다.

" reset_index(drop=True) "를 진행하는 이유는 원하는 값들만 가져오면서 인덱스 값들이 0, 1, 2, 4 등으로 변하기 때문입니다.

옵션은 drop=True를 넣어줌으로써 새로운 인덱스 열을 추가하지는 않고, 기존 인덱스 열의 숫자를 0, 1, 2, 3 순서로 바꾸어줍니다.

확인하는 과정은 head() 함수를 사용하여 진행합니다.

메타코드 강의 후기

메타코드M (mcode.co.kr)

Javascript로 만든 페이지에 대응하는 방법을 배울 것입니다.

개발자 모드로 박스 컨텐츠의 정보를 확인합니다.

박스컨텐츠에 대한 정보는 <a></a> 태그로 되어있는 경우가 많습니다.

클래스 부분의 정보를 복사하여 가져옵니다.

box_contents = soup.find_all('a', class_='box-content flex-style')
box_contents

가져온 클래스 정보를 코드에 위와 같이 입력합니다.

여러 개의 정보를 가져와야 하므로 "soup.find_all"을 사용했습니다.

크롤링이 되지 않는 경우 -> selenium의 webdriver 사용

크롤링이 되지 않는 경우에는 selenium으로부터 webdriver를 가져와서 크롤링을 진행합니다.

필요한 라이브러리들은 위 사진에서 확인할 수 있습니다.

정적인 페이지의 경우는 Requests와 Beautifulsoup으로 크롤링이 가능하며,

동적인 페이지의 경우는 Selenium을 사용하는 경우에 해당합니다.

Selenium을 통한 크롤링 준비

Selenium의 webdriver를 통하여 웹 드라이버를 실행하는 코드입니다.

해당 코드를 실행하면 새로운 브라우저를 통하여 url 주소에 해당하는 페이지가 실행됨을 확인할 수 있습니다.

wait의 경우 브라우저의 안정적인 실행을 위해 설정하며, 이 경우에는 10초로 설정했습니다.

html 변수에 페이지 소스를 담아 이후 크롤링에 사용할 것입니다.

크롤링 시도

soup = BeautifulSoup(html, 'html.parser')를 통해 soup 변수에 selenium을 통하여 얻은 페이지 소스를 대입하여 크롤링을 시도한 결과 출력에서 볼 수 있듯이 정보를 가져오는 것에 성공했음을 확인할 수 있습니다.

박스 컨텐츠를 가져오는 것이 목적이기 때문에 F12 개발자 모드에서 확인한 클래스 이름인 "box_content flex-style"을 형식에 맞게 입력하였습니다.

태그의 종류는 "a 태그"에 해당합니다.

불러온 정보 다루기

len 함수를 통해 확인할 수 있듯이 현재 box_contents는 리스트 형식이며, 그 안에 값들은 12개가 담겨있습니다.

box_contents[0] 등으로 숫자를 입력하며 각 위치에 어떤 값들이 담겨 있는지 쉽게 확인할 수 있습니다.

태그 정보와 클래스 이름도 확인할 수 있습니다.

리스트 구조이므로 후에 for문 등 다양한 방법으로 데이터를 다루기에 용이한 상태가 되었습니다.

원하는 정보 선택 출력

위의 방식을 통하여 컨텐츠에서 원하는 정보만 출력할 수 있습니다.

box_contents는 리스트 구조이므로 먼저 인덱스 번호를 통해 어떤 정보를 가져올 것인지 정합니다.

해당 요소의 태그와 class 정보는 쉽게 확인할 수 있습니다.

".find()" 안에 확인한 태그 정보와 class 이름을 넣으면 위에서 볼 수 있듯이 필요한 정보를 출력할 수 있습니다.

리스트에 정보 담기

리스트 구조를 활용하면 페이지에서 원하는 정보들을 편하게 추출하고 관리할 수 있습니다.

url 변수에 기본 주소 + href 정보를 통해 페이지에 대한 주소 정보를 담습니다.

title, body, date 변수에 개발자 모드에서 확인한 태그 정보와 클래스 정보를 활용하여 정보를 담습니다.

반복문의 각 변수들을 해당 리스트에 append하여 정보를 추가합니다.

box_contents의 길이만큼 반복문이 진행됩니다.

csv 파일로 저장

리스트 구조를 딕셔너리 구조로 변환한 뒤에,

pd.DataFrame() 함수를 사용하여 데이터프레임 변환합니다.

df.to_csv() 함수를 사용하면 데이터프레임 구조의 정보를 csv 파일 형태로 저장할 수 있습니다.

pd.read_csv() 함수를 사용하면 저장된 csv 파일 내용을 확인할 수 있습니다.