파이썬(selenium, beautiful soup)을 이용한 구글 크롤링(title, url)

from urllib.parse import quote_plus
from bs4 import BeautifulSoup
from selenium import webdriver

baseUrl = 'https://www.google.com/search?q='
plusUrl = input('무엇을 검색할까요? : ') 
url = baseUrl + quote_plus(plusUrl) #위에서 input을 한글로 받는데, 한글은 인터넷 기본 Url에서 사용하는 형식이 아니므로 quote_plus를 통해 바꿔줌
# '파이썬'이라고 입력했을 때 plusUrl 부분이 '파이썬'이라는 한글이 아닌 코드로 출력됨 https://www.google.com/search?q=%ED%8C%8C%EC%9D%B4%EC%8D%AC

driver = webdriver.Chrome()
driver.get(url) #url을 넣어 driver를 엶

html = driver.page_source
soup = BeautifulSoup(html)

yuRUbf = soup.select('.yuRUbf') # select로 가져오면 list형태로 저장됨
# print(type(g))를 하면 class 'list'가 출력될 것임

for i in yuRUbf:
    print(i.select_one('.LC20lb.DKV0Md').text)
    print(i.a.attrs['href']) # i class의 a태그 안에 있는 href를 찾음
    print()

 

실행 결과