
[Toy Project] 채소 가격 데이터 시각화
2022. 11. 2. 10:18
project
일별 가격 데이터 수집 [Crwaling] 파이썬으로 구현해보았습니다. 농산물유통정보:::KAMIS 홈페이지에서 bs4를 이용하여 크롤링하였습니다. 원래는 API로 데이터 받아서 사용했는데 이게... 1년치까지밖에 못쓴다고 합니다.. 그래서 크롤링으로 사이트에 무리가 가지 않는 선에서 천천히 데이터를 DB에 쌓고 프로젝트를 진행 중입니다 ㅋㅋ import pandas as pd import requests from bs4 import BeautifulSoup as bs from sqlalchemy import create_engine import sqlalchemy import collections import datetime collections.Callable = collections.abc.Call..