BDA 5기_워크시트_이건우_220707

내방특강 강의범위: 파이썬데이터전처리실전 3일, 파이썬웹크롤링실전 2일

EDA를 위한 파이썬데이터전처리 실전 특강

package numpy(Numeric python)

Numpy 설치 와 import

출처 :  http://www.astroml.org/book_figures/appendix/fig_broadcast_visual.html

왼쪽은 numpy패키지 존재여부와 오른쪽은 numpy의 홈페이지화면으로 각종 연산함수를 알고 싶다면 아래 사이트를 참고

 https://numpy.org/doc/stable/reference/routines.math.html

Pandas

loan1.xlsx파일의 경로를 복사

복사한 경로로 파일을 읽어온 후 조건식을 써서 필요한 데이터를 불러온다.

데이터출처: https://www.kaggle.com/wordsforthewise/lending-club

loan2.csv파일의 경로를 복사

Pandas ex.

Visualization (시각화)

https://matplotlib.org/

Matplotlib — Visualization with Python

https://matplotlib.org/stable/gallery/mplot3d/lines3d.html#sphx-glr-gallery-mplot3d-lines3d-py

Parametric Curve — Matplotlib 3.5.2 documentation

https://matplotlib.org/stable/gallery/animation/double_pendulum.html#sphx-glr-gallery-animation-double-pendulum-py

The double pendulum problem — Matplotlib 3.5.2 documentation

corr는 상관계수로 heatmap으로 표현했을 때 색이 연할수록 양의 상관관계이고 진할수록 음의 상관관계로 표시되며 NaN값은 색이 없다.

데이터시각화를 지원하는 사이트 소개

https://superset.apache.org/docs/intro

Introduction | Superset

https://plotly.com/python/

Plotly

https://python-visualization.github.io/folium/

Folium — Folium 0.12.1 documentation

파이썬웹크롤링 실전 특강

python

crawler

 

https://developers.naver.com/main/

NAVER Developers

https://www.data.go.kr/index.do

공공데이터 포털

crawler ex

crawler-selenium

코드가 길어진 관계로 보충할 부분은 여기에 기재했다. driver.find_element(By.XPATH, '//*[@id="mount_0_0_da"]/div/div[1]/div/div[2]/div/div/div[1]/div/div[2]/div/div/div/div/div/div/div/div[3]/button[2]').click()