비전공자의 코딩 도전일기 : “스파르타 코딩클럽 개발일지 3주차 ”

Python/mongoDB/Python패키지/웹스크래핑(크롤링)

Python 설치/mongoDB 설치/ 환경변수 수정/Robo3T 설치/ Git bash 설치

 

파이썬을 설치한다는 개념 : 일종의 번역팩을 설치한다고 생각하기.

컴퓨터는 101010001 과 같은 언어만 알아듣기때문에,

파이썬 문법으로 된 것을 101010001로 변환해줄 수 있도록, 번역 패키지를 설치하는 것

 

파이썬 기초공부 : 변수 & 기본연산/자료형/리스트 형 (Javascript의 배열형과 동일)/Dictionary 형 (Javascript의 dictionary형과 동일)/Dictionary 형과 List형의 조합/ 함수/조건문/반복문

 

파이썬 패키지(package) : Python 에서 패키지는 모듈(일종의 기능들 묶음)을 모아 놓은 단위입니다. 이런 패키지 의 묶음을 라이브러리 

패키지 설치 = 외부 라이브러리 설치

 

가상환경(virtual environment) : 같은 시스템에서 실행되는 다른 파이썬 응용 프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지들을 설치하거나 업그레이드하는 것을 가능하게 하는 격리된 실행 환경

 

크롤링

태그 안의 텍스트를 찍고 싶을 땐 → 태그.text

태그 안의 속성을 찍고 싶을 땐 → 태그['속성']

 

beautifulsoup/select / select_one의 사용법 연습

 

robo 3T : DB내부를 살펴보기 위한 프로그램 ( mongoDB -> 눈으로 보이지 않는다 )

 

Database 종류

RDBMS(SQL) : 행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사합니다. 데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기는 어려울 것입니다. 그러나, 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이

 

No-SQL : 딕셔너리 형태로 데이터를 저장해두는 DB입니다. 고로 데이터 하나 하나 마다 같은 값들을 가질 필요가 없게 됩니다. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있습니다.  -> MongoDB는 여기에 해당한다

 

 

참고 링크 :

지니 뮤직 사이트 : https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1

네이버 영화 페이지 : https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303

mongoDB : https://www.mongodb.com/try/download/community

Robo3T : https://robomongo.org/download

Git bash : https://git-scm.com/

 

DB설치 확인

실습

기초연습

연습

연습

3주차 숙제 웹스크래핑(크롤링) 

 

 

Python 과 웹스크래핑(크롤링) 그리고 mongoDB

아직 컴퓨터 언어로서는 어렵지만, Python을 이용하여 mongoDB 에 데이터를 저장도 해보고,

Python을 이용해서 웹스크래핑(크롤링)을 해보니 신기하기도 하고 재미있는 부분도 있다.

 

5주차 완주 까지 열심히 공부해보자!

 

 

3주차 할 일 및 참고사항 :

1) 파이썬 설치 및 기초 문법 알기

2) 원하는 페이지를 크롤링 활용법 알기

3) pymongo를 통해 mongoDB를 제어