본문 바로가기

언어/python&웹 크롤링

(13)
[python&웹 크롤링] 5. 파이썬 설치 및 개발환경 설정(4) 이번시간에는 아래 순서대로 진행하겠다. 1. 가상환경 만들기 2. 에디터 실행 3. 프로젝트 폴더 생성 4. 테스트코드 작성 및 실행 먼저 아나콘다 prompt를 실행한다. conda create --name section2 python=3.5 명령어 입력하여 section2라는 python 3.5버전의 가상환경을 생성한다. activate section2 명령어를 실행하여 section2 가상환경을 활성화시킨다. conda info --envs 명령어를 실행하여 아래 그림과 같이 활성화 여부를 확인한다. section2 가상환경이 활성화되어있는것을 확인할 수 있다. 활성화가 완료 되었다면 atom 명령어를 실행하면 저번에 설치했던 atom editor 실행 될텐데, 실행시킴으로써 좀전에 만든 secti..
[python&웹 크롤링] 4. 파이썬 설치 및 개발환경 설정(3) 아나콘다는 파이썬 기반의 데이터 분석에 필요한 오픈소스를 모아놓은 개발 플랫폼이다. 아나콘다가 포함하고 있는 패키지 관리자를 통해 파이썬의 효율성을 극대화 시킬 수 있고, 아나콘다 가상환경 관리자를 통해 프로잭트 별 개발환경을 구성할 수 있다. 아나콘다 패키지 : 필요한 모듈들 관리 아나콘다 가상환경 : 프로젝트 관리 파이썬 기반 프로젝트가 두 개 이상 있을 경우, 각각 모듈도 다르고 파이썬 버젼이 다를때 언젠간 꼬이게 되는데, 이를 아나콘다 가상환경이 관리해준다. (각각의 프로젝트를 독립적으로 구성 가능) Anaconda Prompt를 실행 후 명령어를 통해 실습을 해보자. - 아나콘다 명령어 conda --version - 아나콘다 버전 확인 conda info --envs - 현재 생성된 프로젝트 ..
[python&웹 크롤링] 3. 파이썬 설치 및 개발환경 설정(2) 이번에는 아톰 에디터 설치를 진행하겠습니다. 아톰 설치경로 - atom.io/ A hackable text editor for the 21st Century At GitHub, we’re building the text editor we’ve always wanted: hackable to the core, but approachable on the first day without ever touching a config file. We can’t wait to see what you build with it. atom.io 저는 1.52.0 버전을 다운받았습니다. 다운로드 후 실행파일 실행하면 바로 설치가 완료됩니다. 파이썬 관련 패키지를 다운받겠습니다. - autocomplete-python - sc..
[python&웹 크롤링] 2. 파이썬 설치 및 개발환경 설정(1) 파이썬 환경설정을 하기 위해 설치와 개발환경 세팅을 진행하겠습니다. 천천히 순서대로 따라오시면 됩니다. 아나콘다 다운로드 링크 - www.anaconda.com/products/individual Anaconda | Individual Edition Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com Git 다운로드 링크 - git-scm.com/ Git git-scm.com 설치 시 본인의 윈도우 비트수를 확인 후 32bit, 64bit 중 다운로드 받으시면 됩니다. 파이썬에는 pip..
[python&웹 크롤링] 1. 웹 크롤링의 개념과 머신러닝 웹 크롤러(Web Crawler)란? - 자동화된 방법으로 www(월드 와이드 웹) 을 탐색하는 컴퓨터 프로그래밍 웹 크롤링에서 데이터 수집이란? - SNS, 금융권, 이미지, 공공기관, 쇼핑몰 등 이미지나 텍스트 정보를 가져오는 것 웹 크롤링에서 데이터 가공이란? - 수집된 정보를 가공하여 excel, csv, xml, txt, binary 파일 등으로 변환시키는 것 웹 스크래핑(Web Scraping)이란? - 마음에 드는 사진을 직접 다운로드 받거나, 내가 원하는 정보를 그때그때 웹에서 가져오는 것 - CMS(Content Management System) 어플리케이션의 원천 기술 - 프로토콜 방식과 브라우저 방식이 존재한다. - 사람이 직접 하기 때문에 손수 해야하는 번거로움이 있다. 웹 크롤링(..

Today :
Yesterday :
Total :