DATA 전문가로 가는 길

이번에는 네이버 주식(http://finance.naver.com/) 데이터를 가져오는 방법을 해보도록 하겠습니다. 아래는 삼성전자(보통주)를 기준으로 일별시세 데이터 입니다. 크롬에서 표 안쪽에서 오른쪽 마우스를 누르면 "프레임 소스 보기" 선택하면 아래 표에 해당하는 주소를 얻어 올 수 있습니다. 삼성전자(보통주) 일별 시세 주소 : finance.naver.com/item/sise_day.nhn?code=005930 그 다음에 주요한 것은 각 페이지별로 데이터를 가져오는 방법입니다. 2번 페이지를 누를 경우 아래와 같은 주소를 얻게 됩니다. 삼성전자(보통주) 일별 시세 페이지 주소 : finance.naver.com/item/sise_day.nhn?code=005930&page=2 이러한 방법으로 ..

이번에는 한국 거래소 종목 데이터를 기준으로 종목별 과거 데이터(일별 시세)를 가져오는 방법을 만들어 보도록 하겠습니다. 우선 가장 먼저 필요한 항목은 한국 거래소에서 제공하는 주식 현황 데이터를 다운 받아서 적절한 위치에 업로드 해야 합니다. 코스피에 속한 종목만 포함 되어있습니다. 그리고 JSON Table Type를 활용하기 위해서는 디렉토리에 퍼미션 변경하고 파일을 다른 소유주도 사용할 수 있도록 권한을 변경 합니다. Pandas Data Reader 사용 가이드 : 바로가기 1. JSON Format File 생성 및 권한 변경(퍼미션) # MariaDB estdb 데이터베이스가 설치된 디렉토리에 outer 권한을 부여 합니다. # *중요* 실제로 MariaDB를 운영하는 회사에서는 아래와 같이..

이번에는 Python에서 Mysql 또는 MariaDB 접속해서 정보를 가져오는 방법을 해보도록 하겠습니다. Python에서는 PyMySQL 모듈과 MySQLDB 모둘 두 가지 형태로 접속 할 수 있으며, 이번에는 PyMySQL 모듈을 이용해서 접속 해보도록 하겠습니다. 1. PyMySQL 모듈 설치 [root@localhost ~]# su - python [python@localhost source]$ pip3.5 install PyMySQL Collecting PyMySQL Downloading PyMySQL-0.7.2-py2.py3-none-any.whl (76kB) 100% |????????????????????????????????| 77kB 3.1MB/s Installing collected ..

Yahoo Finance를 활용 해서 시세 데이터를 가져오는 방법 입니다. Python 문서를 찾아보면 기본적으로 제공하는 API가 있습니다. 따라서 import 해서 사용하면 간단하게 데이터를 수집할 수 있습니다. ystockquote python module을 이용해서 삼성전자의 시세 데이터를 가져오도록 하겠습니다. 우선 ystockquote를 리눅스에서 설치하고, Python에서 사용하면 됩니다. 1. ystockquote 설치 [python@localhost ~]$ git clone git://github.com/cgoldberg/ystockquote.git [python@localhost ~]$ cd ystockquote [python@localhost ystockquote]$ python se..

CentOS 7 설치를 마치고, Python3.5.1 설치를 자동으로 진행 할 수 있는 문서를 찾았고, 관련 스크립트를 조금 변경해서 사용 했습니다. 아래 순서대로 진행하면 Python3.5.1 설치가 자동으로 진행 됩니다.참고 문서 : 바로가기 1. 사용자 생성 [root@localhost ~]# useradd python [root@localhost ~]# passwd python 2. 스크립트 생성 [root@localhost opt]# cd /opt [root@localhost opt]# vi centos_python_env_setup.sh 2.1 스크립트 작성 내용 #!/bin/bash #############################################################..

Pro*c, SQL, C, JAVA에서 쿼리가 존재한다면 해당 테이블만 추출할 수 있는 명령어이다. 1. 주석은 제외한다. 2. 조회(SELECT)부분만 추출한다. 3. 데이터를 조작(DML)부분만 추출한다. 4. 소스안에 프로시저가 있을 경우 해당 프로시저를 추출한다. 기본적으로 4개를 원칙으로 명령어를 만들었다. 회사에 유능한 대리님이 계셔서 도움을 받았다. 아쉬운 점은 각각 개발자 마다 SQL 포메팅이 달라서 모든 쿼리에 만족할 수 없다. 개인적으로는 아래와 같은 포메팅을 추천한다. SELECT * FROM FAN_ACCOUNT A ,FAN_DATA B WHERE A.ACC_ID = B.ACC_ID ; 명령어 # 테이블 명명규칙 (예 : FAN_ ) # 프로시저 명명규칙(예: USP_ ) # SEL..

작성자 : 박상수 작성일자 : 2010.12.18 작업환경 : VMware7 [ Solaris9 ] 1. Package Download [설명] SUNFreeWare 에서 다운받습니다. 2. Package Delete [설명] Perl 관련 패키지를 모두 제거 하세요. [root@estenpark:/tmp] # pkginfo |grep Perl [root@estenpark:/tmp] # pkgrm [패키지명] 3. Package Delete [설명] 패키지 설치 합니다. [root@estenpark:/tmp] # gunzip -d perl-5.8.8-sol9-x86-local.gz [root@estenpark:/tmp] # pkgadd -d perl-5.8.8-sol9-x86-local [설명] path..

작성자 : 박상수 작성일자 : 2010.11.30 작업환경 : VMware7 [ Solaris 9 ] 참고자료 : HOT PERL ONELINES 1. 원하는 필드만 출력(Pattern) [설명] 원본 데이터 보기 # perl -lane 'print $_' passwd root:x:0:1:Super-User:/:/bin/bash daemon:x:1:1::/: bin:x:2:2::/usr/bin: sys:x:3:3::/: adm:x:4:4:Admin:/var/adm: [설명] 패턴(:)을 기준으로 1번째 데이터를 각 라인에 출력, $F[숫자입력] 하면 각각 필드의 값만 출력 합니다. # perl -F/\:/ -lane 'print $F[0]' passwd root daemon bin sys adm [설명]..