일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- SQL
- patch
- solaris
- command & perl
- bash
- prompt
- mariaDB
- solaris network
- 오라클
- perl + 정규표현식
- fdisk
- sqlplus
- 연산자
- cygwin
- perl string
- oracle
- Oracle RAC
- perl one-liner
- Network
- RHEL4
- memory
- oracle install
- MySQL
- Unix
- PERL
- rac
- php5
- Linux
- dba
- grid
- Today
- Total
목록전체 글 보기 (154)
DATA 전문가로 가는 길
이번에는 네이버 주식(http://finance.naver.com/) 데이터를 가져오는 방법을 해보도록 하겠습니다. 아래는 삼성전자(보통주)를 기준으로 일별시세 데이터 입니다. 크롬에서 표 안쪽에서 오른쪽 마우스를 누르면 "프레임 소스 보기" 선택하면 아래 표에 해당하는 주소를 얻어 올 수 있습니다. 삼성전자(보통주) 일별 시세 주소 : finance.naver.com/item/sise_day.nhn?code=005930 그 다음에 주요한 것은 각 페이지별로 데이터를 가져오는 방법입니다. 2번 페이지를 누를 경우 아래와 같은 주소를 얻게 됩니다. 삼성전자(보통주) 일별 시세 페이지 주소 : finance.naver.com/item/sise_day.nhn?code=005930&page=2 이러한 방법으로 ..
문자열을 그룹별로 합쳐야 할 때 LISTAGG, XMLAGG를 주로 많이 사용 하거나 SYS_CONNECT_BY_PATH를 활용하기도 합니다. 하지만 4000 Byte 초과할 경우 "[Error] Execution (8: 1): ORA-01489: 문자열 연결의 결과가 너무 깁니다" 에러 메시지를 종종 보게 됩니다. 따라서 이번에는 4000 Byte 초과하는 문자열을 합쳐볼 수 있는지 확인 해보겠습니다. 오라클에서 제공하는 함수, 프로시저, 패키지로는 불가능하고, Object Type과 Table을 활용해서 CLOB 형태의 데이터를 합쳐보겠습니다. 1. 테스트 데이터 가공 DROP TABLE EST_DATA; CREATE TABLE EST_DATA (ROW_GRP_NO NUMBER(9),ROW_NO NU..
이번에는 한국 거래소 종목 데이터를 기준으로 종목별 과거 데이터(일별 시세)를 가져오는 방법을 만들어 보도록 하겠습니다. 우선 가장 먼저 필요한 항목은 한국 거래소에서 제공하는 주식 현황 데이터를 다운 받아서 적절한 위치에 업로드 해야 합니다. 코스피에 속한 종목만 포함 되어있습니다. 그리고 JSON Table Type를 활용하기 위해서는 디렉토리에 퍼미션 변경하고 파일을 다른 소유주도 사용할 수 있도록 권한을 변경 합니다. Pandas Data Reader 사용 가이드 : 바로가기 1. JSON Format File 생성 및 권한 변경(퍼미션) # MariaDB estdb 데이터베이스가 설치된 디렉토리에 outer 권한을 부여 합니다. # *중요* 실제로 MariaDB를 운영하는 회사에서는 아래와 같이..
Python을 이용해서 주식 데이터를 가져올 경우 보통 JSON 포멧으로 된 것을 확인 할 수 있습니다. 따라서 JSON을 파싱해서 테이블에 저장할 수도 있지만, 이번에는 CONNECT 엔젠과 JSON 타입을 이용해서 빠르게 적재하는 방법을 확인 해보도록 하겠습니다. connect-json-table-type 가이드 바로기기 1. connect Engine 설치 # install MariaDB-connect-engine [root@localhost ~]# yum install MariaDB-connect-engine # configure SELinux to allow outgoing connection form mysqld to allow CONNECT to work [root@localhost ~]# ..
이번에는 Python에서 Mysql 또는 MariaDB 접속해서 정보를 가져오는 방법을 해보도록 하겠습니다. Python에서는 PyMySQL 모듈과 MySQLDB 모둘 두 가지 형태로 접속 할 수 있으며, 이번에는 PyMySQL 모듈을 이용해서 접속 해보도록 하겠습니다. 1. PyMySQL 모듈 설치 [root@localhost ~]# su - python [python@localhost source]$ pip3.5 install PyMySQL Collecting PyMySQL Downloading PyMySQL-0.7.2-py2.py3-none-any.whl (76kB) 100% |????????????????????????????????| 77kB 3.1MB/s Installing collected ..
Yahoo Finance를 활용 해서 시세 데이터를 가져오는 방법 입니다. Python 문서를 찾아보면 기본적으로 제공하는 API가 있습니다. 따라서 import 해서 사용하면 간단하게 데이터를 수집할 수 있습니다. ystockquote python module을 이용해서 삼성전자의 시세 데이터를 가져오도록 하겠습니다. 우선 ystockquote를 리눅스에서 설치하고, Python에서 사용하면 됩니다. 1. ystockquote 설치 [python@localhost ~]$ git clone git://github.com/cgoldberg/ystockquote.git [python@localhost ~]$ cd ystockquote [python@localhost ystockquote]$ python se..
CentOS 7 설치를 마치고, Python3.5.1 설치를 자동으로 진행 할 수 있는 문서를 찾았고, 관련 스크립트를 조금 변경해서 사용 했습니다. 아래 순서대로 진행하면 Python3.5.1 설치가 자동으로 진행 됩니다.참고 문서 : 바로가기 1. 사용자 생성 [root@localhost ~]# useradd python [root@localhost ~]# passwd python 2. 스크립트 생성 [root@localhost opt]# cd /opt [root@localhost opt]# vi centos_python_env_setup.sh 2.1 스크립트 작성 내용 #!/bin/bash #############################################################..
문자열에서 시작과 종료를 의미하는 값을 기준으로 파싱하는 방법입니다. MariaDB와 Mysql에서 사용하는 방법을 기준으로 되어있고, 해당 내용은 샘플 예제입니다. 자세한 내용은 아래 쿼리를 참고 하시면 됩니다. SET @STRING='FORMATING #[ESTENPARK_20160314 11:30 ]# 데이터를 비교해서 파싱된 결과만 나오게 합니다. '; SELECT SUBSTR(ORG_DATA, FIRST_STR_NO + 1, LAST_STR_NO - FIRST_STR_NO) AS PARSING_DATA ,A.* FROM (SELECT POSITION('#[' IN @STRING) AS FIRST_STR_NO, POSITION(']#' IN @STRING) AS LAST_STR_NO, @STRIN..