목록Data Architecture (82)

DATA 전문가로 가는 길

[Admin] MariaDB/MySQL Linux Filesystem Cache(unmap) 메모리 초기화

1. unmap RPM 목록 gdbm-devel-1.10-8.el7.x86_64.rpm libdb-5.3.21-20.el7.x86_64.rpm libdb-devel-5.3.21-20.el7.x86_64.rpm libdb-utils-5.3.21-20.el7.x86_64.rpm perl-Digest-1.17-245.el7.noarch.rpm perl-Digest-MD5-2.52-3.el7.x86_64.rpm perl-ExtUtils-Install-1.58-292.el7.noarch.rpm perl-ExtUtils-MakeMaker-6.68-3.el7.noarch.rpm perl-ExtUtils-Manifest-1.61-244.el7.noarch.rpm perl-ExtUtils-ParseXS-3.18-3.el..
Data Architecture/Admin 2019. 8. 9. 14:57
[Admin] MariaDB/MySQL InnoDB 테이블 압축(Compression)

1. 테이블 압축 개요 증가하는 데이터로 인해서 서버의 저장공간이 부족 혹은 추가적인 HDD의 증설을 줄이려는 방법으로 데이터 수정(UPDATE)이 발생하지 않는 로그 테이블에 적용하여 조회 속도 향상 및 저장 공간을 줄일 수 있는 기법. 테이블 압축은 테이블 데이터를 압축해서 보관함으로 파일 I/O를 감소시키는 것이 가장 큰 목적입니다. (반대로 압축을 하게 되면 수정 시에는 속도가 느림) 테이블 압축의 옵션인 블록 사이즈는 2, 4, 8, 16KB로 나눠지게 됩니다. (기본값 : 16KB) 2. 테이블 압축 방법 MariaDB [HIWDB]> ALTER TABLE EST_CONN_LOGIN_2 ENGINE=INNODB DEFAULT CHARSET=UTF8MB4 ROW_FORMAT=COMPRESSED ..
Data Architecture/Admin 2019. 8. 7. 10:19
[SQL] MariaDB/MySQL 테이블 비교(Compare two table)

두 테이블에 대한 컬럼 속성 정보를 비교하는 쿼리를 작성합니다. 아래는 우선 두 테이블의 데이터를 비교해서 같지 않은 항목을 추출한 후에 row 형태로 변경 합니다. 1. 테이블 생성 /* 현재 사용자 정보 */ CREATE TABLE EST_CURR_USER (USER_NO INT NOT NULL PRIMARY KEY, "USER_NM" varchar(100) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL, "USER_GRP_NM" varchar(255) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL , "USER_DESC" varchar(200) CHARACTER SET utf8 COLLATE utf8_bin ) ENG..
Data Architecture/SQL Query 2019. 7. 29. 16:46
[SQL] MariaDB/MySQL 테이블 일련번호 중간에 빈 값 찾기

테이블에 존재하는 순서 번호 값 중에서 빈 값을 찾는 쿼리를 작성하겠습니다. 순차적으로 번호가 1번부터 20번까지 존재한다고 했을 때 5번, 11번 ~ 14번, 17번 ~ 18번 이렇게 빈 값이 존재할 경우 찾아내는 방법과 빈 값에 대한 범위를 찾는 방법 그리고 마지막으로 어느 정도 비어있는지 확인 가능합니다. 1. 샘플 데이터 - 샘플 데이터를 생성하고, 임시 데이터를 삽입합니다. DROP TABLE EST_SEQUENCE; CREATE TABLE EST_SEQUENCE (ID INT NOT NULL PRIMARY KEY) ENGINE=INNODB; INSERT INTO EST_SEQUENCE(ID) SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL ..
Data Architecture/SQL Query 2019. 7. 24. 11:21
[SQL] Oracle Merge 문법 자동 생성기(PL/SQL)

오라클 Marge문을 자동으로 생성 하는 방법에 대해서 작성하고자 합니다. 업무를 진행할 때 Insert와 Update를 동시에 하고자 한다면 Merge문을 최대한 활용하게 됩니다. 한번 작성하면 다시 변경할 일을 없기는 하지만, 여러개의 원장 데이터를 서비스 테이블로 옮기는 작업을 매번 진행할 때 유용하게 사용 가능 합니다. 따라서 아래 내용은 단일 테이블을 기준으로 작성했으나, 필요에 따라 프로시저를 반복 호출해서 사용해도 됩니다. 1. Oracle Merge문 자동 생성 PL/SQLDECLARE V_OWNER VARCHAR2(30); V_PE_TABLE_NM VARCHAR2(40); V_PT_TABLE_NM VARCHAR2(40); BEGIN V_OWNER := 'HR'; /* 스키마명 */ V_P..
Data Architecture/SQL Query 2017. 9. 25. 17:44
[MariaDB/MySQL] 대용량 데이터 성능 분석 및 부하 테스트(sysbench)

MariaDB에서 성능 테스트를 하기 위해서 Sysbench 오픈 소스이며, H/W(CPU, Memory, I/O), MySQL/MariaDB 등등 다양하고, 간단한 성능 테스트를 할 수 있으며, 그 중에서 대용량 데이터를 적재하는 방법을 활용해보도록 하겠습니다. 1. 테스트 환경 - OS : CentOS 7 - DB : mysql Ver 15.1 Distrib 10.2.7-MariaDB, for Linux (x86_64) using readline 5.1 - 부하 테스트 및 성능 분석 툴 : sysbench 1.0.6 2. Sysbench Install # Third-Party Yum Repos -> [root@manager /root]yum install http://dl.fedoraproject.o..
Data Architecture/Tunning 2017. 8. 29. 15:35
[Oracle] 프로시저, 패키지 중복 실행 방지 해결 방안(DBMS_LOCK)

오라클 오브젝트 중에서 Procedure, Package, Function, Trigger가 존재하며, 그 중에서 Procedure와 Package를 기준으로 진행 하도록 하겠습니다. 동시성 제어를 하기 위한 방법으로, A 세션에서 Procedure를 실행하고, B 세션에서 같은 Procedure를 실행하려고 할 때 경고 메시지를 보내주면 좋을 것 같다는 생각에서 검토를 해보았습니다. 즉, 동시에 하나의 Procedure를 실행하려고 할 때 이미 실행 중인 Procedure라면 실핼 할 수 없도록 적절한 제어를 해주는 역할을 합니다. 1. DBMS_LOCK - 참고 URL : 바로가기 1.1. ALLOCATE_UNIQUE - 지정된 lockname에 Lock ID를 할당하는 프로시저 이며, Lock ID..
Data Architecture/Tunning 2017. 4. 5. 11:28
[SQL] MariaDB/MySQL MAX/MIN 최고값 최저값의 세부 속성 데이터 활용하기(최고일시, 최저일시 등)

GROUP BY에서 MAX/MIN 함수를 응용한 세부 속성 데이터를 가져갈 수 있도록 하는 방안이며, 만약 최고값의 날짜를 구하려면 정렬된 순서에 의한 데이터를 하나씩 증가해서 큰 값을 올리는 사용자 변수를 응용할 수밖에 없습니다. 그러나 제일 큰 문제는 전체 집합을 구할 때 대용량 데이터라면 속도 문제를 발생 시킬 수 있습니다. 집계 데이터를 뽑을 때 한 번에 작업 후 문자열을 잘라서 사용할 수 있다고 하면, 성능적인 이슈를 해결할 수 있습니다. 1. 샘플 데이터 (시스템 서버의 디스크 사용 이력) - SYS_SVR_NO : SERVER 번호 - DIR_NM : 시스템 디렉토리(파티션 별) 명 - GART_DT : 수집일자 - FILE_SYS_NM : 시스템 파티션 명 - ALL_CAP : 전체 용량 ..
Data Architecture/SQL Query 2017. 3. 24. 14:00
Prev 1 2 3 4 5 ··· 11 Next