목록전체 글 보기 (154)

DATA 전문가로 가는 길

[MariaDB/MySQL] 대용량 데이터 성능 분석 및 부하 테스트(sysbench)

MariaDB에서 성능 테스트를 하기 위해서 Sysbench 오픈 소스이며, H/W(CPU, Memory, I/O), MySQL/MariaDB 등등 다양하고, 간단한 성능 테스트를 할 수 있으며, 그 중에서 대용량 데이터를 적재하는 방법을 활용해보도록 하겠습니다. 1. 테스트 환경 - OS : CentOS 7 - DB : mysql Ver 15.1 Distrib 10.2.7-MariaDB, for Linux (x86_64) using readline 5.1 - 부하 테스트 및 성능 분석 툴 : sysbench 1.0.6 2. Sysbench Install # Third-Party Yum Repos -> [root@manager /root]yum install http://dl.fedoraproject.o..
Data Architecture/Tunning 2017. 8. 29. 15:35
[TIP][성능측정도구] NHN - nGrinder MariaDB/MySQL 접속 방법(mysql.jdbc)

nGrinder 설치 완료 후 데이터베이스 접속 테스트를 하기 위한 방법 이며, 그 중에서 MariaDB/MySQL 데이터베이스에 접속 하는 방법을 자세하게 설명 하도록 하겠습니다. MariaDB/MySQL 데이터베이스에 접속 하기 위해서는 mysql-connector-java-5.1.39.jar를 lib 폴더에 반드시 적용 되어 있어야 합니다. 1. lib 폴더에 mysql-connector-java-5.1.39.jar 파일 업로드 - lib 폴더를 생성 한 후에 mysql-connector-java-5.1.39.jar 파일을 Update script or resources 버튼을 통해서 업로드 2. Script 화면 - MariaDBAccess.py : MariaDB/MySQL DBMS에 접속하는 스..
IT 2017. 5. 18. 13:34
[TIP][성능측정도구] NHN - nGrinder Oracle 접속 방법(Oracle, OJDBC)

nGrinder 설치 완료 후 데이터베이스 접속 테스트를 하기 위한 방법 이며, 그 중에서 오라클 DBMS에 접속 하는 방법을 자세하게 설명 하도록 하겠습니다. 오라클 데이터베이스에 접속 하기 위해서는 ojdbc를 lib 폴더에 반드시 적용 되어 있어야 합니다. 1. lib 폴더에 ojdbc6.jar 파일 업로드 - lib 폴더를 생성 한 후에 ojdbc6.jar 파일을 Update script or resources 버튼을 통해서 업로드 2. Script 화면 - OracleDBAccess.py : Oracle DBMS에 접속하는 스크립트 소스 - lib : 라이브러리 파일을 업로드 한 폴더 3. nGrinder Oracle Database Access(접속 테스트) 소스 - Create a scrip..
IT 2017. 5. 18. 13:24
[Oracle] 프로시저, 패키지 중복 실행 방지 해결 방안(DBMS_LOCK)

오라클 오브젝트 중에서 Procedure, Package, Function, Trigger가 존재하며, 그 중에서 Procedure와 Package를 기준으로 진행 하도록 하겠습니다. 동시성 제어를 하기 위한 방법으로, A 세션에서 Procedure를 실행하고, B 세션에서 같은 Procedure를 실행하려고 할 때 경고 메시지를 보내주면 좋을 것 같다는 생각에서 검토를 해보았습니다. 즉, 동시에 하나의 Procedure를 실행하려고 할 때 이미 실행 중인 Procedure라면 실핼 할 수 없도록 적절한 제어를 해주는 역할을 합니다. 1. DBMS_LOCK - 참고 URL : 바로가기 1.1. ALLOCATE_UNIQUE - 지정된 lockname에 Lock ID를 할당하는 프로시저 이며, Lock ID..
Data Architecture/Tunning 2017. 4. 5. 11:28
[SQL] MariaDB/MySQL MAX/MIN 최고값 최저값의 세부 속성 데이터 활용하기(최고일시, 최저일시 등)

GROUP BY에서 MAX/MIN 함수를 응용한 세부 속성 데이터를 가져갈 수 있도록 하는 방안이며, 만약 최고값의 날짜를 구하려면 정렬된 순서에 의한 데이터를 하나씩 증가해서 큰 값을 올리는 사용자 변수를 응용할 수밖에 없습니다. 그러나 제일 큰 문제는 전체 집합을 구할 때 대용량 데이터라면 속도 문제를 발생 시킬 수 있습니다. 집계 데이터를 뽑을 때 한 번에 작업 후 문자열을 잘라서 사용할 수 있다고 하면, 성능적인 이슈를 해결할 수 있습니다. 1. 샘플 데이터 (시스템 서버의 디스크 사용 이력) - SYS_SVR_NO : SERVER 번호 - DIR_NM : 시스템 디렉토리(파티션 별) 명 - GART_DT : 수집일자 - FILE_SYS_NM : 시스템 파티션 명 - ALL_CAP : 전체 용량 ..
Data Architecture/SQL Query 2017. 3. 24. 14:00
[SQL] Oracle 필수 스크립트 모음(딕셔너리, SQL 문법, 성능 분석)

오라클 데이터베이스를 운영 & 관리 하면서 모아온 스크립트이며, 실제로 웹 사이트에 돌아다니는 스크립트와 크게 다르지 않을 수 있습니다. 오라클 성능 튜닝을 진행 하기 전에 전 처리 작업을 하거나, 용량을 확인 하거나, 오라클 데이터베이스에서 사용하는 유저, 테이블, 인덱스 등등 오브젝트 정보를 확인 할 때도 유용합니다. 지속적으로 수정해 나갈 예정이며, 내용 중에서 문제가 되는 쿼리가 있으면 댓글 남겨주시기 바랍니다. 1. 오라클 필수 스크립트 모음(아래 더보기 클릭) --====================================================================================== --#. 01 테이블스페이스별 파일 목록을 보기 --==============..
Data Architecture/SQL Query 2017. 3. 13. 14:52
[SQL] MariaDB/Mysql 구분자(콤마, 파이프라인 등등)를 기준으로 열(row) 변환

MaraiDB 또는 Mysql에서 구분자로 넘어온 값을 다시 열로 변환(테이블)하는 방법을 해보려고 합니다. 쿼리를 작성할 때 100개 미만의 데이터 셋은 where절에 IN(..)절을 이용해서 전달하면 되지만, 1,000개, 10,000개 많은 양의 데이터를 조작하고자 할 때는 불편하게 됩니다. 또는 XML, CSV 파일의 행을 열로 바꾸고 행의 데이터를 열로 보고자 할 때 유용합니다. 1. 구분자 자르기를 이용해서 열로 변경하는 쿼리 /* 1. 사용자 변수 */ SET @IN_DELIMITER = '|'; SET @IN_DATA = '10|20|30||40|50||70|80|||90'; /* 구분자를 기준으로 로우(ROW) 데이터 생성 쿼리*/ SELECT TRIM(SUBSTRING_INDEX(SUB..
Data Architecture/SQL Query 2017. 2. 16. 16:04
[Oracle] Oracle Real-Time SQL Monitoring(쿼리 모니터링)

Oracle 11g 이상부터 Real-Time SQL Monitoring(v$sql_monitor, v$sql_plan_monitor) 기능을 사용할 수 있습니다. Oracle 11g에서 추가된 Real-Time SQL Monitoring 기능은 5초 이상인 모든 쿼리의 실행 이력 정보를 v$sql_monitor와 v$sql_plan_monitor 뷰에 남깁니다. 그리고 DBMS_SQLTUNE.REPORT_SQL_MONITOR 함수를 이용해서 정보를 조회 가능하도록 지원 됩니다. 1. Pack 항목 확인 Oracle Diagnostic Pack - AWR - ADDM - ASH - Performance Tuning - Event notifications - Event history and metric h..
Data Architecture/Tunning 2017. 1. 13. 15:09
Prev 1 2 3 4 5 6 ··· 20 Next