안녕하세요. DB2 및 XpertMon 사용자 여러분!
㈜ 아이티엑스퍼트그룹 DB 사업부입니다.
현재 저희 XpertMon 개발부서는 고객분들이 원하시는 사항들을 좀 더 수렴하고
받아드리기 위해서 많은 노력을 하고 있으며, 그 중 하나가 사후 문제관리를
할 수 있는 실시간 모니터링 history 기능을 추가하는 것입니다.
앞으로 추가되는 기능들에 대해서는 뉴스레터를 통해서 자세하게 말씀드리도록
하겠습니다.
이번 주는 지난 주에 이어 DB2 V9의 추가된 기능 중 하나 인 Row Compress에 대해서
알아보도록 하겠습니다.
아무쪼록 많은 도움되시길 바라며, 기존 뉴스레터들은 회사 홈페이지
(
www.iteg.co.kr)
게시판에 들어오시면 보실 수 있습니다.
혹시라도 알고 싶은 내용이나 주제가 있다면 메일로 보내주십시오. 참조하여 반영하도록
하겠습니다.
2. 데이터 압축
디스크 스토리지 시스템은 데이터베이스 솔루션 중에서 가장 비싼 구성요소중의 하나입니다.
커다란 웨어하우스 또는 큰 볼륨의 데이터를 가진 데이터베이스에서 스토리지 서브시스템의
가격은 쉽게 하드웨어 서버와 데이터 서버 소프트웨어가격을 초과할 수 있습니다.
그러므로 스토리지 서브시스템에서의 조금의 감소가 전체 데이터베이스 솔루션에서는
상당한 가격절감이 될 수 있습니다.
DB2 9은 스토리지 요구를 줄이고, I/O 효율을 증가시키고, 디스크로부터 더 빠른 데이터
액세스를 제공하기 위해 row data를 압축하는 스토리지 최적화 기술(이전의 코드명 ‘Venom’)을
소개합니다.
2.1. 데이터 row 압축
DB2 9 에서 데이터 row 압축기술은 데이터 레코드를 압축하기 위해 딕셔너리 기반의
알고리즘을 사용합니다.
DB2 9은 반복적이고 중복되는 데이터를 위해 테이블을 탐색하고 반복적인 항목에 숫자
키를 할당해 딕셔너리를 만들어서 데이터베이스 테이블에서 row를 압축할 수 있습니다.
텍스트 데이터는 공백으로 시작하거나 또는 끝나거나 혹은 많이 반복되는 문자들을
가진 데이터 뿐만 아니라 반복되는 문자열 때문에 잘 압축되는 경향이 있습니다.
DB2는 반복되는 항목 또는 패턴을 위해 전체 row를 조사합니다. 그리고 컬럼 한계에
의해 제한되지 않습니다.
다음 두 개의 row를 가진 예를 보십시요.
이 예에서 Dept 컬럼에서 반복되는 값(“500”)이 압축되는 것 뿐만 아니라 City, State,
ZipCode 컬럼에 걸치는 반복되는 패턴(“Plano, TX, 24355”)도 하나의 값으로 압축될
수 있습니다. 다음 그림은 DB2가 일반적인 row와 압축된 형식에서 저장하는 방법을
비교하여 보여줍니다
압축/압축풀기 검색을 위한 딕셔너리는 데이터베이스에서 히든 오브젝트로 저장되고,
적은 공간을 차지합니다. 그리고 빠른 액세스를 위해 메모리에 캐쉬 됩니다. 대단히
큰 테이블이라도, 압축 딕셔너리는 일반적으로 100KB 정도의 크기입니다. 어떤 데이터
세트는 잘 압축되지 않을 때도 있고 많은 압축이 되지 않는 데이터 사이즈 조건일 때도
있습니다. DB2는 그런 시나리오를 결정하기 위해 지능적인 알고리즘을 가지고 있어서
디스크 공간 절약 이익을 가지지 못할 때 에는 압축을 수행하지 않습니다.
DB2 for Linux, UNIX, and Windows에서의 데이터 row 압축 기능은 DB2 for z/OS에서
사용하는 압축 기능과 유사합니다. 그러나 압축 딕셔너리가 데이터베이스에 있는 각
페이지에서 만들어 지는 다른 데이터베이스 벤더들에 의해 제공되는 페이지 레벨 압축
기술과는 다릅니다. 페이지 레벨보다 오히려 테이블에서 압축 딕셔너리를 만듦으로써
전체 테이블에 대한 패턴이 분석되며 일반적으로 DB2를 가지고 증가된 디스크 절약을
할 수 있습니다.
2.2 데이터 row 압축 수행 과 공간 절약 평가
DB2에서 데이터 row 압축은 테이블이 COMPRESS YES 옵션을 사용해 만들어 질 때 사용
되어 질 수 있습니다.
ALTER TABLE 명령어를 사용해 존재하는 테이블에 대해 사용되어 질 수 있습니다.
예:
CREATE TABLE Sales COMPRESS YES
Or,
ALTER TABLE Sales COMPRESS YES
|
압축은 보통 테이블 REORG절 동안 테이블 딕셔너리가 만들어 지면 시작됩니다.
커다란 테이블을 압축할 때, 처음에 적은 견본 세트 또는 샘플 테이터를 가지고 테이블을
차지하는 것이 유용합니다. 압축 딕셔너리를 만드는 절차는 적은 데이터 세트를 사용해
빠르게 할 수 있습니다. 그리고 세트가 좋은 견본 샘플이라면 압축은 새로운 데이터를
분석할 필요 없이 테이블에 추가된 새로운 데이터에서 잘 수행됩니다. 그러나 만일
테이블에 저장된 데이터 타입이 시간에 따라 변화된다면 딕셔너리는 REORG을 사용해
유지 될 수 있습니다.
2.3 압축 절약 계산
DB2는 특별한 테이블 또는 데이터 세트를 위한 압축률 계산을 도와주기 위해 INSPECT 툴을
제공합니다. 이 툴은 테이블 데이터의 샘플을 모으고 그것으로부터 압축 딕셔너리를
만듭니다. 이 딕셔너리에서 샘플에 포함된 레코드에 대한 테스트 압축이 사용됩니다.
이 테스트로부터 압축 절약이 계산 됩니다.
INSPECT ROWCOMPRESTIMATE TABLE NAME Sales ...
RESULTS KEEP
db2inspf
|
INSPECT 툴의 출력은 결과를 보기 위해 db2inspf 유틸리티를 사용해 구성되어 질 필요가
있습니다. 파일은 db2dump 디렉토리에서 발견되어집니다. 샘플 출력은 아래에서 보여지는
것과 같습니다.
DATABASE: TEST
VERSION : SQL09010
2005-12-01-13.12.21.232959
Action: ROWCOMPESTIMATE TABLE
Schema name : RSAHUJA
Table name : Sales
...
Percentage of bytes saved form compression: 66
Compression dictionary size: 2176 bytes.
...
|
2.4 데이터 row 압축 - 이점
DB2 9에서 이 압축 기술은 데이터 저장을 위해 요구된 디스크 스페이스 ( 디스크 서브
시스템 주변장치)의 양을 줄임으로써 약 80%까지 저장 비용을 절감 할 수 있습니다.
데이터베이스 로그의 사이즈는 DB2가 로그 레코드에서 사용자 데이터를 압축하기 때문에
축소될 수 있습니다.
DB2에서 데이터 row 압축은 CPU 오버헤드를 일으키는 압축/압축풀기 에도 불구하고
몇몇 시나리오 에서 성능을 증가시킬 수 있습니다. 디스크로부터의 데이터 액세스는
가장 느린 데이터 오퍼레이션입니다. 디스크에 압축된 데이터를 저장함으로써, 더
적은 I/O 오퍼레이션이 같은 양의 데이터를 검색하고 저장하기 위해 디스크에서 수행
되어질 필요가 있습니다. 그러므로 디스크 I/O 작업(시스템이 데이터가 디스크로부터
액세스 되어지기 위해 기다리는 때)으로 쿼리 처리 시간이 증가 될 수 있습니다.
더욱이 DB2는 디스크와 메모리(DB2 buffer pools) 둘 다 에서 압축된 데이터를 유지
합니다. 그러므로 소비된 메모리의 양을 줄이고 다른 데이터베이스 또는 시스템 오퍼
레이션을 위해 메모리를 해제 합니다. 이것은 쿼리와 다른 작업을 위한 데이터베이스
성능을 훨씬 더 증가시킬 수 있습니다.
2.5. 데이터 row 압축 - 샘플 결과
DB2에서 데이터 row 압축 형태를 사용하는 공간 절약의 양은 데이터에 따라 다양할 수
있습니다. DB2 9의 베타 버전을 사용한 고객들은 커다란 데이터베이스의 설치에서
35%에서 80%까지의 절감을 보고 하였습니다.
고객 데이터 세트에서 32KB 페이지를 사용한 179.9GB 테이블은 42.5GB까지 축소
되었습니다. -
76.4% 절감!
다음 챠트는 다른 테이블들에서 DB2 데이터 row 압축 형태가 가진 공간 절감의 몇
가지 다른 예를 보여줍니다.
인포월드의 Sean McCown에 따르면
DB2에서 압축의 다른 형식들
데이터 row 압축에 더하여, DB2는 스토리지 요구를 줄이기 위해 추가적인 메커니즘을
제공합니다.
이것은 다음을 포함합니다:
- NULL 과 default 값 압축
- 데이터베이스 백업 압축
- XML 파싱
- 다차원 클러스트링
NULL 과 default 값 압축 - 버전 8 이래로 DB2 luw에서 가능, 디스크 스토리지가 NULL 값,
가변 길이 컬럼의 zero length 데이터, 시스템 디폴트 값에 대하여 소비되지 않는 압축 타입입니다.
데이터베이스 백업 압축 - DB2 V8 Fixpak 4 이래로 가능, 이 압축의 특징은 더 작은
백업 이미지를 만들어 백업 스토리지 요구를 감소시키는 것뿐만 아니라 시스템들 사이의
백업 이동을 더 쉽게 합니다.
XML 파싱 - XML의 특징은 XML 문장과 도큐먼트들은 일반적으로 많은 디스크 공간을
사용한다는 것입니다.
DB2 9은 XML 데이터의 태그 이름(예로써 employee)을 integer 값(4)으로 교체하고,
parsed hierarchical format으로 XML 데이터를 저장합니다. 같은 태그의 반복은 같은
숫자 값으로 할당됩니다. integer값을 사용해 text-rich 태그를 저장하는 것은 공간
소비를 감소시키는 것뿐만 아니라 데이터를 쿼리할 때 더 높은 성능을 지원합니다.
또한, XML 태그 파싱(integer 값으로 교체)은 데이터 row 압축과 같이 사용자와 애플
리케이션에 대해서는 완벽히 숨겨져 있습니다.
다차원 클러스트링 - DB2 V8.1 이래로 가능, 인덱스 압축의 형태를 제공. 충분한 인덱스
공간 절감이 전통적인 인덱스가 가진 레코드당 하나의 키 보다 수천 개의 레코드당
하나의 키(또는 인덱스 엔트리) 가 사용되어지는 블록 인덱스를 통해 이루어질 수 있습니다.
XpertMon for DB2 UDB V2
DB 사업부
Tel : 02-2108-1458
Fax : 02-2108-1459
Mobile : 011-896-6545
E-mail :
hjlee@iteg.co.kr
URL :
http://iteg.co.kr
