즐겨찾기 등록 RSS 2.0
장바구니 주문내역 로그인 회원가입 아이디/비밀번호 찾기
home
기사 분류 > 전기기술
[신기술]빅데이터 1000배 빠르게, 지마이너 기술
2018년 7월 1일 (일) 00:00:00 |   지면 발행 ( 2018년 7월호 - 전체 보기 )

빅데이터 1000배 빠르게, 지마이너 기술
금융, IT 등 다양한 산업에 활용 기대

DGIST(대구경북과학기술원)는 정보통신융합전공 김민수 교수팀이 빅데이터 패턴을 초고속으로 분석할 수 있는 ‘지마이너(GMiner)’ 기술을 개발했다고 5월 28일에 밝혔다. 지마이너 기술은 기존의 세계 최고 패턴 마이닝 기술보다 최대 1000배 더 우수한 성능을 나타낸다고 한다.

자료: DIGIST

패턴 마이닝 기술은 대형마트의 상품 구매나 은행 거래, 네트워크 패킷, 소셜 네트워크 등 다양한 분야의 빅데이터에서 반복적으로 나타나는 중요 패턴들을 모두 찾아내는 기술이다. 이 기술을 활용해 대형마트 진열대의 상품 위치를 결정하고, 연령별 소비자의 이용 패턴에 맞는 신용카드를 추천하는 등 산업 분야에서 광범위하게 사용되고 있다.

점차 증가하는 패턴 마이닝의 중요성으로 지난 20여 년간 수천 가지의 패턴 마이닝 기술들이 개발됐지만, 빅데이터 패턴의 길이가 증가함에 따라 분석 가능한 패턴의 가짓수가 기하급수적으로 증가해 수십 기가바이트(GB)가 넘는 빅데이터에 대해서는 컴퓨터 메모리 부족으로 분석에 실패하거나 시간이 너무 많이 소요돼 사용하는데 한계가 있었다.

가정용 컴퓨터 1대 만으로
기존의 분산 및 병렬 기술보다도 뛰어나
기존의 패턴 마이닝 기술들은 중간 길이의 패턴들을 구한 후 메모리에 저장해두고, 중간 길이보다 더 긴 패턴을 구할 때 저장해둔 중간 길이의 패턴과 대조해 최종 패턴을 찾는 방식을 활용했다. 하지만, 김민수 교수팀이 개발한 지마이너 기술은 GPU(그래픽처리장치)의 수천 개 코어를 사용해 임시로 계산한 중간 길이의 패턴들을 조합하고, 최종 길이의 패턴을 구하는 반(反) 직관적인 기법을 제안함으로써 기존 기술들의 문제를 근본적으로 해결하는데 성공했다.

지마이너 기술은 기하급수적 개수의 중간 길이 패턴들을 메모리에 전혀 저장하지 않음으로써 기존 기술들이 고질적으로 가졌던 메모리 부족 문제를 완전히 해결했다. 아울러, 데이터를 메인 메모리에서 GPU로 스트리밍하는 것과 동시에 GPU의 높은 계산 성능을 이용해 패턴을 구함으로써 느린 속도 문제도 해결했다.

지마이너 기술은 GPU 한 개가 장착된 일반 가정용 컴퓨터 1대 만으로 최대 수십 대의 컴퓨터를 사용해 데이터를 분석했던 기존의 분산 및 병렬 기술들보다 작게는 10배에서 최대 1000배 빠른 분석 성능을 나타냈으며 기존 기술들이 분석 가능했던 데이터보다 더 큰 규모의 빅데이터를 분석할 수 있다. 또한, GPU 개수와 비례해 성능이 향상되는 우수한 확장 성능을 나타낸다.
DGIST 정보통신융합전공 김민수 교수는 “다양한 산업 분야에서 축적되고 있는 빅데이터에 대해 메모리 문제없이 초고속으로 빅데이터 패턴을 분석할 수 있는 원천 기술을 확보했다”며 “메모리 부족과 느린 속도 때문에 패턴 마이닝 기술을 빅데이터에 제대로 적용하지 못했던 문제를 해결함으로써 금융, 유통, IT, 바이오 등 여러 분야의 빅데이터 패턴을 분석해 기업의 효율적인 의사결정을 돕는데 활용할 수 있을 것”이라고 말했다.

한편, 이번 연구 결과는 정보과학 분야 최고 권위의 국제학술지인 ‘인포메이션 사이언스(Information Sciences) 5월호’에 게재되었으며 DGIST 정보통신융합전공 전강욱 박사과정 학생이 제1저자로 참여했다.

 

<Energy News>

인쇄하기   트윗터 페이스북 미투데이 요즘
네이버 구글
태그 : 빅데이터 지마이너 DGIST 페턴마이닝
이전 페이지
분류: 전기기술
2018년 7월호
[전기기술 분류 내의 이전기사]
(2018-07-02)  [트렌드리포트] 풍력발전시스템의 제어기술: 유효전력 제어
(2018-07-01)  [신기술]국내 최초 1㎞급 MgB2 초전도선 제조 성공
(2018-07-01)  [신기술]해수전지, 바다를 밝히는 에너지가 되다
(2018-07-01)  [신기술]고성능·고안정성 양자점 태양전지 개발
(2018-06-05)  [트렌드리포트] ICT 및 IoT, 스마트한 미래의 주인공
[관련기사]
[Zoom In]클릭 한 번으로 에너지 신서비스 거래 (2018-07-01)
4대 과학기술원과 POSTECH ‘무학과 무전공 제도’로 (2018-06-04)
DGIST, ‘혁신으로 세상을 바꾸는 융복합 대학’으로 도약 (2018-06-04)
KT, 중소형 태양광 발전소 유지관리 사업 나선다 (2018-06-04)
LG CNS, 일본 야마구치현 미네市 56MW급 태양광 발전소 준공 (2018-06-01)
한수원, 원전 핵심설비 예측진단용 빅데이터 구축 (2018-01-15)
한전, 4차 산업혁명 주도할 ‘Digital KEPCO’ 선언 (2017-06-09)
한전, 인공지능 기반 전력R&D 통합 플랫폼 구축 착수 (2016-11-25)
핫뉴스 (5,184)
신제품 (1,379)
전기기술 (741)
특집/기획 (736)
업체탐방 (245)
전시회탐방/에너지현장 (231)
자격증 시험대비 (186)
전기인 (110)
분류내 최근 많이 본 기사
[독자칼럼]전기기기 설계-직...
[무정전 전원 장치(UPS)] UP...
[독자칼럼]전기기기 설계-직...
[신재생에너지 - 수력 ①] 대...
[무정전 전원 장치(UPS) ②]...
[무정전 전원 장치(UPS) ①]...
[기고] 동기 발전기 여자시스...
비상 발전기 및 소방 전원 보...
전기자동차 기술 및 특허 동...
히트펌프의 최신기술동향
과월호 보기:
서울마포구 성산로 124, 6층(성산동,덕성빌딩)
TEL : 02-323-3162~5  |  FAX : 02-322-8386
정기간행물등록번호 : 마포 라00108  |  통신판매업신고번호 : 마포 통신 제 1800호
개인정보관리책임자 : 강창대 팀장 (02-322-1201)

COPYRIGHT 2013 JEONWOO PUBLISHING Corp. All Rights Reserved.
Family Site
네이버 포스
회사소개  |  매체소개  |  정기구독센터  |  사업제휴  |  개인정보취급방침  |  이용약관  |  이메일주소 무단수집 거부  |  네이버 포스트  |  ⓒ 전우문화사