몇몇 사람들의 아마존 EC2 경험담, 그리고 내 경험에 의하면 역시 잘 안맞는다.
Hadoop이나 NoSQL같은 분산 솔루션을 10 VM nodes 규모의 클러스터로 만들어 사용하는건 모르겠으나, 100 VM nodes 이상 규모의 클러스터로 만들면 생각 만큼의 성능은 기대하기 힘들다. 우리집 화장실에 'made in 용산' PC 10대보다 더 느리다.
이런 대형 데이터 처리를 위한 분산 솔루션들은 특히나 IO와 network을 많이 사용하는데 서버 가상화 기술과 네트워크로 제공되는 논리적 볼륨 기반 Cloud 환경에 올라가면 공유자원 부하 문제가 발생할 수 있고 인접한 VM들도 영향을 받을 수 있다.
게다가 fault-tolerant design 일환으로 구현된 node간 파일 복제나 똑똑한 failure detector, 자동 recovery 기능들을 잘못쓰면 때로는 사소한(?) 네트워크 응답지연문제를 시작점으로 줄줄이 도미노처럼 무너지는 장애 쓰나미를 유발할 수 있다.
애초 commodity PC clustering을 겨냥해서 design된 솔루션을 가지고 서버 가상화같은 온갖 기술을 몽땅 Cloud 하나로 포장하면서 발생되는 부작용인가?
Clik here to view.
Hadoop이나 NoSQL같은 분산 솔루션을 10 VM nodes 규모의 클러스터로 만들어 사용하는건 모르겠으나, 100 VM nodes 이상 규모의 클러스터로 만들면 생각 만큼의 성능은 기대하기 힘들다. 우리집 화장실에 'made in 용산' PC 10대보다 더 느리다.
이런 대형 데이터 처리를 위한 분산 솔루션들은 특히나 IO와 network을 많이 사용하는데 서버 가상화 기술과 네트워크로 제공되는 논리적 볼륨 기반 Cloud 환경에 올라가면 공유자원 부하 문제가 발생할 수 있고 인접한 VM들도 영향을 받을 수 있다.
게다가 fault-tolerant design 일환으로 구현된 node간 파일 복제나 똑똑한 failure detector, 자동 recovery 기능들을 잘못쓰면 때로는 사소한(?) 네트워크 응답지연문제를 시작점으로 줄줄이 도미노처럼 무너지는 장애 쓰나미를 유발할 수 있다.
애초 commodity PC clustering을 겨냥해서 design된 솔루션을 가지고 서버 가상화같은 온갖 기술을 몽땅 Cloud 하나로 포장하면서 발생되는 부작용인가?
Image may be NSFW.
Clik here to view.
Image may be NSFW.Clik here to view.
Clik here to view.
