MS Azure에서는 개발자와 비즈니스 시나리오 구현을 위한 빅 데이터 서비스를 제공합니다. 필요한 모든 데이터를 실시간으로 분석하여 가장 정확하고 합리적인 의사 결정을 구현하도록 지원합니다.
센서 등을 통해 수집되는 데이터와 스트리밍을 통해 실시간으로 데이터가 생성되는 것과 같이 데이터 양이 폭발적으로 증가하고 있습니다. 단순한 데이터의 수집 뿐만 아니라 이를 분석하면 이후 예측을 통한 비즈니스 의사결정에 활용할 수 있습니다.
MS Azure와 같은 클라우드 플랫폼을 통해 빅 데이터 수집부터 적절한 가격과 기업 표준에 맞게 활용할 수 있습니다. 최종적으로는 데이터에 담긴 정보를 분석하고 시각화하여 비즈니스 의사결정에 활용함으로써 효율성을 높일 수 있습니다.
이번 테크 블로그에서는 MS Azure에서 제안하는 빅 데이터 항목 별 데이터 수집, 저장, 분석 및 시각화, 보고서에 활용할 수 있는 제품을 알아보고, 실제 적용할 수 있는 빅 데이터 시나리오 아키텍처를 통해 비즈니스 환경에서 MS Azure의 빅 데이터 오퍼링을 알아봅니다.
뉴스레터 가입
클라우드 관련 최신 소식을 업데이트 받으실 수 있습니다.
The Azure Data Landscape
수집
제품명 | 내용 |
---|---|
Azure Data Factory | 대규모 데이터 통합 및 예약 및 관리 기능 |
Azure Import Export Service | 대량의 데이터를 Azure BLOB 저장소 및 Azure 파일로 안전하게 이동 |
Azure CLI | 스크립팅을 쉽게 만들고 유연하게 데이터를 쿼리하기 위한 커맨드 도구 |
Azure SDK | 다양한 개발 언어를 지원하는 SDK 제공 |
Azure IoT HUB | 수십억 개의 IoT 자산을 연결, 모니터링 및 관리 |
Azure Event HUBS | 웹 사이트, 앱 및 모든 데이터 스트림에서 클라우드로 원격 데이터 수집 |
KAFKA On Azure HDInsight | 실시간 데이터를 위한 높은 처리량, 낮은 대기시간 관리 |
Azure ExpressRoute | Azure로 연결되는 전용 프라이빗 네트워크 파이퍼 커넥션 |
Azure Active Directory | 원활한 보안 ID 및 엑세스 관리 |
저장
제품명 | 내용 |
---|---|
Azure SQL Database | 관계형 클라우드 데이터베이스 서비스 |
Azure Cosmos Database | 글로벌한 분산 환경을 지원하는 데이터베이스 |
Azure Storage BLOBS | 구조화되지 않은 데이터를 위한 확장 가능한 개체 저장소 |
Azure Data Lake Store | 확장성이 매우 뛰어난 데이터 레이크 저장소 |
Azure Search | 웹앱 및 모바일 앱 개발을 위한 AI 지원 클라우드 검색 서비스 |
Azure Data Catalog | 엔터프라이즈 데이터 자산을 간편하게 검색 |
Azure Network Security Groups | 가상 네트워크 연결을 통해 리소스를 보다 효과적으로 연결하도록 지원 |
Azure Key Management Service (Key Vault) | 데이터 보호 및 규정 준수 향상을 위한 서비스 |
분석 및 서비스
제품명 | 내용 |
---|---|
Azure SQL Data Warehouse | 엔터프라이즈를 위한 빠르고 유연한 보안 분석 플랫폼 |
Azure Data Lake Analytics | 확장성이 매우 뛰어난 데이터 레이크 저장소 |
Azure HDInsight (HADOOP/SPARK) | 엔터프라이즈 용 오픈 소스 분석 서비스 |
Azure Stream Analytics | 모든 IoT 장치 및 게이트웨이의 데이터를 즉시 분석 |
STORM and SPARK Streaming On Azure HDInsight | 빅 데이터에 대한 실시간 스트림 처리 용이 |
Azure Functions | 서버리스 아키텍처를 통해 앱을 더 신속하게 빌드 |
시각화 및 보고
제품명 | 내용 |
---|---|
Azure Analysis Services | 빠른 시작 및 효율적인 확장을 위한 분석 엔진 |
Power BI | 대화형 시각적 개체, 대시보드 및 보고서 제공 |
어드밴스드 분석 – Azure Machine Learning | 확장 및 신뢰할 수 있는 엔드-투-엔드 플랫폼으로 사용자의 AI 적용 |
어드밴스드 분석 – ML Server | Python 및 R에 대한 지원을 통해 데이터 사이언스 라이프 사이클 지원 |
딥 러닝 – BOT Service | 지능형 대화 봇을 빌드, 연결, 배포 및 관리 |
딥 러닝 – Cognitive Services | 인공지능을 활용하여 사용자의 요구사항을 자연스러운 의사소통 방식으로 해석 |
딥 러닝 – Visual Studio | 클라우드에서 응용 프로그램을 개발하기 위한 강력하고 유연한 환경 |
Case 1. SQL 분석 기반 빅데이터 플랫폼
SQL Data Warehouse는 빅 데이터 저장소 통합 및 Data Mart를 만들 수 있으며, 기존 사용중인 그룹관계사 DB인프라와 연계 가능한 시나리오.
Case 2. 빅데이터 플랫폼 과 Data Warehouse
비정형 Data를 Azure HDInsight와 연동 및 Hadoop, Spark, HBase, Kafka, Interactive Query 분석 후 Blob Storage에 저장하는 Azure SQL Data Warehouse와 연계 시나리오.
Case 3. 빅데이터 플랫폼 Serverless ETL
Data 이동을 위한 ETL 기능을 Serverless로 구현, 간단한 TYPE 변환 또는 작은 단위의 Filter(signal processing)기능에 대한 시나리오.
Case 4. Data Lake를 활용한 빅데이터 플랫폼
BLOB Storage보다 더 큰 규모의 Data Lake Store를 구성 하고, HDInsight 대신 Data Lake Analytics를 사용하는 시나리오.
Case 5. 실시간 운영 데이터 통합
Cosmos DB에 통합된 분석결과를 저장하여 웹/앱 서비스 또는 실시간 추천서비스 등에 활용하는 시나리오.
Case 6 : 실시간 데이터 통합 및 가공처리
데이터 처리를 위해 Azure IoT Hub, Azure Event Hub, Kafka, 실시간 처리를 위해 Azure HDInsight 또는 Azure Stream Analytics로 연계되는 Realtime Processing 시나리오.
실무자를 위한 Step by Step Guide
클라우드에 대해 더 알고 싶으세요?
지금 바로 베스핀글로벌 전문 컨설턴트에게 문의하세요. 클라우드와 클라우드의 도입에 대해 클라우드 전문가가 차근차근 설명해 드립니다.
▶︎ Contact us
베스핀글로벌에 대해 더 알고 싶다면 아래 링크를 클릭해주세요. 베스핀글로벌을 자세히 알려드립니다.
▶︎ About us