DoubleCloud

DoubleCloud: 단 하루 만에 데이터 분석 인프라 구축

DoubleCloud는 완전 관리형, 유지 보수가 필요 없는 오픈 소스 솔루션을 제공하여 데이터 파이프라인을 간소화하도록 설계된 플랫폼이었습니다. 이 플랫폼은 데이터 수집부터 실시간 시각화까지 모든 것을 통합하여 시간과 비용을 절약하는 것을 목표로 했습니다. DoubleCloud는 운영을 종료했지만, 해당 기능은 최신 데이터 분석 인프라에 대한 귀중한 통찰력을 제공합니다.

DoubleCloud란 무엇이었습니까? DoubleCloud는 데이터 분석 솔루션의 생성 및 유지 관리를 단순화하도록 설계된 관리형 오픈 소스 서비스 및 도구 모음을 제공했습니다. 이를 통해 사용자는 인프라 자체를 관리하는 오버헤드 없이 오픈 소스 기술을 활용할 수 있었습니다.

DoubleCloud는 어떻게 작동했습니까? 이 플랫폼은 다음과 같은 몇 가지 주요 구성 요소를 제공했습니다.

• 오픈 소스 서비스: Amazon Web Services(AWS) 또는 Google Cloud Platform(GCP)의 ClickHouse, Kafka 및 Airflow에 대한 관리형 서비스.
• 데이터 통합 엔진: 시스템 간 실시간 데이터 동기화를 위한 노코드 ELT(추출, 로드, 변환) 도구.
• 실시간 시각화: 차트 및 대시보드를 구축하기 위한 관리형 오픈 소스 데이터 시각화 도구.

주요 기능 및 이점:

• 완전 관리형 서비스: DoubleCloud는 소프트웨어 업데이트, 샤딩, 백업 및 자동 스케일링과 같은 일상적인 유지 관리 작업을 처리했습니다.
• 탁월한 성능: ClickHouse를 기반으로 구축된 이 플랫폼은 주요 DBMS보다 최대 100배 빠른 쿼리 속도로 실시간 분석을 가능하게 했습니다.
• 개발자 경험: 기능에는 Terraform 또는 API를 사용한 자동 배포, Prometheus를 통한 메트릭 내보내기, 로그 통합, 웹 기반 SQL IDE 및 dbt를 사용한 내장 데이터 변환이 포함되었습니다.
• 보안: TLS 1.2+ 암호화 적용, 소프트웨어 전달을 위한 전용 VM, ISO 27001, SOC 2, GDPR 및 기타 산업 표준 준수.
• 비용 효율성: 종량제 가격 책정, BYOC(Bring Your Own Cloud) 옵션, S3 하이브리드 스토리지, 자동 백업 및 교차 AZ 트래픽과 같은 무료 서비스.

사용 사례:

DoubleCloud는 다음과 같은 다양한 사용 사례를 충족했습니다.

• 실시간 스포츠 분석: LSports는 DoubleCloud 및 ClickHouse를 사용하여 쿼리 속도를 180배 향상시켰습니다.
• 로깅 및 메트릭: Neon은 새로운 구독 요금제의 리소스 소비 메트릭의 세분성을 향상시켰습니다.
• 최종 사용자 분석: Yango Tech는 단 1주일 만에 파트너 대상 분석을 시작했습니다.
• 모니터링: Honeybadger는 Elasticsearch에서 마이그레이션하여 성능을 향상시키고 새로운 건강 앱 모니터링 서비스를 시작했습니다.

DoubleCloud가 중요한 이유는 무엇이었습니까? DoubleCloud는 오픈 소스 기술의 배포 및 관리를 단순화하여 강력한 데이터 분석 도구에 대한 액세스를 민주화하는 것을 목표로 했습니다. 이를 통해 기업은 인프라 유지 관리보다는 제품 개발에 집중할 수 있었습니다.

주요 기술:

• ClickHouse: 대규모 데이터 세트 쿼리 시 속도와 효율성으로 유명한 오픈 소스 OLAP(온라인 분석 처리) 데이터베이스입니다. ClickHouse는 실시간 분석을 제공하겠다는 DoubleCloud의 약속의 핵심입니다.
• Apache Kafka: 실시간 데이터 파이프라인 및 스트리밍 애플리케이션을 구축하는 데 사용되는 분산 이벤트 스트리밍 플랫폼입니다.
• Apache Airflow: 데이터 파이프라인의 작성, 스케줄링 및 모니터링을 위한 워크플로 관리 플랫폼입니다.

DoubleCloud 사용 방법(사용했었음):

1. 가입하고 무료 크레딧을 받으세요.
2. 클라우드 공급자, 지역 및 필요한 리소스를 선택하세요.
3. 데이터를 실시간으로 ClickHouse로 전송하세요.
4. 탁월한 성능과 속도를 즐기세요.

결론:

DoubleCloud는 더 이상 운영되지 않지만 관리형 오픈 소스 서비스가 데이터 분석 인프라를 어떻게 단순화할 수 있는지 보여주었습니다. 성능, 개발자 경험, 보안 및 비용 효율성에 중점을 두어 데이터의 힘을 활용하려는 회사에 매력적인 솔루션을 제공했습니다.