구글 클라우드 인사이트 Apache Beam 및 Dataflow를 통해 BigQuery에서 최신 Google Ads 데이터 업데이트 구글 인사이트 by Sangmi Park 2025년 04월 16일 2025년 04월 16일 283 현대의 마케터들은 디지털 광고 시장에서 속도가 광고 지출에 대한 투자 수익을 극대화하는 열쇠라는 것을 알고 있습니다. 문제는 대부분의 광고주가 며칠, 몇 주, 심지어 몇 달 된 데이터에 의존한다는 것입니다. 그리고 Google 검색 결과를 반환하는 시간만큼 빠르게 변화하는 환경에서 광고주는 실시간 데이터를 활용하여 엄청난 이점을 얻을 수 있습니다.오늘 우리는 Dataflow 를 기반으로 Google Ads 데이터를 BigQuery 에 기록하는 기본 지원을 발표하게 되어 기쁘게 생각합니다 . 이를 통해 조직은 실시간으로 캠페인 전략에 대한 데이터 기반 결정을 내릴 수 있습니다. 이제 사용자는 새로운 Dataflow 템플릿을 사용하여 Google Ads에서 BigQuery로 자신의 캠페인, 전환, 노출 및 입찰 데이터를 쿼리할 수 있습니다 . 이를 통해 웹 양식을 작성하는 것만큼 간단하게 이러한 시스템을 연결할 수 있습니다. 맞춤 변환, 분석 또는 여러 데이터 저장소에 쓰기를 위한 자체 파이프라인을 구축하려는 경우 오픈소스 Apache Beam Java SDK 에서 GoogleAdsIO를 사용할 수 있습니다 . 일일 데이터 로드를 위해 최소 24시간을 기다려야 하는 고객은 이제 ~10분 버퍼로 발생하는 이벤트를 분석할 수 있습니다. 이 두 가지 새로운 기능은 마케팅 담당자가 일중 입찰 전략을 채택하고 광고 게재 후 몇 분 내에 입찰 전략을 수정하는 데 도움이 됩니다.이번 출시에는 Google Ads I/O 커넥터와 Dataflow 템플릿이라는 두 가지 핵심 요소가 있습니다. 다음 섹션에서 이들 각각을 살펴보겠습니다. Google Ads I/O 새로운 GoogleAdsIO 는 Apache Beam Java SDK에서 사용할 수 있습니다. Apache Beam은 일괄 및 스트림 데이터 처리 파이프라인을 표현하기 위한 통합 프레임워크인 오픈 소스 SDK입니다. Apache Beam은 개발자가 선택한 프로그래밍 언어로 파이프라인을 작성하고 선호하는 실행 엔진을 사용하여 해당 파이프라인을 실행할 수 있는 유연성을 제공합니다. Apache Beam은 이미 60개 이상의 커넥터를 지원하며 시스템이 지원되지 않는 경우 맞춤형 I/O 커넥터를 개발할 수 있는 포괄적인 프레임워크를 제공합니다.GoogleAdsIO는 Ads Reporting gRPC 기반 API를 호출하여 Google Ads 계정에서 데이터를 가져옵니다. Google의 PSO(전문 서비스 조직) 설계자는 광고 개발자 관계팀과 긴밀히 협력하여 I/O 커넥터에 대한 모범 사례를 구현하고 OAuth 자격 증명의 투명한 처리 및 유연한 속도 제한 정책과 같은 기능을 추가했습니다. 이러한 기능은 API에 대한 호출 제어가 계정당 또는 개발자 토큰 제한을 위반하지 않도록 보장하므로 사용자 지정 파이프라인을 안전하게 신속하게 프로토타입할 수 있습니다. 요약하자면, GoogleAdsIO는 Apache Beam I/O 프레임워크의 유연성을 활용하여 안전과 신뢰성을 최우선으로 Google Ads에서 광고 소재, 입찰 전략, 캠페인을 쿼리할 수 있도록 합니다. 체 리포지토리 문맥 인식: 현재 열려 있는 파일뿐만 아니라, GitHub, GitLab, Bitbucket 등에 호스팅 된 조직의 전체 프라이빗 리포지토리를 안전하게 인덱싱하여 검색합니다.레거시 코드 분석: “이 레거시 모듈이 사용하는 내부 인증 함수를 최신 표준으로 바꿔줘”라고 요청하면, AI가 인덱싱된 내부 코드를 참조(RAG)하여 기업의 최신 코딩 스타일과 컨벤션에 딱 맞는 코드를 제안합니다.지원 언어: Java, Python, Go, C++, JavaScript 등 주요 엔터프라이즈 언어를 모두 지원하여 다양한 레거시 환경에 대응할 수 있습니다. Dataflow 템플릿 Dataflow 템플릿은 Google Cloud 프로젝트 전체의 데이터 저장소를 연결하여 일반적인 데이터 수집 및 복제 작업을 간단한 웹 양식 작성으로 단순화합니다. 내부적으로 Dataflow 템플릿은 Apache Beam 코드를 사전 패키징하고 개발 환경과 실행 환경을 분리합니다. 이를 통해 사용자는 프로그래밍 기술이 없는 사용자에게 이러한 파이프라인을 확장할 수 있습니다. 회사에서는 Dataflow 템플릿을 사용하여 일반적인 데이터 처리 워크플로를 정의하고 Beam에 대한 지식이 없는 내부 사용자에게 이를 표시합니다. 모든 사용자는 템플릿과 관련된 사용자 정의 필드를 작성하기만 하면 해당 필드가 실행됩니다.새로운 GoogleAdsIO 커넥터의 기능을 확장하기 위해 PSO 팀은 Google Ads에서 읽고 BigQuery에 쓰는 Dataflow Flex 템플릿을 만들었습니다. 사용자가 로컬 컴퓨터에서 프로그램을 실행하는 대신 이 템플릿을 사용하면 Google Cloud 콘솔을 통해 Google Ads 쿼리를 전달하고 추가 분석을 위해 결과를 BigQuery 테이블로 반환할 수 있습니다. 이 템플릿의 또 다른 강력한 기능은 Google Ads 인터페이스의 각 계정 ID로 수동으로 이동하여 개별 보고서를 가져오는 것과 달리 Google Ads 계정 ID 목록을 전달하여 쿼리를 실행할 수 있는 기능입니다. 이것만으로도 팀은 매달 수십 시간의 힘든 시간을 절약할 수 있으며, 절약된 시간을 클릭수 최대화, 타겟 CPA 또는 타겟 ROAS와 같은 새로운 입찰 전략을 실험하는 데 집중하여 더 나은 결과를 도출하는 데 도움이 될 것입니다. 또한 사용자는 Dataflow Data Pipelines를 사용하여 통합 일정 도구를 통해 맞춤형 보고를 자동화할 수도 있습니다. 고객 영향 고객은 이미 이 템플릿을 통해 엄청난 이점을 얻었습니다. 선도적인 글로벌 온라인 음식 배달 시장인 Just Eat Takeaway.com은 경험을 공유합니다.“이 파이프라인의 정말 좋은 점은 연결을 많이 해제하고, Ads API에 대한 연결을 처리하고, 다운로드를 처리하고, 파일을 정리하고, BigQuery에 로드하는 것입니다. 일반적으로 엔지니어링 팀이 Google Ads에서 맞춤형 보고서를 작성하는 데 몇 주가 소요됩니다. 이를 통해 정말 빠른 속도로 작업을 수행할 수 있었습니다. 열어서 쿼리를 입력하고 열을 지정한 후 바로 시작했습니다. ” – Irfan Rafiq, Just Eat Takeaway.com 성능 기술 관리자콘솔에서 Dataflow로 이동하여 화면 상단의 템플릿 버튼에서 작업 생성을 선택하고 드롭다운에서 Google Ads to BigQuery 템플릿을 선택하여 여정을 시작할 수 있습니다. 이 템플릿을 사용하여 어떻게 새로운 입찰 전략을 활용할 수 있을지 기대됩니다! 출처https://cloud.google.com/blog/products/data-analytics/write-google-ads-data-to-bigquery-with-apache-beam-and-dataflow?hl=en
