Firebase Crashlytics 데이터를 BigQuery로 내보내기

Crashlytics 데이터를 BigQuery로 내보내 추가 분석을 수행할 수 있습니다. BigQuery를 사용하면 BigQuery SQL로 데이터를 분석하여 다른 클라우드 제공업체로 내보내거나, Google 데이터 스튜디오의 시각화 및 커스텀 대시보드에 데이터를 사용할 수 있습니다.

BigQuery 내보내기 사용 설정

1. Firebase Console의 통합 페이지로 이동합니다.
2. BigQuery 카드에서 연결을 클릭합니다.
3. 화면의 안내에 따라 BigQuery를 사용 설정합니다.

프로젝트를 BigQuery에 연결하면 Firebase는 다음과 같이 작동합니다.

• Firebase에서 Firebase 프로젝트와 BigQuery 간의 일일 데이터 동기화를 설정합니다.
• 기본적으로 프로젝트에 있는 모든 앱은 BigQuery에 연결되며 나중에 프로젝트에 추가한 앱은 BigQuery에 자동으로 연결됩니다. 데이터를 전송하는 앱을 별도로 관리할 수 있습니다.
• Firebase에서 BigQuery로 기존 데이터의 사본을 내보냅니다. 여기에는 연결된 각 앱에서 일일 데이터 동기화로 생성된 데이터가 있는 배치 테이블이 포함됩니다.
• Crashlytics BigQuery 스트리밍 내보내기를 사용 설정한 경우 연결된 모든 앱에 지속적으로 업데이트되는 데이터가 있는 실시간 테이블도 포함됩니다.

BigQuery 내보내기를 중지하려면 Firebase Console에서 프로젝트를 연결 해제합니다.

어떤 유형의 데이터를 BigQuery로 내보내나요?

Firebase Crashlytics는 firebase_crashlytics라는 BigQuery 데이터 세트로 데이터를 내보냅니다. 기본적으로 개별 테이블은 프로젝트에 있는 각 앱의 Crashlytics 데이터 세트에 생성됩니다. Firebase는 앱의 번들 식별자에 따라 테이블의 이름을 지정하며, 마침표를 밑줄로 변환하고 마지막에 플랫폼 이름을 붙입니다.

예를 들어 ID가 com.google.test인 앱의 데이터는 com_google_test_ANDROID라는 이름의 테이블에 포함되게 됩니다. 이 배치 테이블은 하루에 한 번 업데이트됩니다. Crashlytics BigQuery 스트리밍 내보내기를 사용 설정한 경우 Firebase Crashlytics 데이터도 com_google_test_ANDROID_REALTIME으로 실시간 스트리밍됩니다.

테이블의 각 행은 비정상 종료, 심각하지 않은 오류, ANR을 포함하여 앱에서 발생한 이벤트를 나타냅니다.

Crashlytics BigQuery 스트리밍 내보내기 사용 설정

BigQueryStreaming을 사용하여 Crashlytics 데이터를 실시간으로 스트리밍할 수 있습니다. 실시간 대시보드에 정보를 표시하거나, 출시 라이브를 보거나, 알림 및 커스텀 워크플로를 트리거하는 애플리케이션 문제를 모니터링하는 등 실시간 데이터가 필요한 모든 상황에서 사용할 수 있습니다.

BigQuery 샌드박스에서는 Crashlytics BigQuery 스트리밍 내보내기를 사용할 수 없습니다.

Crashlytics BigQuery 스트리밍 내보내기를 사용 설정하면 배치 테이블 외에 실시간 테이블도 포함됩니다. 다음은 각 테이블 간의 차이점입니다.

배치 테이블은 이벤트를 쓰기 전에 영구적으로 저장하므로 장기 분석 및 경과에 따른 트렌드를 식별하는 데 유용하며 최대 90일 전부터 테이블에 백필할 수 있습니다. 실시간 테이블에 데이터를 쓰면 BigQuery에 즉시 기록되므로 실시간 대시보드와 커스텀 알림에 적합합니다. 이 두 테이블을 병합 쿼리로 결합하면 두 테이블의 이점을 모두 누릴 수 있습니다. 아래의 예시 9 쿼리를 참조하세요.

기본적으로 실시간 테이블의 파티션 만료 시간은 30일입니다. 이를 수정하는 방법은 파티션 만료 업데이트를 참조하세요.

Crashlytics BigQuery 스트리밍 사용 설정

스트리밍을 사용 설정하려면 BigQuery 통합 페이지의 Crashlytics 섹션으로 이동하여 스트리밍 포함 체크박스를 선택합니다.

데이터 스튜디오 템플릿

데이터 스튜디오 템플릿에서 실시간 데이터를 사용 설정하려면 내보낸 Crashlytics 데이터를 데이터 스튜디오로 시각화하기의 안내를 따르세요.

뷰

BigQuery UI를 사용하여 아래의 쿼리 예시를 뷰로 변환할 수 있습니다. 자세한 안내는 뷰 만들기를 참조하세요.

내보낸 데이터로 무엇을 할 수 있나요?

BigQuery로 내보낸 데이터에는 기기 유형, 운영체제, 예외(Android 앱) 또는 오류(Apple 앱), Crashlytics 로그를 비롯한 원시 비정상 종료 데이터뿐만 아니라 기타 다른 데이터도 포함됩니다.

BigQuery에서 Firebase Crashlytics 데이터로 작업하기

다음의 예는 Crashlytics 데이터에서 실행할 수 있는 쿼리를 보여줍니다. 이러한 쿼리는 Crashlytics 대시보드에 제공되지 않는 보고서를 생성합니다.

Crashlytics 쿼리의 예

다음의 예는 비정상 종료 이벤트 데이터를 집계하여 더 이해하기 쉽게 요약한 보고서를 어떻게 생성하는지 보여줍니다.

예시 1: 날짜별 비정상 종료

수석 개발자는 버그를 최대한 해결한 후 드디어 팀이 신규 사진 공유 앱을 출시할 준비가 되었다고 생각합니다. 출시 전에 팀은 지난 달의 일일 비정상 종료 횟수를 확인하여, 그 동안 진행한 버그 수정 작업을 통해 앱이 얼마나 더 안정화되었는지 알아보려고 합니다.

SELECT
  COUNT(DISTINCT event_id) AS number_of_crashes,
  FORMAT_TIMESTAMP("%F", event_timestamp) AS date_of_crashes
FROM
 `projectId.firebase_crashlytics.package_name_ANDROID`
GROUP BY
  date_of_crashes
ORDER BY
  date_of_crashes DESC
LIMIT 30;

예시 2: 가장 심각한 비정상 종료 파악

프로젝트 관리자는 프로덕션 계획의 우선순위를 적절하게 설정하기 위해 제품에서 가장 심각한 비정상 종료 중 상위 10개가 무엇인지 파악하는 방법에 대해 고민합니다. 팀은 다음과 같이 데이터의 관련 포인트를 제공하는 쿼리를 생성합니다.

SELECT
  DISTINCT issue_id,
  COUNT(DISTINCT event_id) AS number_of_crashes,
  COUNT(DISTINCT installation_uuid) AS number_of_impacted_user,
  blame_frame.file,
  blame_frame.line
FROM
  `projectId.firebase_crashlytics.package_name_ANDROID`
WHERE
  event_timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(),INTERVAL 168 HOUR)
  AND event_timestamp < CURRENT_TIMESTAMP()
GROUP BY
  issue_id,
  blame_frame.file,
  blame_frame.line
ORDER BY
  number_of_crashes DESC
LIMIT 10;

예시 3: 비정상 종료가 가장 많이 발생한 상위 10개 기기

가을은 신규 스마트폰이 출시되는 시기입니다. 개발자는 이때가 기기별로 새로운 문제가 발견되는 시기이기도 하다는 것을 알고 있습니다. 앞으로 발생할 호환성 문제를 성공적으로 해결하기 위해, 팀은 지난 주에 비정상 종료가 가장 많이 발생했던 10대의 기기를 식별하는 쿼리를 다음과 같이 작성합니다.

SELECT
  device.model,
COUNT(DISTINCT event_id) AS number_of_crashes
FROM
  `projectId.firebase_crashlytics.package_name_ANDROID`
WHERE
  event_timestamp >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 168 HOUR)
  AND event_timestamp < CURRENT_TIMESTAMP()
GROUP BY
  device.model
ORDER BY
  number_of_crashes DESC
LIMIT 10;

예시 4: 커스텀 키별 필터링

게임 개발자는 게임의 어느 레벨에서 비정상 종료가 가장 많이 발생하는지 알고 싶어 합니다. 팀은 상태를 추적하기 위해 커스텀 Crashlytics 키 current_level을 설정한 후 사용자가 새 레벨에 도달할 때마다 이 키를 업데이트합니다.

CrashlyticsKit setIntValue:3 forKey:@"current_level";

Crashlytics.sharedInstance().setIntValue(3, forKey: "current_level");

Crashlytics.setInt("current_level", 3);

그런 다음 BigQuery 내보내기에 이 키를 포함시키고, 각 비정상 종료 이벤트와 연결된 current_level 값의 분산을 보고하는 쿼리를 다음과 같이 작성합니다.

SELECT
COUNT(DISTINCT event_id) AS num_of_crashes,
  value
FROM
  `projectId.firebase_crashlytics.package_name_ANDROID`
UNNEST(custom_keys)
WHERE
  key = "current_level"
GROUP BY
  key,
  value
ORDER BY
  num_of_crashes DESC

예시 5: 사용자 ID 추출

개발자는 사전 체험판 앱을 하나 갖고 있습니다. 사용자 대부분은 이 앱을 좋아하지만 세 명의 사용자에게는 이례적으로 자주 비정상 종료가 발생했습니다. 문제의 원인을 파악하기 위해, 팀은 사용자 ID를 사용하여 사용자에게 발생하는 모든 비정상 종료 이벤트를 가져오는 쿼리를 다음과 같이 작성합니다.

SELECT *
FROM
  `projectId.firebase_crashlytics.package_name_ANDROID`
WHERE
  user.id IN ("userid1", "userid2", "userid3")
ORDER BY
  user.id
 

예시 6: 특정 비정상 종료 문제를 경험한 모든 사용자 파악

개발자는 베타 테스터 그룹을 대상으로 주요 버그를 배포했습니다. 팀은 위의 예시 2의 쿼리를 사용하여 특정 비정상 종료 문제 ID를 파악할 수 있었습니다. 이제 이들은 이 비정상 종료의 영향을 받은 앱 사용자 목록을 추출하는 다음과 같은 쿼리를 실행합니다.

SELECT user.id as user_id
FROM
  `projectId.firebase_crashlytics.package_name_ANDROID`
WHERE
  issue_id = "YOUR_ISSUE_ID"
  AND application.display_version = ""
  AND user.id != ""
ORDER BY
  user.id;

예시 7: 비정상 종료 문제의 영향을 받은 사용자 수(국가별 분류)

이제 팀은 새 버전 출시 중 주요 버그를 탐지했습니다. 이들은 위의 예시 2의 쿼리를 사용하여 특정 비정상 종료 문제 ID를 파악할 수 있었습니다. 이제 이 비정상 종료가 전 세계 여러 국가의 사용자에게 확산되는지 여부를 관찰하려고 합니다.

이 쿼리를 작성하려면 팀에서는 다음을 수행해야 합니다.

1. Google 애널리틱스에서 BigQuery 내보내기를 사용 설정합니다. BigQuery에 프로젝트 데이터 내보내기를 참조하세요.

2. 사용자 ID가 Google 애널리틱스 SDK 및 Crashlytics SDK에 모두 전달되도록 앱을 업데이트합니다.

   Objective-C

   CrashlyticsKit setUserIdentifier:@"123456789";
   FIRAnalytics setUserID:@"12345678 9";
   

   Swift

   Crashlytics.sharedInstance().setUserIdentifier("123456789");
   Analytics.setUserID("123456789");
   

   자바

   Crashlytics.setUserIdentifier("123456789");
   mFirebaseAnalytics.setUserId("123456789");
   

3. 사용자 ID 필드를 사용하여 Crashlytics BigQuery 데이터 세트에서 비정상 종료가 발생한 경우 Google 애널리틱스 BigQuery 데이터 세트의 이벤트를 조인하는 쿼리를 작성합니다.

   SELECT DISTINCT c.issue_id, a.geo.country, COUNT(DISTINCT c.user.id) as num_users_impacted
   FROM `projectId.firebase_crashlytics.package_name_ANDROID` c
   INNER JOIN  `projectId.analytics_YOUR_TABLE.events_*` a on c.user.id = a.user_id
   WHERE
    c.issue_id = "YOUR_ISSUE_ID"
    AND a._TABLE_SUFFIX BETWEEN '20190101'
    AND '20200101'
   GROUP BY
    c.issue_id,
    a.geo.country,
    c.user.id
   

예시 8: 상위 5개 문제(오늘 기준)

Crashlytics BigQuery 스트리밍 내보내기를 사용 설정해야 함

SELECT
  issue_id,
  COUNT(DISTINCT event_id) AS events
FROM
  `your_project.firebase_crashlytics.package_name_ANDROID_REALTIME`
WHERE
  DATE(event_timestamp) = CURRENT_DATE()
GROUP BY
  issue_id
ORDER BY
  events DESC
LIMIT
  5;

예시 9: 상위 5개 문제(DATE~오늘)

Crashlytics BigQuery 스트리밍 내보내기를 사용 설정해야 함

이 예시에서는 배치 테이블과 실시간 테이블을 결합하여 안정적인 일괄 데이터에 실시간 정보를 추가합니다. event_id는 기본 키이므로 DISTINCT event_id를 사용하여 두 테이블에서 공통 이벤트를 중복 삭제할 수 있습니다.

SELECT
  issue_id,
  COUNT(DISTINCT event_id) AS events
FROM (
  SELECT
    issue_id,
    event_id,
    event_timestamp
  FROM
    `your_project.firebase_crashlytics.package_name_ANDROID_REALTIME`
  UNION ALL
  SELECT
    issue_id,
    event_id,
    event_timestamp
  FROM
    `your_project.firebase_crashlytics.package_name_ANDROID`)
WHERE
  event_timestamp >= "2020-01-13"
GROUP BY
  issue_id
ORDER BY
  events DESC
LIMIT
  5;

BigQuery의 Firebase Crashlytics 스키마 이해하기

Crashlytics를 BigQuery와 연결하면 Firebase는 연결 이틀 전까지의 이벤트를 포함한 최근 이벤트(비정상 종료, 심각하지 않은 오류, ANR)를 내보냅니다. 최대 90일까지 백필할 수 있는 옵션도 제공됩니다.

Firebase는 이 시점부터 연결을 해제할 때까지 매일 Crashlytics 이벤트를 내보냅니다. 매번 내보내기를 실행한 후 BigQuery에서 데이터를 사용할 수 있을 때까지 몇 분이 소요될 수 있습니다.

데이터 세트

Firebase Crashlytics는 Crashlytics 데이터마다 BigQuery에 새 데이터 세트를 만듭니다. 이 데이터 세트는 프로젝트에 여러 개의 앱이 있더라도 프로젝트 전체를 포함합니다.

테이블

Firebase Crashlytics는 특정 앱의 데이터 내보내기를 제외하지 않는 한, 데이터 세트에 프로젝트의 앱별 테이블을 생성합니다. Firebase는 앱의 번들 식별자에 따라 테이블의 이름을 지정하며, 마침표를 밑줄로 변환하고 마지막에 플랫폼 이름을 붙입니다.

예를 들어 ID가 com.google.test인 Android 앱의 데이터는 com_google_test_ANDROID라는 이름의 테이블에 포함되고, 실시간 데이터(사용 설정된 경우)는 com_google_test_ANDROID_REALTIME이라는 테이블에 포함되게 됩니다.

테이블에는 개발자가 정의한 Crashlytics 커스텀 키 외에 표준 Crashlytics 데이터 세트가 포함됩니다.

행

테이블의 각 행은 앱에 발생한 오류를 나타냅니다.

열

비정상 종료, 심각하지 않은 오류, ANR의 테이블 열은 동일합니다. Crashlytics BigQuery 스트리밍 내보내기가 사용 설정되어 있으면 실시간 테이블에 배치 테이블과 동일한 열이 포함됩니다. 내보내기 파일의 열은 다음과 같습니다.

스택 트레이스 제외

스택 추적이 없는 이벤트를 나타내는 행에 있는 열입니다.

내보낸 Crashlytics 데이터를 데이터 스튜디오로 시각화하기

Google 데이터 스튜디오는 BigQuery의 Crashlytics 데이터 세트를 읽기 쉽고 공유하기 쉬우며 완벽하게 맞춤설정이 가능한 보고서로 바꿔줍니다.

데이터 스튜디오의 사용에 관한 자세한 내용은 데이터 스튜디오 빠른 시작 가이드, Data Studio에 오신 것을 환영합니다를 참조하세요.

Crashlytics 보고서 템플릿 사용하기

데이터 스튜디오는 내보낸 Crashlytics BigQuery 스키마의 포괄적인 측정기준 및 측정항목 세트를 포함하는 Crashlytics 샘플 보고서를 제공합니다. Crashlytics BigQuery 스트리밍 내보내기를 사용 설정한 경우 데이터 스튜디오 템플릿의 실시간 트렌드에서 해당 데이터를 볼 수 있습니다.이 샘플을 템플릿으로 사용하면 내 앱의 원시 비정상 종료 데이터를 기반으로 새로운 보고서를 빠르게 작성하고 시각화할 수 있습니다.

1. Crashlytics 데이터 스튜디오 대시보드 템플릿을 엽니다.
2. 오른쪽 상단의 템플릿 사용을 클릭합니다.
3. 새 데이터 소스 드롭다운에서 새 데이터 소스 만들기를 선택합니다.
4. BigQuery 카드에서 선택을 클릭합니다.
5. 내 프로젝트 > [your-project-name] > firebase_crashlytics > [your-table-name]을 선택하여 내보낸 Crashlytics 데이터가 포함된 테이블을 선택합니다. 배치 테이블은 언제든지 선택할 수 있습니다. Crashlytics BigQuery 스트리밍 내보내기가 사용 설정된 경우 실시간 테이블을 대신 선택할 수 있습니다.
6. 구성 아래에서, Crashlytics 템플릿 수준을 기본값으로 설정합니다.
7. 연결을 클릭하여 새 데이터 소스를 만듭니다.
8. 보고서에 추가를 클릭하여 Crashlytics 템플릿으로 돌아갑니다.
9. 마지막으로 보고서 작성을 클릭하여 Crashlytics 데이터 스튜디오 대시보드 템플릿의 사본을 만듭니다.