Que faire en cas de limites d’export Google Analytics 4 vers Big Query atteinte ?
Ça y est notre blog a atteint le million de hits journaliers !! (ça c’est grâce du dernier article de Vincent Lahaye sur consent mode V2). Mais notre enthousiasme est retombé quand on a reçu cet email de la part de Google. Impossible pour UnNest de passer à GA 360 en quelques jours (même tout court..). Mais heureusement, on a trouvé quelques astuces pour contourner le problème et on vous les partage dans cet article.
Limites BigQuery vous avez dit ?
Le passage à Google Analytics 4 signifie pour beaucoup une transition vers des outils de dataviz et BI plus poussés. Ainsi, que ce soit pour exploiter les données brutes de consent mode advanced ou pour ne pas avoir à faire face à sa nouvelle interface, toutes les raisons sont bonnes pour exporter toutes vos donner vers BQ et y travailler.
Surtout que c’est simple, rapide et gratuit !
Enfin gratuit, dans une certaine limite. Celle des 1M de hits par jours. Ensuite, le prix commence à 50k annuel et augmente progressivement par tranche de 25M de hits mensuels.
Jusqu’à cette limite des 1M de hits, vous ne payez rien du tout. Au delà, il faut passer à Google Analytics 360. GA 360 c’est avant tout un outil où les possibilités d’architectures sont adaptées aux écosystèmes complexes.
Echantillonage plus faible et traitement des volumes plus importants
Pas de limites d’export dans BigQuery
Limites de propriétés, dimensions et métrique customs plus élevées
Possibilité de créer des Sub-properties
Support technique
Fonctionnalités de reporting plus avancées
Où se situe là limite ?
1M de hits corresponds à 1M de lignes dans votre table d’export de BQ, soit 1M d’évènements collectés.
Si Consent Mode advanced est activé, il faut aussi inclure les hits non consentis qui ne sont pas répercutés dans l’interface de GA4 lorsque vous êtes en reporting Identity Device Based. Pour cela, le nombre d’évènements qui remontent dans votre interface n’est pas la source de vérité.
Pour être sûrs de votre nombre de hits journalier, vous pouvez aller directement dans votre export, à la table sur une journée donnée, dans l’onglet Détails, vous pouvez voir le nombre de lignes exportés, ici 1.168.638 sur la journée du 23 janvier.
Communication de Google
Vous recevez un rappel de Google par email tant que vous dépassez la limite d’export. Si vous être en export de streaming, ce sont les données de la veille qui sont exportées. Donc, si vous recevez votre notification le 24 janvier (en général le soir vers 22H, lorsque l’export se termine), cela concerne les données du 23 janvier. Vous avez donc 7 jours à partir du 23 janvier, donc plus que 6 jours à partir de la réception de l’email pour réagir.
Si vous contactez Google pour allonger le délais de grâce, sachez que la réponse est ferme et sans détour : “Non, passez à GA 360”.
Vous recevrez ensuite un email chaque jour jusqu’à ce que la limite soit atteinte.
Que se passe-t-il une fois le délai dépassé ?
Lorsque le délai de grâce arrive à son terme, l’export s’arrête. Les données sont toujours collectées et disponibles dans l’interface de GA4, mais plus dans BQ.
L’export ne pourra reprendre que lorsque le niveau de hits journaliers que vous souhaitez exporter sera repassé sous la barre des 1 million de hits et ce pendant une durée d’au moins 7 jours consécutifs.
Les données qui n’auront pas été exportées quotidiennement ne pourront pas être récupérées, notez donc que vous aurez une perte d’une durée minimale d’une semaine si vos exports sont interrompus.
Comment contourner les limites d’export de données vers BigQuery ?
Pour contourner les limites d'export de données de Google Analytics 4 vers BigQuery sans devoir investir dans Google Analytics 360, deux stratégies peuvent être mises en place. Ces méthodes vous aideront à optimiser l'utilisation de vos ressources et à réduire les coûts tout en maintenant la qualité et la pertinence des données exportées.
Sélectionnez avec soin les événements à exporter
Une première étape pour réduire le volume de données exportées consiste à limiter les événements que vous choisissez d'exporter vers BigQuery.
Pour ce faire, allez dans votre flux BigQuery, “Configure data streams and events” > “Add” et sélectionnez les évènements à exclure de votre export.
Deux types d’évènements sont à identifier :
Les évènements automatiques de Enhanced Measurement
Les évènements que vous collectez mais que vous ne comptez consulter que dans l’interface
Examinez attentivement les événements automatiques d'Enhanced Measurement comme les scrolls, les clics, ou les recherches sur le site, et évaluez leur pertinence pour vos analyses. Ces événements peuvent rapidement augmenter le volume de données, surtout sur des sites à fort trafic. Si certains de ces événements n'apportent pas de valeur ajoutée significative à vos analyses, envisagez de les désactiver.
De même, révisez les événements personnalisés que vous avez configurés et excluez ceux qui ne sont pas essentiels à votre reporting ou à votre suivi des performances. Les évènements de navigation par exemple, peuvent créer un fort volume mais ne pas être vraiment réutilisés dans les dashboard. L’évènement user_engagement qui remonte automatiquement est souvent utilisé dans la création d’audience mais ne mérite peut être pas d’apparaître dans vos dashboards.
L’expression “Less is better” n’a jamais été aussi bien illustrée dans la data. Pensez frugalité.
Repensez votre architecture
Une autre approche pour réduire le volume de données est de créer des propriétés distinctes dans GA4. Si vous avec un site présent tout autour du globe, vous pouvez opter pour ne architecture par régions ou pays par exemple. Cette segmentation peut aider à réduire le trafic de données traité et exporté par chaque propriété, rendant les exports vers BigQuery plus gérables.
Par la suite, les données peuvent être agrégées dans BigQuery pour retrouver une vue globale de votre écosystème.
Il faut tout de même noter que dans certains cas, cette stratégie comporte des risques, notamment la fragmentation des sessions et des utilisateurs. Si un utilisateur navigue entre des sites appartenant à différentes propriétés GA4, sa visite peut être comptabilisée comme deux sessions distinctes et deux utilisateurs différents, faussant ainsi vos analyses.
Enfin, bien que la segmentation puisse réduire le volume de données exportées, gardez à l'esprit les coûts de stockage et de traitement dans BigQuery. Optimisez vos requêtes et gérez efficacement le stockage pour contrôler les coûts.
En somme, bien que ces stratégies puissent aider à contourner les limites d'export de GA4 vers BQ sans engendrer de coûts supplémentaires, elles requièrent une mise en œuvre soignée et une évaluation continue pour s'assurer qu'elles ne compromettent pas l'intégrité et la qualité des données analytiques.
Jouer avec le flux streaming : un jeu à ne pas reproduire chez soi
La limite d’export ne concerne que la table “Daily”. Ainsi, vous pouvez exporter vers BQ en streaming sans limite de volume. Les données sont dispo dans une table à part, identifiée avec le préfix “intraday”.
Le jeu dangereux dont je vous parle c’est celui de sauvegarder vos tables intraday chaque jour. Je comprends la tentation, mais ne faites pas ça. Les tables intraday sont mises à jour et rafraichies régulièrement ce qui peut impacter votre export. Et même si vous enregistrez votre table intraday à la toute fin de la journée, il peut à nouveau y avoir des modifications avant qu’elle n’apparaisse dans la table quotidienne. La déduplication, la consolidation et la vérification de l'intégrité des données s’avère alors très complexe à gérer avec cette solution.
Conclusion
Comme vous avez pu le voir, lorsque vous atteignez le milion, il vous reste quelques options sont à votre disposition avec GA4 mais si cela ne suffit pas, le dernier recourt avant de prendre la licence GA360, est d’envoyer directement les htis dans BigQuery. Mais ça c’est pour un prochain article..
✍️
L’auteur : Lucie Lafarge
Consultantetracking & analytics chez UnNest, je travaille sur les sujets liés à la collecte et l’analyse de vos données de navigation.
Après 3 années au sein d’une agence dédiée à l'équipe data & analytics de Royal Canin, j’ai pu aiguiser mon sens de l'analyse pour transformer la donnée en actions concrètes.
