Comprendre les comparaisons d’annonces

Comparez deux créations avec la même page de destination enregistrée. L’indicateur montre la puissance statistique de référence : la chance qu’un test contrôlé hypothétique détecte un changement défini du taux de clic avec le nombre d’impressions disponible. Ce n’est pas la significativité du résultat observé.

Ce que mesure le pourcentage

Le plus petit nombre d’impressions admissibles détermine la taille des deux groupes d’un test hypothétique équilibré. Les impressions supplémentaires du plus grand groupe ne compensent pas le plus petit. Une approximation normale standard pour deux proportions estime la puissance. Nous arrondissons au pourcentage entier inférieur et plafonnons à 99 %, même si le calcul approche un. Ce plafond est une règle d’affichage, pas un seuil statistique. Aucun pourcentage n’est affiché sous 1 000 impressions admissibles par annonce : notre garde-fou pour l’approximation exige au moins dix clics attendus au taux de référence.

Origine de l’échantillon de référence

La méthode v1 suppose un taux de clic passant de 1 % à 1,5 % (50 % de hausse relative), un seuil bilatéral de 5 % et une répartition aléatoire indépendante. Environ 7 750 observations par groupe donnent 80 % de puissance selon ce modèle. La méthode est établie ; les taux constituent un exemple de planification Serge, pas une référence publicitaire officielle, un taux mesuré ou une garantie. Ils restent fixes et ne sont pas choisis après observation des résultats. D’autres taux de départ ou améliorations pertinentes exigent un autre plan d’échantillonnage.

Quelles impressions sont comptées

Sélectionnez exactement deux annonces publiées. Nous comptons uniquement les dates de la période affichée avec des impressions positives rapportées pour les deux annonces, antérieures au jour de récupération dans le fuseau horaire du compte publicitaire. Ce dernier jour est exclu car il peut être incomplet. Les dates manquantes sont inconnues, pas nulles. Les totaux du panneau peuvent donc être plus élevés. La période évolue avec les rapports ; la progression peut diminuer et ne représente pas un total depuis le lancement.

Même page et même version créative

Nous comparons les URL enregistrées après retrait des cinq paramètres UTM standard et de la référence de suivi OpenAI oppref. Les autres paramètres, fragments d’URL, sous-domaines et chemins restent distincts. Cela ne vérifie pas les redirections ni les contenus personnalisés. Si une destination manque, si les pages diffèrent ou si l’historique mélange plusieurs versions publiées, une explication remplace le pourcentage. Pour une nouvelle comparaison propre, créez de nouvelles annonces et gardez leurs créations, destinations et paramètres de diffusion stables.

Pourquoi ce n’est ni significativité ni certitude

OpenAI choisit la diffusion selon la pertinence et les résultats attendus. Les réglages publics examinés n’établissent pas de répartition aléatoire. Les audiences peuvent différer ; les impressions répétées ne représentent pas des personnes indépendantes et des dates communes ne prouvent pas une diffusion simultanée. Les nombres agrégés ne corrigent pas ces problèmes. Le pourcentage décrit uniquement le modèle hypothétique, pas la puissance réelle de l’expérience, une valeur p, une probabilité de gagner ou un effet causal. Une puissance de référence élevée peut coexister avec aucune différence observée. Aucun gagnant n’est déduit.

Utiliser les autres résultats

Le taux de clic correspond aux clics divisés par les impressions. Les dépenses représentent le coût média. Les conversions du fournisseur suivent ses règles d’attribution et de reporting ; ce ne sont pas automatiquement des achats vérifiés ou des prospects qualifiés. Les visites et actions sur le site sont observées via les paramètres capturés et le suivi disponible avec consentement. Paramètres manquants, bloqueurs et conversions tardives affectent la couverture. Ces mesures sont liées et ont des dénominateurs différents : les réunir dans un score de confiance compterait plusieurs fois certaines données. Choisissez votre objectif commercial et lisez ces résultats séparément.

Que faire ensuite

Testez une hypothèse créative claire et lisez les résultats avec la qualité des prospects, les dépenses et la couverture du suivi. Un meilleur taux de clic ne signifie pas forcément plus de clients. Aucun score ne change automatiquement le budget ; une comparaison non concluante reste valable. Ne dépensez pas davantage uniquement pour augmenter cette estimation. Une expérience contrôlée nécessite aussi une répartition aléatoire validée, un objectif défini, un plan d’échantillonnage adapté et des règles d’arrêt.

Pourquoi les pourcentages élevés demandent plus de données

La courbe découle du calcul de puissance, pas d’une barre de progression arbitraire. Ces repères arrondis supposent que les deux groupes disposent au moins du nombre indiqué d’impressions admissibles. Un taux observé plus bas, une amélioration réelle plus faible, des expositions répétées ou un suivi incomplet peuvent rendre ces hypothèses inadaptées. Sous le seuil de validité de l’approximation, un statut remplace le pourcentage.

Puissance de référence	Impressions par annonce
50 %	3 794
80 %	7 750
90 %	10 374
95 %	12 830
99 %	18 138

Calcul reproductible

Soit n le plus petit nombre d’impressions admissibles, a = 0,01, b = 0,015, p = (a + b) / 2 et Φ la fonction de répartition de la loi normale standard. Nous utilisons la variance groupée sous l’hypothèse nulle et non groupée sous l’alternative, avec z = 1,959963984540054. C’est l’approximation normale documentée par statsmodels pour deux proportions indépendantes. La différence observée entre annonces n’entre pas dans le calcul.

s₀ = √(2p(1 − p) / n)
s₁ = √((a(1 − a) + b(1 − b)) / n)
δ = b − a
power = Φ((δ − z s₀) / s₁) + Φ((−δ − z s₀) / s₁)