Les expérimentations en marketing désignent tout test structuré qui permet de comparer l'effet de différentes approches sur le comportement des utilisateurs : tests A/B, tests multivariés, tests de message, tests de tarification, ou expérimentations de produit. La différence fondamentale avec une simple analyse rétrospective est la randomisation : les utilisateurs sont assignés aléatoirement aux variantes, ce qui permet d'isoler causalement l'effet de la variable testée.
Une culture d'expérimentation systématique est l'un des avantages compétitifs les plus durables en marketing digital. Les organisations qui testent continuellement — Amazon réaliserait des milliers de tests par semaine — accumulent une connaissance propriétaire de ce qui fonctionne pour leur audience spécifique, connaissance que les concurrents ne peuvent pas copier directement. Chaque expérimentation, même un test "raté" qui invalide une hypothèse, apporte de l'information utile.
Pour qu'une expérimentation soit valide, elle doit respecter plusieurs conditions : une hypothèse claire et mesurable, une taille d'échantillon suffisante pour atteindre la puissance statistique requise, une durée d'exposition minimale (généralement 1 à 2 semaines pour lisser les effets de jour de semaine), une randomisation propre et un suivi de la métrique principale avec les métriques de garde-fou qui s'assurent que la variante gagnante ne dégrade pas d'autres indicateurs importants.