L'émission a démarré le 30 août 2004 sous forme d'une courte chronique en voix off de Yann Barthès, longtemps chargé de la revue de presse, à la demande de Laurent Bon, alors producteur éditorial du "Grand Journal" présenté par Michel Denisot.
La mince silhouette du trentenaire n'apparaît à l'écran qu'à partir de 2007: Yann Barthès présente son "Petit Journal" en plateau, déjà en veste et cravate, toujours au sein du "Grand Journal" avec "Le Petit Journal Actu" et "Le Petit Journal People".
En 2011, "Le Petit Journal" devient une émission à part entière, produite par Bangumi, la société créée par Laurent Bon et Yann Barthès.
En 2013-2014, il dépasse l'audience du "Grand Journal" et devient la vitrine en clair de la chaîne très relayée sur les réseaux sociaux. Il se spécialise dans le décryptage des discours politiques dont il révèle les fameux éléments de langage.
Son micro rouge devient la bête noire de certains militants, notamment ceux du FN, une de ses cibles favorites.
Depuis une quinzaine de jours, Yann Barthès avait démarré un compte à rebours et rediffusé les meilleurs moments de l'émission.
Voici les derniers instants de l'émission hier soir