Il Commentario filosofico di Bayle è uno dei grandi testi che hanno fondato le teorie sulla tolleranza religiosa, e questo settanta-ottant'anni prima di Voltaire. Bayle lo scrive in un momento drammatico, a ridosso della revoca dell'editto di Nantes che aveva garantito, almeno teoricamente, uguali diritti fra cattolici e protestanti. Con questo gesto, nel 1685 Luigi XIV riavviava una politica persecutoria nei confronti dei protestanti. Bayle, già prudentemente riparato in Olanda, veniva a sapere dell'uccisione del fratello. L'anno dopo inizia a scrivere il Commentario. Dunque il suo trattato è sicuramente un libro teorico, ma pensato a tamburo battente nel vivo delle più accese e feroci controversie. Il fuoco centrale del libro, detto un po' in soldoni, è l'affermazione del diritto di sbagliare. Quella che viene chiamata la «coscienza errante» ha il diritto di persistere nel suo errore e non può essere forzata a venerare ciò che le appare una falsità. Questo vale per la diatriba fra cattolici e protestanti, ma vale per qualsiasi credo religioso. Ognuno può pensare che l'altro sbagli, ma deve rispettarne la libertà di coscienza. Per fondare il suo discorso Bayle contesta l'interpretazione capziosa di un famoso passo evangelico, usato dai religiosi integralisti per autorizzare le conversioni coatte, e confuta due lettere di sant'Agostino in cui viene giustificata la persecuzione degli eretici.