Ne «i due libretti sulla penitenza» che Ambrogio scrisse nell'ultimo quarto del IV secolo (Ambrogio, Commento al Salmo 37 1), confluirono l'aspra polemica con i Novaziani (sostenitori di un inflessibile rigorismo morale) e un'esortazione alla penitenza che il vescovo pensò per i suoi fedeli della Chiesa di Milano. Si tratta di un documento di grande interesse perché, oltre a documentare l'intensità del dibattito ecclesiale e a offrire uno spaccato sulla prassi pastorale della penitenza, lascia trasparire, come in filigrana, una sorta di riflessione autobiografica di Ambrogio stesso che ascrive alla misericordia di Dio nei suoi confronti l'essere passato dall'esercizio severo della giustizia, amministrata nelle vesti di giudice, all'abito della compassione proprio del ministro della Chiesa.