女主人公海絲特·白蘭跟丈夫從英國移居當時尚屬英殖民地的美國波士頓。中途丈夫被印第安人俘虜。海絲特隻身到美後,迫於生活,被一青年牧師誘騙懷孕。此事,被當地虛偽的清教徒社會視為大逆不道。當局把海絲特抓起來投入監獄,遊街示眾,還要終生佩帶像征恥辱的紅色的A字(Adultery:通奸女犯)和站在示眾臺上受審。州長親自主持了對海絲特的審訊,她所屬教區的牧師丁梅斯代爾——一個被公眾視為道德典範的誘騙海絲特的奸夫,也假惺惺地勸說她招出奸夫的姓名。但海絲特寧願一人受辱,誓死也不招供。在遠離社會,遠離人群,受盡屈辱的處境中,海絲特孤苦頑強地生活著,全仗刺繡為生。她生活中的惟一支柱是撫養掌上明珠般的女兒珠兒。海絲特這種忍辱負重、代人受過和不屈不撓的精神,使丁梅斯代爾大為感動,也大受刺激,不久他便心力交瘁地病倒了。而獲釋歸來,一直在暗中偵察底細的海絲特的丈夫羅傑·奇林渥斯醫生,在給丁梅斯代爾治病中,已基本了解到了真情,並欲置丁梅斯代爾於死地。為了逃脫,海絲特跟丁梅斯代爾議定在新市長就職那天,帶上孩於一同乘船到“看不到白人足跡”的地方去。但此事也被奇林渥斯識破,逃脫不成。於是,丁梅斯代爾在新市長就職那天,攜海絲特和珠兒走上示眾臺,當叢宣布了自己誘騙海絲特的事實,並死在海絲特懷抱中。海絲特也從此得到了解放,帶著珠兒遠走他方。若干年後,珠兒長大成人,安了家立了業,而海絲特卻一人再回到波士頓,仍帶著那個紅色的A字,用自己的“崇高的道德和助人精神”,把恥辱的紅字變成了道德與光榮的像征,直到老死。