海瑞在福建南平县担任教谕，主要职责是管理县学。教谕没有级别，但海瑞如鱼得水。对县学的生员们严格管理，学生们称他为“海阎王”。

海瑞最大的优点是从来不收受学生的贿赂，公道正派，不阿谀逢迎上司，学生们既怕他又敬重他。

一次，延平知府来县学视察，其他人见到知府后赶紧下跪，海瑞则不然，昂首挺胸，站立一旁。他认为，管理教学的官员见了上司不需要下跪。知府很不高兴，却又无可奈何，给海瑞起了笔架山这个绰号。

过了不久，朝廷下派巡按御史来地方视察，总督、巡抚和知府等地方大员一路陪同，到了南平县。南平知县率大小县吏出城下跪相迎，唯有海瑞鹤立鸡群地站立。御史不好发作，拂袖而去，总督、巡抚和知府好不难堪，知县大骂海瑞，他毫不在意，名声大噪。

海瑞无欲则刚，他不想升官，也不想发财，一心管理县学。嘉靖三十七年，徐阶提拔四十五岁的海瑞为浙江淳安知县，连升了六级。他到淳安县之后，延续在南平的做法，严厉整顿吏治，约束部下，为民申冤，废除了二百年灰色收入的惯例，全县官吏仅靠那点微薄的薪水生活，消极怠工。海瑞全然不顾，穿着破旧的官服访贫问苦，在县衙里断案，吃自己种的蔬菜，日子清苦，但悠然自得，认为是自己职责所在。看到知县大人这样做表率，县吏们只好跟着艰苦奋斗。淳安百姓的生活明显好转，幸福指数大大提升。

海瑞善待百姓，对作威作福的官家子弟疾恶如仇。浙江总督胡宗宪的儿子四处游荡，嫌淳安驿站生活差，打骂驿吏。海瑞令人没收了胡衙内的金银，将他痛打一顿，并送到胡宗宪那里，说竟然有人冒充胡衙内到处惹是生非，辱没了大人的名声，特送来发落，让胡宗宪有苦难言，胡宗宪只好说海瑞做的对。