1840年4月7日，马相伯出生在江苏丹阳北乡马家村。也是在这一天，英国议会投票通过了女王政府对中国发动侵略战争的决议。马相伯父亲马松岩行医为业，他和妻子沈氏都是虔诚的基督徒。马相伯出生一个月后，即被抱到丹徒（即镇江）教堂接受了洗礼，并取教名为若瑟(Joseph)。
马相伯出生后，马家举家移居镇江。不久，鸦片战争爆发。1842年6月，英军进犯吴淞口，侵占上海，又溯江而上攻镇江。城里市民纷纷逃难，马松岩夫妻拖着儿女，逃回丹阳马家村避难。两岁的马相伯刚到老家就发高热，出现抽搐、昏迷。发热第三天开始出疹：他染上了天花。
当时，得了天花只能听天由命。马松岩只好将儿子严密隔离，防止传染。长马相伯五岁、教名为玛尔大的姐姐患过天花，有免疫力，就细心照顾浑身瘙痒、烦躁不安的弟弟，替他剪短指甲，以免抓伤皮肤。马相伯皮肤成批出现斑疹，半个月后才逐渐痊愈，幸亏他脸上遗留的疤痕不多。
不久，清廷在“鸦片战争”中战败，割地赔款后，英军方才撤走。战后，马松岩一家回到镇江。马松岩少年时，因体弱多病而学医，27岁身体康复后，就在镇江行医卖药，他心地非常善良，对穷人常免费送诊，遇有害疮疥痈疽的，亲手为病人洗涤、敷药、包扎。童年马相伯见了便恶心，马松岩却处之泰然。
马相伯的母亲沈氏识文断字，能看圣经，而且是不裹脚的“天足”，平时常周济亲戚朋友，当有人无力还债时，她就将债券烧掉，以免成为他们日后的负担。沈氏生下5个儿子，除老大、老三夭折，长大成人的有老二建勋，老四建常（相伯），老五建忠，和女儿玛尔大。
马相伯5岁入学，8岁时在家塾里正式读书，读天主教经典，也读儒家书籍。父亲请来一位姓陶的先生讲授四书五经。这位陶先生常常为了一个字旁征博引，一讲就是一个时辰，他能把各家对这个字的解释逐句背出来，甚至连那些经学家的名字都能背得一字不错。
一次先生给他讲一篇八股文时说：“这篇清顺治的八股文，曾为嘉庆皇帝赏识，你要以此为楷模。”马相伯忽然好奇地问：“皇帝也懂得八股文么？”教书先生气得胡须直抖：“混帐！胡说。”对他就是一戒尺。马相伯被弄得莫明其妙：“我问得不对？还是不该问？”
马相伯不喜欢儒家经典的八股，却对新奇事物寻根究底。有一段时间，他对天上的明月发生了兴趣。在田地里追月亮，拿竹竿挑月亮都没结果后，他问长辈：“为什么有时只有半个月亮呢？另外半个到哪里去了呢？”遗憾的是，长辈们不是粗暴地呵斥，就是“瞎三话四”地回答“半个月亮被老虎吃掉了”。
出于对私塾生活的厌倦和对未知世界的好奇，1851年，12岁的马相伯瞒过父母，用私攒的几块钱做盘缠，乘坐内河小木船，独自一人离开镇江，颠簸航行十多天，到上海投奔嫁在董家渡附近上海沙船业巨头朱家的姐姐。
到上海后，听说法国耶稣会在徐家汇创设了一所教会学校“依纳爵公学”，马相伯经介绍后进入这所新式学校学习。不久，爆发了太平天国起义，当太平军攻占镇江、扬州时，马松岩全家都搬到了上海。9岁的马建忠也进了依纳爵公学读书。兄弟俩天资聪颖，学习勤奋，深得时任校长的意大利神父晁德莅的喜爱。
马相伯在来上海之前就已经具备了一定的国学功底。进入公学后更是博闻强识，进步神速。晁德莅校长看到后，从马相伯14岁开始，就让他在学校任助教的职务，本校各班的国文、经学都由他来教，这使他从中得到了不少教训和经验。“教然后知困”，他觉得自己的学业比从前更有进步，更加切实了。
1862年，在依纳爵公学修业十年的马相伯，以中国古典文献“优秀”、拉丁文“特优”的成绩，成为晁德莅神父建立的耶稣会初学院第一届修士。初学院专务神工，尤以看护伤病者为日常事工。这期间，马相伯被派遣到苏州、太仓等处救护难民。
由于劳累过度，他得了伤寒，病卧了六十多天，气息奄奄。同伴们已做好准备，为初学院最早一批光荣献身的修士祈祷、祝福。好在马相伯的父亲马松岩闻讯赶到，经过十余天的精心调养医疗，才使马相伯渐渐恢复。家里人吓得半死，他轻松一笑：“有万能的主保佑，大难也死不了。”
初学院期满后，马相伯顺利进入徐家汇神学院大修院学习，修习文学、哲学，兼修自然科学，特别是数学。马相伯一度对数学研究发狂着迷，白天到藏书楼看书，晚上钻研到很晚。他将研究心得和新发现做成笔记，后汇编入120卷的《数度大全》。
1870年，马相伯以“特优”成绩通过十分严格的耶稣会士考试，获得神学博士学位，完成了耶稣会最高层次的教育。他开始在安徽宁国和江苏徐州等地传教。1871年，徐州水灾，马相伯向长兄马建勋要了2000两白银救济灾民。
耶稣会知道后，说未经教会同意擅自使用银两，是犯了教规，将马相伯关在上海耶稣会内“省过”。在淮军办理粮台的马建勋，早就看不惯耶稣会歧视中国修士，得知兄弟被禁后大怒，带了兵卒冲入修道院：“我用自己的钱救中国灾民与你们外国人有什么相干？”教士从没见过这阵势，吓得只好放了马相伯。
1872年，马相伯回到了徐家汇，被任命为依纳爵公学的校长，并兼任教务。他兢兢业业从事学校行政管理和教学安排。新生专读中文，老生兼读法文，还要学习八股文，马相伯师承晁德莅的精神学脉，讲授中国经、史、子、集诸文很深入。他还亲自送学生去应童子试，在他校长任内，学生考中秀才的有60余人。
这引起耶稣会特别是新来主教、会士们的不满。他们怕马相伯把学生变为异教徒，就于1875年调他去管理徐家汇天文台。可两年前创办的徐家汇天文台，设施简陋，只有一架利玛窦时代留下的旧仪器，无法进行研究。于是他专攻数学。他花费一年心血尽全力译著书籍百余卷，名为《数理大全》。
这时，兄弟马建忠已因不满教会对中国教士的歧视而愤然离开耶稣会，投奔了李鸿章。而耶稣会对马相伯也很不放心。1876年，把他调到南京任数理编撰。南京教会的简陋宿舍中，马相伯笔耕不辍。他早已编译完成的《数度大全》，因没人能鉴别，教会中部分外籍教士不赞成印发，译稿逐渐蠹坏。
南京教会在生活方面条件也极差，愤懑的马相伯还对那里糟糕的伙食非常不满。“一个龌龊的外国厨子任厨师，做的饭食简直不能下口，很不卫生。”他感到教会把他送来南京任数理编撰，就是借口排挤他。“多译多著何益？”马相伯对种种不公平的待遇越想越气。
马相伯决定出会入世。1876年，马相伯给与之严重对立的天主教会高若天会长呈上离会申请：“…………我的健康不适合于传教工作；会里还阻断我与家人的交往，又使我昼夜不宁…………事已至此，我不得不说和写出如下的话。我再也不能用劝化世人的方式为我们的宗教服务了。”
马相伯不辞而别，离开了教会。通过兄长的推荐，他来到了山东，任山东布政使余紫垣幕僚，深得余紫垣信任。余紫垣升任山东巡抚期间还曾委托马相伯主理布政使的日常工作。在这期间，他还亲自做媒，介绍马相伯和山东一位书香门第女子王氏结了婚。
第二年，余紫垣委派马相伯担任山东潍县机械局总办。马相伯想改机械局造子弹火药的土法为西法，然而质量提高了，成本也上升了。马相伯上报户部每斤火药需三钱五分。户部批驳下来，说原来每斤只要七厘，现在三钱五分，不准。无奈之下，马相伯写信询问其长兄的朋友户部郎中杨谷山。
杨谷山回信说：“你把‘斤’改成‘磅’重新呈报，我包你批准。”因为“磅”字是满清官吏不了解的。再次上报果然批了下来。马相伯哭笑不得，感慨道：每斤（十六两）三钱五分嫌贵，不批，每磅（十二两）三钱五分倒批了，清政府的官吏糊涂到如此地步。
两年多后，马相伯交卸了山东潍县机械局的差事，又奉李鸿章之命调查山东的矿务。马相伯对李鸿章说，山东并无多少矿产，为什么不派他到山西去调查？李鸿章很无奈地告诉马相伯，山西并非他权力所及。于是，马相伯只好花了半年左右时间，对山东的矿产作了调查。
1881年，马相伯受命随驻日公使黎庶昌东渡日本，出任使馆参赞。后又改任驻神户领事，结识了日本维新要人伊藤博文、大偎重信等人，还考察了日本民俗。大约半年后，因兄长马建勋病危而回国到上海探视，并料理兄长后事。
这期间，马相伯拜谒了路过金陵的李鸿章。办理洋务正缺人手的李中堂当即命马相伯随他前往天津。适逢高丽专使向李鸿章请派马建忠去襄助该国改革新政，李鸿章却离不开马建忠为他出谋划策办理洋务，所以当即指着马相伯对朝鲜使者说：他可以代替前往。于是，马相伯赴朝鲜担任了国王的新政顾问。
当时，朝鲜国王的生父李是应被尊作“大院君”，他利用国王年幼，专制国政达十年；而美貌的王妃闵氏则利用国人对大院君执政期间腐败的锁国政策的不满，声称也要办洋务新政，逐渐夺取了大院君的权力。懦弱的国王夹在闵妃和父亲之间不知所措。
1881年末，马相伯到达朝鲜。他曾努力地帮助朝鲜政府办理“新政”，甚至还主持训练新军。他呼吁朝鲜国王仿照日本的“明治维新”，进行内政改革。
闵妃和国王是当时朝鲜的“亲华派”。马相伯与国王夫妇的关系都很好，他曾建议闵妃送九岁的世子去西方留学，以成为未来能真正领导改革的国王。但此建议却并未被国王夫妇采纳。
当时的朝鲜政府暮气已深。马相伯虽拼命向国王王妃条陈应兴应革事宜，但他们始终口是心非地敷衍搪塞，同样不予采纳。同时朝鲜宫廷的政争却日益白热化，使马相伯想帮助朝鲜振兴的希望很快变成了失望。
1882年7月，亲日的大院君发动政变，大杀闵妃一派官员并囚禁国王父子。清政府闻讯后迅速派提督吴长庆率军进入朝鲜，抢在日军干涉之前擒住大院君，恢复了汉城（首尔)的秩序。
而吴长庆部下的一名小参谋，当时才二十出头的袁世凯，在镇压汉城（首尔）叛乱中显示出才能，并因此官升五级。由于吴长庆与马相伯的长兄马建勋同为淮军将领，交情甚厚，所以很器重马相伯，亲热地直呼在兄弟中行二的马相伯为“老二”，自己则以“大哥”自居。袁世凯看在眼里，便有心奉承马相伯。
但马相伯对袁世凯的态度却是处处公事公办，一点不徇私情，袁世凯有些私欲难以通过马相伯实现，便怀恨在心，他在吴长庆面前诋毁马相伯，说马相伯经常挟妓饮酒，甚至把妓女带回公署过夜。吴长庆为人很正派，平生最讨厌这种事情。他对袁世凯所言将信将疑，所以决心将此事调查清楚。
一天清晨四点多钟，马相伯还在酣睡，吴长庆突然一个人跑到马相伯的住处，直冲卧室。马相伯被惊醒，见是吴长庆，忙起身接待。吴长庆却命马相伯带他到办事处中各房参观一遍，后匆匆离去，弄得马相伯一头雾水，后来才搞清楚事情的原委。
但马相伯那时气概方盛，并没把袁世凯的小动作放在心里。到马相伯要回国时，袁世凯又来求马相伯替自己在李鸿章处说好话，保荐他担任驻朝鲜的商务委员，马相伯答应了。经他推荐，袁世凯果然如愿以偿，从此更加官运亨通。
大院君政变平息后，朝鲜政坛更加险恶。马相伯见在那里已无可作为，便回到国内。他面见李鸿章，报告了自己在朝鲜的经历，表示不想再去那里履职了。接着他又向李鸿章献计献策，力图挽救朝鲜。不想李鸿章叹气道：“大清国我都不保它有二十年寿命，何况高丽？”
从朝鲜回国后，马相伯兄弟又卷入了“招商局事件”。“轮船招商局”是李鸿章创办的近代化企业，但这个官商合办的“新式”企业，其控制者以损公肥私为能事。成立十多年来，经营的扩展与亏损的增加成正比。每年要政府补贴白银八十万两才能勉强维持生存。
李鸿章深知招商局办不好的原因，是没有熟悉西方企业管理模式的人才。于是，1848年，他任命马建忠为招商局会办，主持全局业务，并派马相伯前往国内主要分局检查财务，意在对招商局进行整顿。马相伯调查后写了一篇《改革招商局建议》给李鸿章。
这时，从1883年12月开始的中法战争的炮火，已从越南蔓延到中国境内。法军炮舰要封锁长江口，企图阻断招商局的漕运出路并劫持海轮。在此情势下，马建忠主持商定将招商局转移到美商旗昌洋行名下，用外资企业名义继续营运，等战事过后再由清政府以原价回，但给美商以丰厚的“好处费”。
李鸿章在天津听说此事，不知就里，打电报来询问。马建忠就委托马相伯去天津，向李鸿章汇报为什么要押船的理由。李鸿章这才放心，并为此事上书皇帝解释缘由。
但清廷因反对洋务而结盟的势力，多次上书控告马建忠是“洋夷奸细”，要皇帝传他进京处死。好在皇帝得悉李鸿章的上书后下旨取消了对马建忠的召见，命他返回天津。马建忠和马相伯这才逃过一劫。
1885年6月中法战争结束。马相伯代替马建忠出面，同旗昌洋行谈判，在1886年正式收回招商局主权。但不久，旗昌洋行因过度亏损，将产权卖给了招商局。
1885年10月，清廷决定把台湾府升格为行省，并命淮系将领刘铭传为首位台湾巡抚。刘铭传是马建勋的朋友，得知马相伯学贯中西，便力邀他赴台湾。但马相伯并不领情，认为刘铭传保荐自己，并不是因为自己的学问，而是自己陪他下围棋时输多赢少的缘故。
赴台前，马相伯路过香港至广州，曾向两广总督张之洞献策，设置九龙为商埠，建广州至九龙的铁路以发展外贸，但没得到理会。返回天津后他又向李鸿章提及此事。李鸿章虽很赞赏，但广东是张之洞的辖区，他不便出面，此事搁浅。后来让英国殖民者占了先机，吞并了九龙。这件事使马相伯终生引以为憾。
一个偶然的机会，马氏兄弟在与李鸿章的闲谈中，说起建设海军缺乏经费，他们建议李鸿章向美国贷款，设立银行，这样既可解决海军军费，又可为各项新政筹措资金。于是李鸿章决定派马相伯前往美国办理此事。为此事他还亲自致电当时的美国总统。
于是，马相伯带着包括他外甥朱志尧在内的随从到了美国旧金山。美国总统特许海关对他们的行李按外交代表惯例免检。他们一行人到达纽约时，还受到了总统侍从武官的迎接，场面隆重，得到了国宾般的待遇。
一个偶然的机会，马氏兄弟在与李鸿章的闲谈中，说起建设海军缺乏经费，他们建议李鸿章向美国贷款，设立银行，这样既可解决海军军费，又可为各项新政筹措资金。于是李鸿章决定派马相伯前往美国办理此事。为此事他还亲自致电当时的美国总统。
于是，马相伯带着包括他外甥朱志尧在内的随从到了美国旧金山。美国总统特许海关对他们的行李按外交代表惯例免检。他们一行人到达纽约时，还受到了总统侍从武官的迎接，场面隆重，得到了国宾般的待遇。
李鸿章原定的借款数额是两千五百万两银子，没想到马相伯一到美国，就抵挡不住美国投资者们的热情。一席酒宴，一下子就有二十四家银行表示愿意向清政府提供巨额贷款，总额竟达五亿，而且条件优惠。
这让马相伯很是吃惊。他马上打电报请示李鸿章，李鸿章上奏朝廷，清廷大哗。“清流”派的官僚们怀疑李鸿章是否与“洋鬼子”暗中做了权钱交易，群起攻讦，把李鸿章吓坏了。李鸿章赶紧回电：“办法甚当，而朝议大哗，舆论沸腾，群矢集我，万难照准。”
这下把马相伯弄得进退维谷，哭笑不得：主动提出要贷款，人家积极响应，突然又不守协议，怎么向美国投资者交代啊？马相伯只好先装病不见客，随即悄悄地溜出了美国。这次“贷款事件”深深地刺激了马相伯，使他愤然于清廷外交界的腐败与无常识，指其为“举动荒谬，腾笑列邦，实在罄竹难书！”
马相伯狼狈逃离美国后，没有直接回国，而是跑去了西欧。他到过伦敦、巴黎，在英国曾参观了牛津、剑桥等名校，他开始产生了一种强烈的愿望：要在中国办新型的西式教育，以改变关门主义的思维方式，奠定民主的基础，不然中国就没有希望..
他又去了罗马，在梵蒂冈晋见了教皇利奥十三世，与这位号称“最后一名老托马斯主义（罗马教廷的官方哲学）者”进行了晤谈。这是他一生唯一一次欧洲行，没有肩负政治使命，却在中西方政治文化的实际比较中进行了从容的思考。
从美国返回后，马相伯身心疲惫，他去天津向李鸿章交差，很感慨地向李中堂说：很好的事体被他们弄糟了···这以后清法、清日战争中，中国相继战败，马建忠作为随员之一，陪伴李鸿章去日本签署了丧权辱国的《马关条约》···清帝国的统治摇摇欲坠。
也就在这期间，马相伯的妻子和一个儿子去山东老家探亲，不幸遭遇海难而去世。1895年他的母亲又去世。十分虔诚的母亲对两个儿子离开教会一直耿耿于怀，她临终前对马相伯说：“我儿子是神父，你既已不是神父，我也不认你是我的儿子···”
在21年的世俗生涯中，马相伯为之奋斗的“中兴大业”已然彻底破灭，他对民族复兴和社会改造的信心和热情都已跌到冰点，精神痛苦不堪，再加上母亲的临终遗言对他的刺激，他幼年时感染的宗教情怀又逐渐抬头。1897年，在他幼年好友沈则恭神父的斡旋下，马相伯又与教会建立了比较融洽的关系。
马相伯在青浦佘山做了一个月的避静，彻底反省自己与天主、教会的关系。然后，他把尚未成年的一子一女托付给教会保育，自己只身回到了徐家汇，重过隐修生活。其间他协助兄弟马建忠编撰了中国关于汉语语法的第一部系统性著作《马氏文通》，提了许多修改意见，但却不署自己的名字。
马相伯回徐家汇的最大心愿，是要为中国教会翻译一本中文《圣经》，使天主教能通过对《圣经》的翻译进入本地的文字文化。但翻译《圣经》要得到梵蒂冈的授权，由于马相伯没有翻译全本《圣经》的授权，所以他挑选了最重要的《四福音书》来翻译，以讲解经文的方式让中国信徒全面了解《圣经》内容。
19世纪末的中国政局，在甲午后更加动荡。战败的耻辱使当时的有识之士掀起了变法图强的声浪，到了戊戌年间更是达到高潮。马相伯虽然离开了政治漩涡的中心，但变法要人康有为、梁启超等还是频频上门求教，奉他为前辈，并将他的建议付诸实施。这使已归隐的马相伯依然不能置身局外。
在和这些改革者们的接触过程中，马相伯深为他们对西方了解之肤浅而惋惜，他曾劝梁启超认真地学一门外语，以便更全面地了解西方。1898年参与帝国新政的梁启超邀请马相伯主持建立一所译学馆，马相伯欣然同意。不幸的是计划未及实施，“戊戌变法”便失败了，译学馆也成了泡影。
1900年，马相伯把自己的全部家产捐献给了耶稣会，希望耶稣会用这笔钱来兴办学堂。他想要创办一所独立于清朝新学制以外的中国高等学府。他猛烈抨击以往的八股制艺之学是“奴隶之学”，提出做学问办学校都应“力求自主”。但是耶稣会接受了捐款后，办学却迟迟不动。直到马相伯着手建立“震旦”。
震旦学院的具体开办颇具偶然性：当时在南洋公学任教的蔡元培为了解西洋古代文化，请求马相伯教授拉丁文。由于双方都公务缠身，无法安排出一个合适的教学时间，于是马相伯建议蔡元培，从南洋选择一群较优秀的学生组成一个班来教学更有意义。
蔡元培欣然同意，立刻选派二十四名学生到马相伯处学习。马相伯不仅教他们拉丁文，还讲授数学和哲学。越来越多的青年闻讯从云南、四川、陕西、山西等各地赶来求学。其中不乏已在进士考试中名列前茅的“翰林”，和已中举人的“孝廉公”。
恰在此时，南洋公学的学生闹学潮，反对清政府禁止他们读进步书刊。百余名学生集体退学，其中一部分加入了刚要开办的“震旦”。于是，1903年震旦学院（《周易》云：东方属震，属日出之方，故名震旦；法文名Aurora Academy）成立，校舍和宿舍就借用徐家汇天文台的旧房子，还聘请耶稣会士们充任教师。
学院刚开办时，主要是为“培养译才”。马相伯为学院规定三条原则：崇尚科学、注重文艺、不谈教理。他把所有课程分为文学（Literature）和质学（Science），课程重心放在语言、数学、哲学等科目。在教材的选择上马相伯是“非名家作品不取”，英语采用莎士比亚作品，拉丁文直接采用西塞罗的演讲词。
在震旦学院，教，注重指导门径；学，力求启发学生独立研究问题的能力。马相伯还训练学生口头表达能力，每周日举行演讲会，由一位学生演讲，其他学生评论。震旦对学生的选择也很灵活，还免除贫寒而学业出色学生的学费，如被马相伯收留的、因反清而被当局通缉的于右任，便是学、膳、宿费全免。
在震旦，马相伯采取了全新的行政管理方式：由学生选出几位代表组成一个委员会以承担学校的所有管理工作。马相伯自己担任总教习，学校的所有成员享受着自治自主。马相伯的愿望是将学院办成一种学者自由问学的机构，一个柏拉图式的“学园”(academy )o
震旦学院在马相伯的主持下，校务蒸蒸日上。然而就在此时，耶稣会开始了对学院的干涉。由于校舍和教师的来源主要靠耶稣会的支持，耶稣会便利用他们与学院的关系，企图夺取这所学校并把它变成耶稣会式的。他们首先取缔了学生自治管理制度，取消马相伯的主管权，并重新安排了僵化刻板的课程体系。
此外，耶稣会还强烈反对学生参加反对清政府的活动。而对学生们而言，鸦片战争以来的种种耻辱记忆犹新，他们反对清朝的腐败专制，也仇恨西方的入侵。因此，耶稣会迫使学生就范的高压手段，使学生们相信耶稣会士们是在恢复马相伯所指斥的“奴隶之学”。冲突不可避免地发生了，震旦学生集体退学。
马相伯基于自己的教育背景，很欣赏建立在人文学科和宗教双重基础上的耶稣会教育，但当他想汲取这种教育的长处并使之本土化时，却遭到耶稣会友的攻击。耶稣会的纪律使他必须服从教会，而他又坚持要追求耶稣会教育的本土化，因为“中国的情形与西欧各先进国不同”。于是，他只好“无病而入医院”。
然而，马相伯很快决意冒再与教会决裂的风险，同意学生请求重组学校，创办了“复旦公学”。社会各界大力声援，严复也出面与马相伯一起作为复校的发起人；学生们则将原震旦公学的器具、标本、书籍等，甚至校牌都席卷而走。他们将新校名定为“复旦”，既有对新学校像朝阳那样的祝愿，也有光复震旦的意思。
他们找到已闲置的原吴淞提督行辕空址，由马相伯向昔日旧交的两江总督周馥要求拨充校舍，周馥马上同意，还资助了复旦两万两银子做经费；严复也出面约集沪上著名士绅向社会发出《复旦公学募捐公启》，筹措资金。1905年9月，复旦公学终于建立。除前震旦学生外，又招收部分新生，众人依旧推举马相伯为校长。
复旦开办时，正值清末立宪运动兴起，马相伯正是立宪的活跃人物，于是校董的名单上便出现了严复、萨镇冰、熊希龄等主张立宪政治和实业救国的人物，他们影响了复旦的办学方针和价值取向。更由于复旦初创时校舍经费的匮乏，又不得不求助于清朝官方，使得摆脱了天主教会的复旦，又落入了官绅的控制。
从震旦到复旦，马相伯始终没能找到不受外来干涉地研究中西学问的园地。因此1906年马相伯就离开了复旦，1910年才重新回校担任校长。不久武昌起义爆发，吴淞的复旦校舍被“光复军”司令部占据。马相伯只好带着学生辗转无锡。局势稳定后，经马相伯多处奔走，才使复旦得以在上海的李鸿章祠堂复校。
1912年民国建立、南北议和后不久，73岁的马相伯受聘担任袁世凯的总统府高等顾问。袁世凯与马相伯是在朝鲜时的故交，马相伯一直讨厌袁世凯，但袁世凯却仍想利用马相伯。在此期间，马相伯坚决反对把“孔教”作为“国教”，也不理会袁世凯学术依附政治的要求，而为建立独立的中国人文学院而奔走。
马相伯到北京后，教育部长蔡元培请他临时执掌北京大学。当时北京聚集着大批名流学者，马相伯就开始筹划建立一所仿照法兰西科学院的中国人文科学院，即“函夏考文苑”，是国家最高层次学术组织。马相伯认为考文苑的任务是“作新旧学”，建立起学术标准、学术权威、学术统一，和教学体系的规范化。
然而“考文苑”计划超越了当时人们的理解力和时代的社会条件，而风雨飘摇的袁世凯政府更多地关注其政权的稳定，和个人称帝野心的实现，不可能对文化建设和发展真正感兴趣。所以，尽管马相伯的计划合理而科学，还有章太炎、梁启超这样的学者支持，“函夏考文苑”计划还是未经推行便流产了。
马相伯对创建一所与西方大学齐头并进的大学的理想矢志不渝。他又联合著名天主教人士英敛之向教宗庇护十世倡议，在北京建立一所天主教大学。迟迟得不到教宗答复后，英敛之在北京香山开办了“辅仁社”即后来的“辅仁大学”，已回上海的马相伯时时关切辅仁社，在学术上多方协助英敛之。
回到上海的马相伯已经年近八十，而建立不久的民国再度公开分裂，在北京和广州出现了两个国会、两个政府。马相伯在南北对峙中不支持任何一方，认为在挽救中华民国这点上双方都不行。他始终都把自己看作民国公民，用普通公民的尺度来衡量民主共和制的问题和前景，写下了《民国民照心境》的长文。
此后的十年间，从五四运动到国共内战，灾难深重的中国政治如走马灯般变幻着城头的大王旗，百姓生灵涂炭。阅尽沧桑的马相伯对此已心灰意冷。他退隐修真，讨厌听闻时事，连报纸也不看。他幽居在上海徐家汇一所教会孤儿院内，生活由震旦大学补助，平时除宗教书籍以外，会翻看一些科学刊物。
然而，动荡的时局再次把马相伯推到了前台。1931年，强占东北的日军发动了九一八事变，并建立由亡清末代皇帝溥仪为君主的“满洲国”，激怒了全中国人民，隐修已12年的马相伯也怒吼了！他立即同意出任支援东北抗日义勇军的协会领袖。92岁的他投入了紧飞的救亡运动。
他亲自挥毫作榜书、对联义卖，共得10万元，全部支援抗日义勇军。他先后发起组织江苏国难会、不忍人会、中国国难救济会和全国各界救国会等爱国救亡团体，被公认为救国领袖、爱国老人。在他家里召开救国会第二次执委会时，他特地写了“耻莫大于亡国，战虽死亦犹生”联语，与与会者共勉。
马相伯严厉谴责日本侵略，还积极参与组织救援难民和抗日伤员的活动，并且发表宣言和广播演说，追究引狼入室的责任，声讨对日不抵抗的祸首，呼吁在国内实行民主改革。他和政界元老章太炎、熊希龄、沈恩浮等不断通电批评国民党的专制、腐化、贪污，警告蒋介石政权若不悔罪救国，将会被人民革命所推翻。
1932年，马相伯加盟了宋庆龄、蔡元培等建立的“中国民权保障同盟”，1935年又出任沈钧儒、章乃器等组织的上海各界抗日救国会的名誉领袖。马相伯极为赞许共产党的爱国诚意，呼吁“兄弟阅于墙，外御其侮”，还说蒋介石“委员长做了这许多年，失地失了不少了，再做下去，恐怕要失得差不多了”。
马相伯的言行使蒋介石非常恼火，他对于右任说：“你的先生闹得实在太凶了！”于右任不得不请天主教南京教区新任主教于斌出面，邀请马相伯移居南京帮办教务。1936年11月22日，马相伯离开土山湾前往南京。孙夫人宋庆龄特来送行，并叮嘱马相伯家人千万照顾好老人：“老先生是国宝啊！”
刚到南京，上海各界抗日救国会的领导人沈钧儒、章乃器、王造时等七人被南京政府以“危害民国”罪逮捕入狱，对此马相伯极为愤慨，他与宋庆龄等发表宣言为“七君子”辩护，愿以自己的头颜担保“七君子”无罪，并发起全国签名运动，终于使“七君子”得到释放。出狱后，“七君子”和杜重远一起前往看望了马相伯。
七七事变后，马相伯发表了《钢铁政策》的演说，力主抗战到底，并被任命为国民政府委员。1937年8月，淞沪抗战失利，十月，应冯玉祥和李宗仁邀请，马相伯全家由南京避居桂林。刚住了一年，广州沦陷，桂林也危在旦夕。时任国民政府监察院长的于右任请求老师移居更远的后方——昆明或者重庆。
当时西南地区交通非常困难，马相伯一行不得不假道越南前往目的地。马相伯这位已经99岁的老人坚持不肯走出国境，陪伴他的家人只好对他隐瞒实情。当他们到达越南谅山时，马相伯的身体已极度衰弱，只好留居在那里。直到去世，马相伯始终不知自己已身居外国。
1939年4月6日，马相伯已经虚岁一百了。这位曾亲身参与中国近现代政治达六十五年的老人，被著名诗人柳亚子赞为“一老南天身是史”。当时的抗日后方重庆等地为他的百岁生日举行了盛大的庆祝活动，国民政府对他发布了褒奖令，政府高级官员和各政党领袖纷纷致电向他祝贺。
1939年11月4日，马相伯在越南谅山去世，临终前还念念不忘祖国安危，在昏迷中喃喃要知道抗战的“消息···消息···”。重庆政府和各界人士为老人举行了隆重的吊唁活动，身在延安的毛泽东、朱德、彭德怀也发来唁电：“老人星黯，薄海同悲，遗憾尚多，倭寇未殄，后死有责，誓复国仇，在天之灵，庶几稍慰。”
马老一生立学，欲振兴中华，却屡屡失败。面对国家衰亡的境遇，他曾经十分感慨地叹息：“我是一条狗，叫了一百年，也没有叫醒中国人！”他一生坦荡，“此心光明”。正如他的弟子、国民党元老邵力子所言：“相伯先生的精神，正是我们中华民族的精神。相伯先生所以能享天年，中国所以永存于世界，都在此。”
