1925年，胥振邦出生在临朐五井镇阳城村一农民家庭。全家16口人，房屋10间，山地5大亩。家中有曾祖母、祖父母、父母及3位叔父母等。他父亲是老大，朴实厚道，勤劳直爽。母亲为人和蔼，少言寡语。
他祖父常说：“忠厚传家远，诗书继世长。”家里每年春节贴的对联也总是这一幅。虽然家境困苦，祖父还是让他三个叔叔读了一点书。二叔师范肄业，给布商当学徒。三叔读书两年辍学务农；四叔高小肄业，年幼在家做些辅助劳动。
胥振邦兄弟姐妹7人，他排行老二。姐姐因病去世，他成了老大。妹妹和五弟因家庭生活贫困，营养不良，先后死去。后来只剩下他兄弟4人。他从小帮母亲做家务，下地干活或捡柴火。
因土地贫瘠，打的粮食不够吃，每年春季青黄不接，难以果腹，都要用树叶、野菜充饥。因营养不良，他年幼时经常生病，还患有严重的夜盲症。一到晚上什么也看不见，即使点上煤油灯也是伸手不见五指，只有手指碰到灯火上时，才知眼前有盏灯。家里看他希望不大，八九岁了也没让他上学。10岁那年，在他一再要求下，才上了本村小学。不到3年，因鬼子侵扰，便辍学务农，每日打柴供全家烧用。
日寇入侵前，他家日日耕作不息，还算勉强度日，也较稳定。日寇入侵后，一切都变了样。
1942年，鬼子和汉奸占领了距他家10里的大埠山和莲花山。这年9月21日到10月1日，鬼子和汉奸清乡困翟荣跃、赵砚田两个连在阳城村一带烧杀抢掠3天，抓民工千余人。他家屋子被翻了个底朝天，仅有的粮食，无几的钱物，牛、羊、猪、鸡被掠一空，还绑走了他母亲，当时母亲怀里还抱着三岁的三弟。全村共绑走70余人，押到小辛庄关了20多天。后来，家里卖了地才将钱凑够，把母子俩赎回。
12月15日，这伙强盗又把他父亲掳去，押在莲花山。直到第二年2月，家中又卖地筹钱才将父亲赎回，历时50天。
祸不单行，腊月二十三，他三叔被国民党兵掳去，押在沂山北七八天，家中又变卖家产将他赎回。
难事未止。1943年6月20日，他父亲和四叔又被汉奸张世秀掳去。父亲被关押35天，四叔被关押84天，后在冷家山战斗中，被八路军解救。
1943年，他25岁的三叔饿死，祖父和二叔全家逃荒他乡。在鬼子、汉奸、顽军的疯狂劫掠下，临朐县成了无人区。为了生存，他们这个大家庭四分五裂，各奔西东。父母领着他兄弟不敢住在家里，躲进了深山老林。
离他家10里的五井镇曾驻扎过八路军的八支队。鬼子“扫荡”时，八支队转移到了沂蒙山的根据地。一次，八支队在上、下五井打死了不少鬼子后撤到沂水境内。那时，国民党的新四师常驻扎在阳城村，名义上是抗日，但当鬼子在五井南门外用炮火攻击阳城村北山头时，他们吓得一枪没放就仓皇逃窜了，枪支、大刀丢了一地。还有的脱掉军装换上老百姓的便服向沂水方向逃跑，丢弃的东西漫山遍野。
胥振邦有个堂叔是放羊的，家境贫寒，衣不蔽体，看到丢掉的灰军装，随手拣了一件穿在身上。鬼子到阳城村“扫荡”时，见他穿着新四师的军装，便将他抓住盘问，三支枪同时对准他的头部，刺刀对准他的胸膛，吓得他面如土色。乡亲们替他说情求饶，才幸免一死。后来，他到东北抚顺煤矿当了矿工，不久便死在煤矿上。
这些事在胥振邦年幼的心灵上打上了很深的烙印，他觉得八路军是真抗日，国民党却背道而驰。
那时，敌强我弱，八路军打的是游击战。阳城村常常是八路军走了，日伪军、国民党又来了，是个“拉锯口”。一天，八路军青年手枪旅从博山方向追击一支外号叫“耳帽头”的顽固派队伍，路过阳城村，有个班住在胥振邦家两天一宿。他们和气可亲，一口一个“小弟弟”地称呼他，极为感人。还给他讲革命故事，讲八路军“三大纪律八项注意”和革命道理，帮他家挑水、劈柴、扫院子。他家天天水满缸，房舍内外整理得井井有条，打扫得干干净净。这些，胥振邦看在眼里，记在心上。他对他娘说：“娘，八路军真好啊。”
1942年，胥振邦17岁了。当时，国民党秦启荣的八支队三天两头来村里抓兵。从18岁到28岁的人都在被抓之列。阳城村的青年人便自动组织起来，在山顶上布岗放哨，只要国民党兵来，就发出信号，大家都跑进山林，让他们一个也抓不着。
这样一来，国民党就驻在村里抓，弄得青年人不敢回家，什么活也干不了。政府曾有规定，学生不在征兵之列，可予免征。因为胥振邦已迫近征兵年龄，为了躲避抓兵，家里人便送他到距家10里路的磨砚池村读高小。在校住宿，一周回一次家。
学校条件很差。全班20余人，住在老百姓家中的一间羊圈里，地上铺点柴草当床。那是间南屋，整天不见阳光，夏天潮湿，冬天冰冷。人多地方小，夜里起来撒尿后，回去就没了位置，只好躺在两人之间的小缝里慢慢挤出一点地方睡下去。
因为潮湿，又洗不上澡，加之家里穷无衣服换洗，不久，班上大部分同学都生了疥疮。胥振邦也不例外，全身是脓包，痛痒难忍。大家都没钱抓药治疥疮，就用土办法治：把松木劈成碎块放在瓦罐里，用点燃的锯末将罐里的松木烤出松油，然后将松油涂在患处，真是疼痛难忍。这个办法的确有点疗效，不过，治好后，不久又复发，就再涂。涂一遍掉一层皮，他就这样折腾了近一年。
他在学校里痛苦地煎熬着，原想可以避开被抓兵的命运。可是，国民党在社会上抓不到兵，就打起了学生的主意，要将学校的学生抓去当童子军。听到这消息，学校罢课，学生一哄而散。有钱人的孩子远走他乡了，而胥振邦这个穷孩子却没处去。
国民党正规军军阀作风严重，经常体罚士兵。为免予被抓入正规军，家里老人托亲友介绍胥振邦到国民党地方部队中当了抄写员。
半年后，这支国民党军与八路军摩擦加剧。1943年6月，在安丘县汪家沟双方发生战斗时，胥振邦被八路军鲁中军区一团解放。
胥振邦年纪小，团政治处主任李政征求他的意见：“你愿回家，给你路费；你愿参加八路军，可以留下。”胥振邦坚定地说：“我留下！”于是，他成了八路军鲁中军区一团一营三连的一名战士。
因胥振邦从小营养不良，又经常生病生灾，个头还不如日本的“三八”大盖枪高，大家都叫胥振邦“小不点”。他的排长叫赵国君，时年40岁，1937年参加革命，为人正直、纯朴，对人热情和蔼，待他像对自己孩子一样。
部队打的是游击战，行军多，有时胥振邦走不动了，排长便帮他拎背包、背大枪。排里登记、统计什么，他都让胥振邦办。每次战斗下来，统计人员伤亡、枪支弹药消耗，和向连部写宿营报告等，排长都让他写。打仗时，排长常把他带在身边。
胥振邦参加八路军时，正是我军最艰苦的时候。部队用的枪是汉阳造、老炮筒，个别的是“大鼻子”，枪支老化，来复线大都磨光，枪口太松，子弹出膛没有劲，有时出膛不远就落地。子弹也很少，每人十几发，一排5发放在子弹袋下面压阵。子弹袋装上秫秸，乍看上去是袋袋装满，可风一吹，弹袋一飘，便漏了馅。
部队规定，敌人不到百米内不准打，打了也补充不上子弹。一次，一名刚从武工队入伍的新战士孙振兴和胥振邦守一个工事，敌人离他们还比较远，孙振兴就开了枪。胥振邦说：“不过百米不要打，打了不给补充子弹，还要挨批评。”他不听，结果敌人还没靠过来就把子弹打光了，却一个鬼子也没打着。战斗结束后，连里开会，他挨了批评，子弹也没补充上。
我军打的是游击战，见了鬼子就打，打了就走。有时一天要打几仗，但从不恋战。常常晚上行军，在丘陵的丛林中歇脚。部队离根据地远，又被敌人封锁，补充弹药、物资十分艰难，主要靠夺敌人的。冬季做棉被、棉衣、袜子用的棉花、布料、羊毛在8月份就发给个人背着，行军作战很不方便，但为了冬季的需要，再累也不能丢。为了不加重老百姓的负担，战斗间隙，战士们都自己动手做衣被、纺线打袜，一切立足于自力更生。
艰苦铸就出钢筋铁骨，战火的洗礼提高了胥振邦的阶级觉悟，还使他的个头长高了许多。行军时，他帮着有病体弱的战友背背包，作战时他冲在前头。到了驻地，他便忙着帮排、连写作战总结，帮不识字的战友写信，常常忙到下半夜，总觉着有使不完的劲。
入伍半年时，他写了入党申请。入伍不到一年，连里选他当了文书。
一天，他的入党介绍人在背后踢了他一脚，胥振邦会意地跟着他走到距连队驻地一里多路的一间草棚子。草棚周围站着岗，里面仅有连队干部、入党介绍人和胥振邦。在那里，举行了他的入党宣誓仪式。从此，他成了一名中国共产党党员。
为了安全，每次开党小组会都是预先选好地点，编好通知暗号，到时挤挤眼，或打一拳或踢一脚，就不约而同地走向集合地点。这样做，主要是防止泄密，避免给党造成损失。
