1909年8月26日生于湖南省醴陵县北乡严家冲一户贫苦农民家庭，7岁时随父母逃荒到湘南常宁县水口山。13岁到铅锌矿当童工，积极参加工人的罢工斗争，1925年5月加入了中国共产主义青年团。
1926年，湖南革命形势进入高潮。耿飚同志按照党的指示，同其他同志一道，从敌人的兵工厂秘密运出一批枪支，武装水口山工人赤卫队，开展革命武装斗争。不久受党派遣回醴陵，组建并率领农民赤卫队参加醴陵暴动和十万农军攻长沙。在党的组织和革命力量遭受严重损失后，他几经辗转，于1928年4月回到浏阳，找到党的组织，并担任浏(阳)、醴(陵)游击队队长，积极开展游击斗争，配合主力红军作战。1928年8月，转为中国共产党党员。
1930年9月，率领游击队参加红军，历任红1军团第3军9师参谋、师干部教导队队长、作战教育科科长。1933年春，任红1军团第2师4团团长。先后参加了中央苏区历次反“围剿”和漳州战役等重大作战。他机智果敢，英勇善战，率领部队打了许多硬仗、恶仗。红军长征中，他率部担任第2师前卫，攻克古陂，激战九峰山，夜渡潇水河，奔袭道州城，血战湘江边，沿途斩关夺隘，屡破强敌，有力地掩护了中央纵队和主力红军突破敌四道封锁线。红军进入贵州境内后，他率部在江界渡口强渡乌江，首夺天险娄山关，为中央纵队和大部队开辟前进通道。
1935年1月遵义会议后，任红1军团第1师参谋长，率部参加四渡赤水、再克遵义、南渡乌江，从云南境内巧渡金沙江等重要战役战斗。继又率部通过彝族地区，抢渡大渡河，配合兄弟部队夺占泸定桥，使中央红军再次摆脱险境。红军长征抵达陕北后，他率部参加直罗镇战役和东征战役。在攻打甘泉时颈部负重伤，仍坚持指挥战斗。1936年6月入抗日红军大学学习，同年12月任红四方面军第4军参谋长。
抗日战争时期，任八路军第129师385旅参谋长、副旅长兼副政治委员，率部驻守陇东，保卫陕甘宁边区。1941年7月入延安中共中央党校学习。1944年9月任晋察冀军区副参谋长兼联络部部长。1945年8月，他指挥部队向盘踞在张家口的日伪军发起进攻，一举收复被日军占领多年的这座塞外重镇。抗战胜利后，1946年1月至8月任北平军事调处执行部中共代表团副参谋长兼交通处处长。
解放战争时期，任晋察冀野战军参谋长。先后参与组织了正太战役、青沧战役、保北战役。在战略进攻阶段，他参与指挥了著名的清风店战役、石家庄战役。1948年5月任华北军区第2�