字少潜，湖南省湘乡县悦来二坊大冲（今应属泉塘镇湖山下湾一带）人，后迁居莲华屋堂（今铃子桥附近）。清末湖南法政学堂主持人，船山学社董事长。参加湖南末届（1902）乡试，以《理财论》等几篇策论得中举人。1903年出版《历代政要表》，并被选派赴日本早稻田大学法政科留学，编译中国最早的《财政学》和《殖民政策》教材。1906年返国，开创并主持湖南法政学堂和法政专科学校（湖南大学法科和行政科的前身）。后任职中华民国财政部赋税司。胡子清是中国近代财政学和公共管理教育开创者，近代法政教育的先驱。与李希圣是儿女亲家，李希圣的儿子李代永娶了胡子清的女儿。