祖籍溫州，在抗戰期間生於重慶，戰後隨父母先後定居臺灣。大學時期開始思考信仰問題。自臺大物理系畢業後赴美進修，於1964年在美國受洗成為基督徒。次年在校園中成立康乃爾大學中文查經班。1969年獲得康乃爾大學物理學博士學位，其後擔任若歌大學（Rutgers University, NJ）物理系助理教授（1969-73）、並擔任若歌大學查經班主席。此後黃長老曾先後就任匹茲堡大學訪問學者（1973-76）、艾克桑石油公司（Exxon Research Company）液態物理企劃主管（1976-1998）、普林斯頓大學資深研究員（指導博士論文 1998-2009）及普林斯頓神學院訪問學者（2009-2012）。曾獲德國普朗克研究獎（Max Planck Research Prize, 1990）、並獲選為美國物理學會會士（Fellow）。

多年來於世界各地講道傳福音。勤於筆耕，著有《上帝與物理》，《實存的真象》，《無神論的再思》，《苦難的尋思》等等20本書，更多文章見於各刊物。黃長老現任教會長執會主席，是若歌教會創始會員之一。與妻吳期馨育有子女三人，都已成家立業，共有孫兒女八人。