Ghislain serait né à Athènes au début du VIIe siècle. Son nom d’origine franque fait supposer qu’il est issu d’une noble famille gauloise, émigrée en Grèce. 

À la fin de ses études, Ghislain décide de se faire moine basilien et est ordonné prêtre. En 648, il se rend à Rome. Là, il bénéficie d’une apparition de saint Pierre qui lui demande d’aller évangéliser la Gaule et d’y construire une chapelle en son honneur et en celui de saint Paul. 

Ghislain obéit. Il se rend dans le Hainaut et le Cambrésis où il bénéficie de l’appui de saint Amand, évêque de Maastricht, et de saint Aubert, évêque de Cambray. C’est en rentrant d’une visite chez ce dernier qu’il délivre une femme en couches, ce qui lui vaut de devenir le patron des femmes enceintes. 

En 653, saint Amand et saint Aubert consacrent la chapelle de saint Pierre et saint Paul du monastère de Ghislain. À la fin de sa vie, Ghislain a entretenu une belle amitié avec sainte Waudru, fondatrice d’un monastère à Mons. 

On ne connaît pas la date exacte de la mort de Ghislain, probablement entre 681 et 685. À sa mort, son monastère compte 300 moines.