了闽南众多饱学之士，方家大儒，到京师做了官之后，他还常为没能在书院里完成学业而感到惋惜。
在这样的书院就读，费用自是不菲，潘乡为了供五个儿子进书院读书，早出晚归，日夜操劳，为少年时代的潘启树立了良好的自立自强，吃苦耐劳的榜样。
潘启身为家中长子，立志帮父亲分担养家的重担。因见种着家中几亩薄田难有出息，正赶上雍正五年解除海禁，十四岁的潘启就辍学去了海边给人当了船工。
他个子长得晚，十四岁时瞧着也就是十一、二岁的个头，起初他娘不放心他一个人外出闯荡，说什么都不点头，一定要再过两年才肯放他出去。
恰在此时，发生了一件让他终生难忘的事，极大的挫伤了他的自尊心，坚定了他去外面闯出一番名堂的决心。
他不顾母亲的反对，毅然决然的上路了。
至今他还清楚的记得，离家的那天，他只背了一个小小的包裹，怀里揣了几个饼子，还有临行时娘用力塞进他手里的一小串铜钱。
爹娘和几个兄弟一直将他送出村外十几里地，在他一再的恳求下才停住了脚，娘一句话也没有说，只是用长满老茧的手不住的抹着眼角。
他走出了老远，回过头看时，全家人还站在那里，娘一动不动的凝望着她，风吹乱了她的头发……