吴锡豪出生于广东省汕头市潮阳区，20世纪60年代初移居香港，在石硖尾开字花档起家。之后改为贩毒，在60年代后期至70年代初期贩卖毒品超过30吨，价值3亿元以上，被称为香港毒贩“四大家族”之一。其集团更与香港警队内高层贪污警察勾结，同时亦牵涉杀人等严重案件。
香港黑帮有四大派系，分别是“十四K”、“和胜和”“四大”“潮州帮”，而其中潮州帮（潮汕帮）又有“新义安”“福义安”“义群”“敬义”等几大分支，吴锡豪便是“义群”的领导人。吕乐就曾指说新义安、义群、十四K、和胜和为当年的黑道四大家族，吴锡豪势力可见一斑。
1975年被判三十年徒刑，整个字头因众多骨干被捕而元气大伤，随之衰落。据某研究香港黑社会的书籍统计，到了20世纪80-90年代“义群”人数已经降为千人左右。
