湛江市少年儿童图书馆前身为湛江图书馆，创建于1957年，是湛江市建市以来第一家公共图书馆。1984年改为少儿图书馆，成为广东省第一家独立建制的少儿图书馆。1993年6月新馆舍落成，占地面积1200平方米，建筑总面积6300平方米。新馆建设总投资500万元，其中港澳同胞捐资286万元。

湛江市少年儿童图书馆拥有纸质藏书约52万册，电子图书约40万册，设有电子阅览室、图书外借室、报刊阅览室、参考工具书室、小学生阅览室、低幼活动室、小学生图书外借室、青少年文学库、自学室、自助图书室以及办公室、采编部、辅导部、信息技术部等十几个服务窗口和业务部门。

2020年，图书馆再度进行升级改造，先后建成24小时自助图书室、服务大厅、增设了图书自动借还机、文化墙、图书瀑布流、VR科普资源阅读平台、连环画阅读平台。