1991年，硕士毕业于北京大学
计算机科学技术系，在软件专业主攻计算机网络方向，获得硕士学位后留校进行科研教学工作。其间，参与
北京大学校园网的规划和建设；在国家自然科学基金委员会重点项目“
多媒体、多功能、多语言电子邮件系统”的研制项目中负责“多功能”部分的设计和开发，实现了X.400电子邮件系统和
FAX电信系统的互通以及符合LDAP、DIXIE协议的轻量级目录访问子系统；在“开放系统通信平台——银燕网络支持系统”项目中任技术负责人，所开发的产品-银燕网络支持系统是国内第一款中间件软件产品，已成功地运行于多家企事业单位；主持开发了
贵州省建行储蓄通存通兑系统。
1995年至1997年负责国家重点95攻关项目“大型中英文信息发现系统”的研制开发，作为技术负责人主持开发著名的“天网”中英文搜索引擎，刘建国是中文搜索引擎领域全球最早开拓者之一。在搜索引擎涉及的诸多技术领域有广泛的知识，尤其在
信息检索、
计算机网络技术专业、分布式系统、
高性能计算、
中文信息处理、大规模系统构建与运行等方面有深刻的见解和独到的创新。
1997-1998年在美国
伊利诺伊大学厄巴纳-香槟分校（University of Illinois at Urbana-Champaign，UIUC）
计算机科学系做
访问学者，进行实时系统、
计算机网络、分布式系统等方向的研究。
加盟
百度集团前，刘建国是
北京大学计算机科学技术系的副教授，他牵头指导了多项国家科学基金会及国家计委支持的研究项目。任教期间，刘建国及他的团队开发出许多大规模的软件产品，其中包括中国最早的
中间件产品和中国第一代搜索引擎。
2000年1月加盟百度。主持开发过国内第一个大规模中英文搜索引擎系统（“天网”）、第一个面向消息的中间件产品（“银燕”）。在软件开发管理、
项目管理、部门管理、人员管理等方面有丰富的经验。在百度期间主要负责公司与技术和工程有关的规则、研究和管理，确保百度在中文搜索服务方面居于世界领先地位。
2006年2月7日，
百度集团宣布已经正式任命刘建国为公司
CTO（CTO），此前刘建国为百度技术副总裁。担任百度CTO后，刘建国除了继续领导技术团队之外，还将致力于增强百度产品市场方面的研究、开发和运营工作，进而推动百度产品的不断创新和用户体验的持续提高。
2020年
衡昌烧坊胡润百富榜，刘建国、黄文欢夫妇以41亿人民币财富排名第1353位。
刘建国在
软件工程、研究开发领域拥有超过15年的工作经验，他有着出色的管理才能和丰富的管理经验。刘建国和他带领的团队将扮演关键的角色，担负起
百度集团技术创新、产品创新、服务运营的重要责任，以确保百度带给网民最完美的中文搜索体验。在刘建国的带领下，百度技术部已成为国内技术能力最强的团队之一，为百度成为全球最大的中文搜索引擎并在产业中居于霸主地位做出了杰出的贡献。
“6年前建国是百度的第一位员工，他见证了百度成长为国内最大的搜索引擎的全过程。他领导创建的百度技术团队是中国
高科技领域最优秀的技术团队，也是世界互联网领域最优秀的技术团队之一。他所具备的行业知识、技术专长以及卓越的领导才能都是国内首屈一指的。”（
百度集团董事长兼首席执行官
李彦宏）
“在互联网市场的艰苦岁月中，建国从未动摇过对百度、对自己团队的必胜的信心；在百度扬威国际资本市场的时候，他依然保持冷静的头脑，对团队严格要求。六年来，百度的技术团队历经风雨，在快速成长中建立了完善的流程，吸引了大批优秀的技术人才，培养了我们自己的骨干力量。从而奠定了百度中文搜索市场份额绝对第一的基础。”（百度董事长兼首席执行官李彦宏）
百度总裁助理
任旭阳：也许刘建国留给百度最重要的财富并不仅仅是技术，而是一个科学家的坦诚、务实，“他的这一品格，将对
百度集团产生久远的影响” 。