公务员考试的由来可以追溯到中国古代的科举制度，该制度始于隋朝，并经过唐、宋、元、明、清等朝代的发展和完善，一直延续到清朝末年。科举制度通过考试选拔官员，打破了世家大族对官僚的垄断，为广大寒门子弟提供了进入官场的机会。
现代意义上的公务员考试制度则是在我国改革开放之后逐步建立的。1982年，原劳动人事部下发文件《吸收录用干部问题的若干规定》，将考试作为干部录用的一部分。1987年，党的十三大提出建立国家公务员制度。1988年，第七届全国人大一次会议明确提出，各级政府录用公务员要通过公开考试，择优选拔。1989年，原人事部等六个部门开始试点公务员考试录用。1993年，《国家公务员暂行条例》发布，标志着公务员考试制度的正式建立。
此后，公务员考试逐渐成为选拔国家机关工作人员的主要方式，并发展出一年一度的国家公务员考试（简称“国考”），为广大考生提供了一条进入公务员队伍的重要途径。
