Мечеть в г. Каркаралинске была построена отцом Абая - великого казахского писателя, национальной гордости Казахстана. Кунанбай-кажи – отец Абая, построил ее в 1849 году, когда он занял должность ага-султана всего Каркаралинского уезда. Сначала Кунанбай управлял небольшим аулом, потом управлял волостью, победив на выборах. Постройка мечети мгновенно подняла авторитет нового султана. Она была первая и единственная во всем округе и строилась на его деньги. Знатные старейшины в аулах и муллы не переставали восхищаться мечетью. На ее освящение даже приехал Имам Хасен Саратау.

Здание было деревянное, двухэтажное, высотой 6 м. Ширина 15м, длина 11м. По имеющимся сведениям, Абай часто бывал в мечети и очень гордился тем, что отец ее построил.

Судьба этой мечети была удивительной. В советское время минарет разобрали, здание закрыли, оно пустовало. Потом его использовали под складское помещение. А потом разместили Дом пионеров. Потом опять здание разбирали. Обновили его и отдали верующим уже в 1995 году, накануне празднования 150-летия Абая. Мечеть действует по сегодняшний день.