金水區(qū)是鄭州市中心城區(qū)，因流經(jīng)轄區(qū)、起源于春秋戰(zhàn)國時代的金水河而得名。

解放前，轄區(qū)屬鄭縣管轄。1948年鄭州解放，鄭縣分為鄭州市和鄭縣，轄區(qū)城區(qū)部分屬市、農(nóng)村部分屬縣。1953年撤銷鄭縣，成立郊區(qū)，轄區(qū)城區(qū)部分歸隴海區(qū)、二七區(qū)和建設區(qū)，農(nóng)村部分屬郊區(qū)。 1960年4月，金水人民公社成立；1961年8月更名為金水區(qū)，區(qū)轄9個街道辦事處和海灘寺農(nóng)業(yè)公社。1987年3月，鄭州市進行區(qū)劃調(diào)整，撤銷郊區(qū)、金海區(qū)，原郊區(qū)的柳林鄉(xiāng)、祭城鄉(xiāng)、姚橋鄉(xiāng)和原金海區(qū)的廟李鄉(xiāng)劃歸金水區(qū)，金水區(qū)的劉砦街道辦事處劃歸邙山區(qū)。