Vi erano insediamenti risalenti al periodo neolitico, dove oggi sorge Heraklion. Si ritiene che sia stato il sito del porto minoico di Knossos, anche se esistono prove molto deboli per confermarlo.

I Saraceni presero possesso della città nel 824 dC e fu rinominata El Khandak, Fortezza con Fossato, quando hanno costruito il grande fossato intorno alla città. La città è stata riconquistata dall'imperatore di Bisanzio nel 961 dopo molti tentativi infruttuosi. Dopo un periodo di governo durato due secoli, questo impero fu dissolto dai Crociati, che assunsero il controllo di Creta. Fu ceduta ai veneziani per 1.000 monete d'argento. Candia, come la chiamarono i Veneziani, fiorì sotto il loro dominio come un centro artistico. Molti artigiani e artisti qui avevano trovato riparo dopo la caduta di Costantinopoli nel 1453.

I Veneziani iniziarono la costruzione del forte nel 1462 e ci vollero più di 100 anni per completarlo. Le mura ricoprivano ben 4 km e sono state costruite in stile triangolare con sette bastioni. Essi hanno anche costruito il porto, nonché altri edifici eminenti. L'importanza strategica è stata dimostrata quando si trovava sotto assedio da parte dell'Impero Ottomano per 21 anni. La città si arrese nel 1669 dopo che 30 mila veneziani e 100.000 turchi avevano perso la vita.

L'occupazione ottomana fu dura per i Cretesi che furono costretti a convertirsi all'Islam. Dal 1820 in poi c'è stata la lotta di resistenza contro i Turchi fino alla loro cacciata. Creta fu annessa alla Grecia nel 1913.

Grazie alla posizione strategica, fu di nuovo oggetto di attenzioni dei tedeschi durante la seconda guerra mondiale con i bombardamenti durante la battaglia di Creta nel 1941. I tedeschi rimasero sull'isola fino al 1945. Dopo la guerra la città fu ricostruita.