Na izgradnji Keli zamka je bilo angažovano 70 radnika, uglavnom iz Madrasa iz Južne Indije. Tokom perioda izgradnje izbila je misteriozna bolest i izazvala smrt mnogih zaposlenih. Vilijamu Smitu je rečeno da mora izgraditi hram kako bi se smirili bogovi. Zbog toga je on izgradio hinduistički hram u blizini kako bi motivisao radnike da nastave sa radom, a izgradnja zamka je nastavljena nakon što je hram završen.
Keli zamak predstavlja kombinaciju tri stila - grčko-rimskog, mavarskog i indijskog. Opeke i mermer su iz Indije. Sastoji se od šest spratnih kula, velelepnih stubova i ima i vinski podrum. Takođe je postojalo dvorište na krovu za zabave i lift koji je u to vreme bio prvi u Maleziji.
