Rumkale Fırat ve Merzimen kıyılarından itibaren dimdik yükselen sarp kayalıklarla çevrili yüksek bir tepe üstüne kurulmuştur. 1838 de Rumkaleyi ziyaret eden Moltke’ye “kayalığın nerede bittiğini, insan eserinin nerede başladığını söyleyebilmek çok zor” dedirtecek kadar doğayla uyumlu mimari özelliğe sahiptir. Kale iki beden halindedir.