Είναι άγνωστο ακόμη πότε οι Κιμώλιοι εγκατέλειψαν την αρχαία πόλη που σήμερα βρίσκεται βυθισμένη στην περιοχή Ελληνικά και πότε εγκαταστάθηκαν στο σημερινό Χωριό, ο παλαιότερος οικιστικός πυρήνας του οποίου είναι το Μεσαιωνικό Κάστρο (του 14ου ή 16ουαιώνα σύμφωνα με τους ιστορικούς – ερευνητές).
Το Κάστρο έχει σχήμα σχεδόν τετράγωνο και αποτελείται από δύο συγκροτήματα σπιτιών που το ένα περικλείει το άλλο ενώ στο κέντρο του υπάρχει μια μικρή σειρά σπιτιών και μικρή πλατεία όπου βρίσκεται και ο αρχαιότερος ναός του νησιού, αφιερωμένος στη Γέννηση του Κυρίου και τον Άγιο Ελευθέριο (1592).
Τα σπίτια είναι χτισμένα με τη σκληρή πέτρα της περιοχής (σιδερόπετρα) και φέρουν διακοσμητικές λεπτομέρειες από τόφο (πώρι). Τα σπίτια είναι 123 συνολικά, διώροφα, μικρά και φιλοξενούσαν άλλη οικογένεια στο ισόγειο και άλλη στον όροφο.
Ο εξωτερικός τοίχος των σπιτιών του Έξω Κάστρου αποτελούσε ταυτόχρονα το αμυντικό τείχος του οικισμού και για τον λόγο αυτό δεν είχε πόρτες και παράθυρα εκτός από κάποια μικρά ανοίγματα σε μεγάλο ύψος. Σήμερα στην εξωτερική όψη έχουν ανοιχτεί πόρτες και παράθυρα από τους κατοίκους. Ανάμεσα στην εξωτερική και την εσωτερική σειρά σπιτιών υπήρχε στενός δρόμος που χωρούσε μόνο μικρά κάρα.
Το Έξω Κάστρο έχει δύο πύλες: Την «Κάτω Πόρτα» στα νότια που βλέπει στο γραφικό δρομάκι της Αγοράς και την «Πάνω Πόρτα» στο βορειότερο σημείο της ανατολικής πλευράς. Οι πύλες φέρουν χρονολογίες που αφορούν επισκευή τους μετά από πειρατική επιδρομή του 1638, οπότε το Κάστρο πυρπολήθηκε.
Από το 17ο αιώνα ο οικισμός άρχισε να επεκτείνεται εκτός του Κάστρου αλλά η μεγάλη οικιστική ανάπτυξη σημειώθηκε μετά την απελευθέρωση της Ελλάδας από τον τουρκικό ζυγό.
Το Μέσα Κάστρο είχε δύο εισόδους από τις οποίες σήμερα διατηρείται μόνο η μία ενώ τα σπίτια έχουν ερειπωθεί.
Τα τελευταία χρόνια οι κάτοικοι δείχνουν ζωηρό ενδιαφέρον για την ανοικοδόμηση των σπιτιών του Κάστρου, σύμφωνα πάντα με τις υποδείξεις της αρμόδιας Εφορίας Αρχαιοτήτων.