Το εξωκλήσι της Παναγίας Κακαβιώτισσας αποτελεί αναμφισβήτητα ένα από τα κύρια αξιοθέατα της Λήμνου. Βρίσκεται στη περιοχή Θάνος κοντά στο ερειπωμένο πια χωριό Ζεματά, 4 περίπου χιλιόμετρα από τη Μύρινα και έχει πάρει την ονομασία του από το βουνό Κάκαβο στο οποίο βρίσκεται. Πρόκειται για ένα από τα πολλά παλαιά αγιορείτικα μετόχια της Λήμνου και τη μοναδική παγκοσμίως άσκεπη εκκλησία, η οποία είναι χτισμένη μέσα σε μια εσοχή που σχηματίζουν τα βράχια του βουνού. Κάτω από το βραχώδες αυτό μπαλκόνι ασκητές ήδη από τα 1305 επέλεξαν το τόπο του Κάκαβου, για να ασκητέψουν και να δοξολογήσουν την Παναγία. Η θέση του ανάμεσα σε επιβλητικά βράχια σε δυσπρόσιτη σπηλιά στην κορυφή του βουνού, είναι εντυπωσιακή και πιθανότατα η θέση αυτή να φιλοξένησε παλαιοχριστιανικό ναό και ερημίτες κατά τη βυζαντινή περίοδο.

Το εξωκλήσι είναι γνωστό από το 1305 όταν περιήλθε στην ιδιοκτησία της Ιεράς Μονής Μεγίστης Λαύρας του Αγίου Όρους. Τότε μοναχοί από τον Άγιο Ευστράτιο, μέλη της Ιεράς Μονής, εγκαταστάθηκαν στο εξωκλήσι για να προστατευθούν από επιδρομές Τούρκων. Οι μοναχοί έχτισαν το ναΐσκο για να λειτουργούνται οι μοναχοί, που ασκήτευαν στις γύρω σπηλιές του βουνού. Όταν οι μοναχοί πέθαναν, καινούργιοι ασκητές δεν ήρθαν και ο τελευταίος μοναχός αποφάσισε να εγκαταλείψει τη Λήμνο και να πάει στο Άγιο Όρος. Πριν φύγει για το Άγιο Όρος, βρήκε ένα Λημνιό μέλος της οικογένειας Μουμτζή από το χωριό Κοντιά, που είχε τη μάντρα του εκεί κοντά και του εμπιστεύτηκε την εικόνα της Παναγίας, το «Ρόδον το αμάραντον». Ο μοναχός ζήτησε από το βοσκό να ανεβάζει την εικόνα στο ναό κάθε Λαμπροτρίτη για να λειτουργείται. Έπειτα ο ασκητής μπήκε στη θάλασσα, άνοιξε το ράσο του, το οποίο έγινε βάρκα και έφυγε για το Άγιο Όρος. 

Σήμερα, το εξωκλήσι λειτουργείται κάθε Λαμπροτρίτη (την Τρίτη μετά τη Λαμπρή), οπότε και μεταφέρεται σε αυτό η εικόνα της Παναγίας Κακαβιώτισσας. Σύμφωνα με την παράδοση, η εικόνα δόθηκε από τον τελευταίο μοναχό στο μετόχι σε κάποιον ξωμάχο, απόγονοι του οποίου είναι η συγκεκριμένη οικογένεια. Τις υπόλοιπες ημέρες του χρόνου το εξωκλήσι αποτελεί ένα τόπο περισυλλογής και προσευχής για ντόπιους αλλά και για τους εκατοντάδες επισκέπτες.

Η πρόσβαση στο εξωκλήσι γίνεται μέσω ενός μονοπατιού μήκους 1.300 μέτρων που οδηγεί στη κορυφή του βουνού Κάκαβου. Η διάρκεια πεζοπορίας είναι περίπου 40 λεπτά ανάλογα με τη φυσική κατάσταση του καθενός. Η διαδρομή είναι αρκετά εύκολη και η θέα προς το κόλπο του Μούδρου εντυπωσιακή. Είναι ένα από τα αξιοθέατα του νησιού που αξίζει να επισκεφθείτε όταν βρεθείτε στο όμορφο νησί του Βορείου Αιγαίου.