『완도군지』에 따르면 고려 때인 1077년(목종 10) 탐라(제주) 근해에 일주일간 대지진이 지속된 뒤 바닷속에서 큰 산(섬)이 솟았다고 한다. 고려의 ‘려’자와 상서롭다는 ‘서’자를 따 ‘여서(麗瑞)’란 이름을 붙였다. 그러나 몇 년 전에 여서도에서 발견된 패총이 약 7,000년 전 신석기 시대 유적일 정도로 이 섬의 사람 살이 역사는 길다. 여서도는 외딴 섬이라서 그 전에는 왜구들의 침범이 심했을 것이다. 근세에 사람이 다시 들어와 살기 시작한 것은 1690년대이다. 임진왜란이 일어난 지 100년 가까이 지난 다음에 진주 강씨가 여서도에 처음 발을 디딘 것이다.
‘아름답고 상서롭다’라는 뜻인 여서도는 아직까지도 때 묻지 않은 천혜의 아름다움을 간직한 섬이다. 특히 30~40m 깊이의 바닷속이 훤히 보일 만큼 맑아서 “여서도로 시집가던 새색시의 앞섶이 풀어지며 옷고름이 바닷물에 빠져 황급히 들어 보았더니 옥색으로 물들어 있더라”라는 이야기가 전해질 정도이다.
어종이 풍부하여 낚시 동호인들 사이에서 유명하다. 돌돔, 감성돔, 벵에돔, 벤자리, 돗돔 등 희귀한 어종이 자주 출몰하는 장소로 유명하다. 하지만 환경보호를 위하여 2020년 1월 6일부터 갯바위 및 선상 낚시가 일체 금지되어 낚시꾼들의 황금 어장이란 말도 옛말이 되었다.
곤충 동호인들 사이에서도 유명하다. 범어리여치처럼 전 세계에서 이곳에만 사는 곤충도 있고, 이곳에 사는 곤충들, 특히 여치와 사마귀들은 섬 거대화의 영향으로 다른 지역에 비해 덩치가 훨씬 거대하기 때문이다.
예전 여서도는 ‘문어밭’이라고 불릴 정도로 문어가 뒤덮은 섬이었는데, 해녀들이 그 소문을 듣고 돈 좀 벌겠다고 문어를 잡으러 섬으로 갔다고 한다. 하지만 배편이 없어 한 달간 섬에 발이 묶였고, 문어 팔아 번 돈도 다 쓰고 할 수 없이 섬에 있는 총각들과 동거하며 지냈다고 한다. 그래서 ‘여자들이 들어가면 애 배서 나오는 섬’이라는 별명이 붙었다고.