楠仔湖位于台东绿岛乡的東方，是观音洞地下伏流的出口处，属平坦、整齐的珊瑚礁海岸，无巨大的岩石或海蚀柱。楠仔湖於1978年厂村以後，便无人居住，現在依然可見以咾咕石所建造的石造房屋、鹿寮、猪寮等遺跡，保存了绿岛早期聚落的原始风貌。旅客們來到了这里，还可以前往已被登录為历史建筑的柚子湖遗迹，探访绿岛上保存最为完整的聚落，亦可驱车前往位于楠仔湖北边的牛头山，徜徉于大草原上，欣赏晨间朝阳与日落红霞。
处于绿岛东岸的楠仔湖為马蹄狀的凹入海湾，早期是楠木的盛產地。来到此地，触目可见即为大片平缓的珊瑚礁海岸，在太阳的照耀下微微的闪着光芒。楠仔湖就地形与文化而言，都跟鄰近的柚子湖十分相似，唯一不同的是，虽同為珊瑚礁海岸，但楠仔湖卻無巨大的海蝕柱，腹地也较為宽广，並且因為处于观音洞地下伏流的出口处，因此陡崖上时时有水流泻而下，形成了特殊的景观。
楠仔湖与柚子湖的遗迹同为绿岛最为古老的早期聚落，相传在先民入墾時，由王姓族人分据，在艰辛的开发过程中，自建房屋、养殖牲畜、开垦荒地，过着自给自足的生活。楠仔湖聚落的房屋最早由茅草、木材所搭建，后因应临海的珊瑚礁岩地形，便就地取材，于1943年～1949年间以咾咕石違建材陆续改建，成了现今我們所见到的特殊的石造房屋遗迹。但是由于环岛公路的扩建，楠仔湖和柚子湖聚落在1976年之后，纷纷往公馆村迁移，甚至迁往台东，至1978年已无人居住，而呈现废村状态。
楠仔湖由于交通不便，因此并非绿岛旅遊的主要景点，跟已列为历史建筑的柚子湖聚落相比之下，或许不那么完整，但也正因为如此，在楠仔湖可以看到的是未被破坏的海岸线，以及在风吹雨打之下，逐渐破败卻呈现真实样貌的聚落遗迹。于是在探访了楠仔湖里先人的生活刻痕之后，旅客们不妨爬上鄰近的牛头山，一窺山腰间的燕子洞与栗子洞，感受海蚀洞穴的湿涼气息，更要爬上山頂，在海拔80公尺的高度下，观赏太阳在海平面上的跃升与隐没。