富岡新村又稱「漁山新村」或「集岡」、「集興」。當地人也稱「大陳新村」。

民國43年（1954）底，臺海局勢緊張，第二年2月，政府將浙江省大陳等列島義胞17,165人撤退來臺，其中2,600多人分配到臺東縣定居，最初暫居在臺東、卑南、東河、關山、海端、池上等六鄉鎮義胞臨時招待所，後來在美援會的協助下配合義胞職業需要，及臺東縣地理環境條件，建立漁山（富岡）、披山（豐田）、披星（尚武）等三處義胞新村，供義胞永久居住。因為義胞都是漁山島人，故稱為漁山新村，又稱富岡新村。

富岡新村的義胞多以漁業為生，雖然政府補助漁船、漁具，但因臺東海域的海流、漁況與原鄉大陳海域迥異（臺東地區海域多半是洄游性與底棲型魚類），義胞用傳統的撒網、竿釣法難以捕捉，臺灣省政府漁業局雖曾派員前來指導，但因當時指導員對臺東海況了解不足，所以成效有限，因此漁業義胞收入不佳，直到義胞向屏東縣東港籍的漁船請教捕魚技巧才有較穩定的漁獲量。

富岡新村的大陳義胞，其祖先多半是由福建閩南同安縣遷居於山島者，多使用閩南語，與鄰近富岡里本部落居民文化背景相似，生活上很容易融合在一起。（以上內容摘錄自《日出臺東-東海岸文化景觀》，臺東縣政府2009年出版。）