关达轩被美军俘虏后，和其他志愿军战俘一起被押运到了济州岛。济州岛是韩国最大的岛屿，在韩国最南端的太平洋上，隔着济州海峡，与韩国陆地相距一两百海里。岛上很荒凉，到处都是石头，寥寥无几的灌木艰难地扎根在石头堆里。海风一天到晚刮个不停，海浪呼啸，惊涛裂岸。岛上的居民，主要以打鱼为生。
济州岛上极少庄稼，俘虏营的生活用品主要靠海运。每个人每天能获得一磅面粉或者大米。一个礼拜可以吃一回肉，一人发一筒肉罐头。美国人说，这是日内瓦公约规定的。美军军官住在几栋俘虏盖的二层楼房，战俘都住在帐篷里。帐篷只隔风不挡寒，海风一吹冷得要命，美军就给战俘发了旧毛毯和美军军装御寒。
美国人把中朝俘虏编为联队。关达轩因为是连级军官，被编在第三联队第二大队当大队长，相当于俘虏营长。第三联队联队长是解放战争时川军九十五军的起义军官，曾经被刘文辉送到日本军校深造，毕业回国后，在川军中当团长。联队长见关达轩有文化，又会日语，便把他视为知己，什么事都跟他商量。第三联队被俘人员大部分来自原国民党起义部队，人员思想十分复杂，他们对关达轩这样的解放军南下军官极不信任，经常和原解放军南下指战员发生冲突。关达轩处理这些冲突时感到棘手，很自然地靠向联队长，以便获得支持。
俘虏中很快就分裂成了两派，一派坚决要求返回大陆，这些人大多都是共产党的干部和原解放军老部队的官兵；另一派则坚决要求到台湾去，这部分都是原国民党起义部队中的起义人员。大陆派和台湾派斗争得很激烈。有一次，第三联队里的两派发生了数百人的械斗，还打死了人。