Stednavnet Karby er afledt af det gammeldanske „karke“ for kirke. Historisk set var Karby altid landsbyen med sognekirken på halvøen Svansø/Schwansen

Karby har en kirke i tidlig gotisk stil fra omkring år 1280. Særligt markant er det 24 meter høje tårn med saddeltag. Ikke kun i det ydre, men også i det indre er gudshuset i Karby en ægte seværdighed. Den udskårne prædikestol fra året 1592 stammer formentlig fra Hans Gudewerths billedskærerværksted i Egernførde.

Besigtigelse er i tiden mellem påske og høstfest mulig fra kl. 8 til kl 16. Indtil 1958 var landsbyen osgå tilsluttet jernbanenettet. Toget kørte mellem Kappel og Egernførde. Karby ligger cirka 5 kilometer fra Kappel – til Egernførde er sådan cirka 20 kilometer. Begge havnebyer byder på hver sit eget maritime flair. I Egernførde kan man nyde Østersøstranden, i Kappel roen og fredfuldheden på havnekanten.