В 1888 году в Лондоне Холмс мается от скуки, так как отсутствуют заказы, и рассказывает Ватсону о дедуктивном методе. Но наконец-то приходит посетитель – женщина до 30 лет. Она рассказывает, что ее отец – офицер Морстен, вернувшись из Индии в 1878 году пропал из гостиницы и больше она его не видела. В вещах пропавшего она нашла записку со странной картой, где изображено 4 креста и написана фраза “знак четырех”.
Каждый год после того случая кто-то присылает ей по одной жемчужине. А сейчас незнакомец прислал письмо и назначил встречу. В письме было сказано, что с ней поступили несправедливо и он хочет восстановить справедливость. Холмс, Ватсон и мисс Морстен едут на место встречи.
Там они встречают Тадеуша Шолто – одного из сыновей майора Шолто, который служил с офицером Морстеном. Он рассказывает о своем отце, который перед смертью рассказал, как умер Морстен. Шолто привез много богатства из Индии, часто которого принадлежала Морстену. Когда офицер пришел к нему, между ними возник спор и у Морстена схватило сердце, он упал и умер, ударившись о сундук. Майор испугался и спрятал тело. Перед смертью Шолто не успел сказать сыновьям, где можно найти сундук. Позже брат Тадеуша находит у себя на чердаке этот ларец.
Когда детектив и его спутники приезжают к брату, оказывается, что его убили (выстрелив в шею отравленной колючкой). Холмс делает вывод, что два человека выбирались из дома через окно и чердак, захватив с собой ларец. Подключается полиция. Начинается погоня, вследствие которой один из преступников – дикарь – погибает, так как пытается стрелять колючками с отравой, а второго – беглого каторжника Смолла – удается схватить. Ларец доставляют мисс Морстен, но он оказывается пуст. Ватсон рад этому, так как теперь он может сделать предложение девушке.