Tarinan ”Sign of Four” -tapahtuman tapahtumat tapahtuvat Lontoossa vuonna 1888. Tilausten puutteesta johtuvan pakkotyövoiman aikana tunnettu etsiväkonsultti Sherlock Holmes, joka asuu Baker Streetillä 221-6, yhdessä ystävänsä Dr. Watsonin kanssa, suunnittelee häntä. hänen deduktiivinen menetelmä, jota hän käyttää rikosten ratkaisemisessa. Sherlock Holmes on vakuuttunut siitä, että tarkkaavainen henkilö pystyy todistamaan Atlantin valtameren ja Niagaran putouksen olemassaolon loogisilla johtopäätöksillä, vaikka hän ei olisi koskaan nähnyt niitä aikaisemmin eikä kuullut niistä mitään. Pienimmät yksityiskohdat ja tosiseikat on syytä huomata, koska ne voivat antaa korvaamattoman panoksen tapahtumien, ihmisen luonteen ja rikoksen olosuhteiden kokonaisvaltaisen kuvan palauttamiseen.
Koska Sherlock Holmesilla on loistava etsivä, hänellä on tietosanakirjallista tietoa rikollisesta kroonikosta ja kemiasta, soittaa viulua hyvin, hänellä on erinomaiset miekkailu- ja nyrkkeilytaitot, hänellä on hyvät kokemukset geologiasta, anatomiasta, kasvitieteestä, hänellä on poikkeuksellisen suuri näyttelijäkyky, mutta kirjallisuuden alalla filosofia, tähtitiede, hänen tietämyksensä on nolla. Tuntina, jolloin hänellä ei ole mitään tekemistä, hänet tarttuu tappavaan tylsyyteen ja hän löytää lohtua morfiinista ja kokaiinista.
Dr. Watson, entisen sotilaslääkärin Sherlock Holmesin ystävä ja seuralainen, joka palveli Englannin armeijan kanssa Intian sodassa Afganistanin kanssa ja joka oli haavoittunut tässä sodassa, asuu Holmesin kanssa samassa huoneistossa ja on kronikirjaaja kaikista tapauksista, joita hänen ystävänsä paljasti.
Sherlock Holmesin suureksi iloksi hänen väliaikaisen toimettomuutensa keskeyttää tietty neiti Morsten, joka on kaksikymmentäseitsemänvuotias, hengellisellä ja ystävällisellä kasvollaan, todistaen sielun jaloudesta ja myötätunnosta. Hän kertoi etsivälle hänen elämänsä äskettäin tapahtuneista outoista tapahtumista ja pyytää häneltä apua. Lapsuudessa hän menetti äitinsä. Isä, joka toimi upseerina Intiassa, lähetti tyttärensä pankkitaloon Englantiin. Vuonna 1878, eli kymmenen vuotta sitten, hän saapui Englantiin, kuten aiemmin ilmoitettiin sähkeessä. Kun Miss Morsten saapui hotelliin, hän huomasi kuitenkin, että hänen isänsä oli kadonnut yhtäkkiä. Hän ei palannut seuraavana päivänä, ei koskaan palannut uudestaan. Sitten, vuodesta 1882 lähtien, hän yhtäkkiä alkoi vastaanottaa joltakin vuodelta yhden erittäin kauniin ja suuren helmen. Ja päiväksi, jolloin hän vieraili Holmesissa, hän sai kirjeen, jossa häntä pyydettiin saapumaan ilta Lyceum-teatteriin sanomalla, että häntä oli kohdeltu epäoikeudenmukaisesti ja että joku halusi korjata tämän epäoikeudenmukaisuuden.
Sherlock Holmes ja tohtori Watson menevät ilmoitettuun paikkaan hänen kanssaan. Ennen lähtöä hän näyttää Holmesille kadonneen Morstenin tavaroista löydetyn omituisen huomautuksen, joka kuvaa jonkin huoneen suunnitelmaa, jossa neljä ristiä on maalattu peräkkäin samassa paikassa, ristipalkkien ollessa kosketuksissa toisiinsa ja pretensiivisella allekirjoituksella: "neljän merkin". Tapaamansa henkilö vie heidät taksissa etelään Lontooseen. Siellä he tapaavat pienen punatukkaisen miehen, jolla on kiiltävä kalju pää. Osoittautuu, että hän on yksi kuusi vuotta sitten kuolleen majuri Sholnon, Tadeusz Sholto, kaksospojista. Hänen isänsä ja Miss Morsten palvelivat kerran yhdessä Intiassa siirtomaajoukkoissa. Siellä salaperäisesti varakas majuri Sholto erosi yksitoista vuotta sitten ja palasi Englantiin rikkaalla itämaisten harvinaisuuksien kokoelmalla ja koko alkuperäiskansojen henkilöstöllä. Majuri ei paljastanut aarteiden hankkimisen salaisuutta ja sitä, missä niitä pidettiin hänen kuolemaansa saakka. Hän tunnisti naisen lähestymisen ja kutsui poikansa häneen ja kertoi heille, kuinka kapteeni Morsten kuoli. Kävi ilmi, että saapuessaan Lontooseen kymmenen vuotta sitten, hän tuli Sholtoon ja heillä oli riita aarteiden jakamisesta, josta Morsten tiesi ja josta puolet johtui hänelle. Hänellä, joka kärsi kipeästä sydämestä, oli kohtaus. Sitten hän kaatui ja saatuaan päänsä aarrearkun kulmaan, hän kuoli. Pelkääessään, että häntä syytetään murhasta, Sholto piilotti kapteenin ruumiin eikä sanonut mitään tyttärelleen, kun muutama päivä myöhemmin hän tuli kotiinsa etsimään kadonneen isänsä. Ennen kuolemaansa hän halusi myös paljastaa pojilleen, missä arkku itse oli piilotettu, mutta ikävän ulkopuolen kauheat kasvot estävät häntä tekemään tätä. Hän kuoli ottaen salaisuuden mukanaan hautaan. Hänen poikansa, tunteen velvollisuutensa neiti Morstenia kohtaan ja halunnut päästä eroon hänestä ainakin tarpeesta, alkoivat lähettää hänelle joka vuosi yksi helmihelmi, jonka isä poisti heti arkkuun. Toistaiseksi Tadeusz Sholto ja hänen veljensä Bartholomew eivät edes tienneet, missä itse rikkaudet olivat piilossa. Päivää sitten, monien vuosien epäonnistuneiden etsintöjen jälkeen, Bartholomew löysi heidät kuitenkin talonsa ullakolle, salaiseen muuriin. Hän kertoi tästä Tadeuszille. Hän, huolimatta veljensä väitteistä, joka peri hänen tarinan isästään, päätti jakaa aarteet neiti Morstenin kanssa. Kaikki neljä menevät Bartholomew'lle. He huomaavat kuitenkin, että hänet tappoi kaulaan heitetty myrkyllinen piikki, että aarteet varastettiin ja että paperi paperilla, jossa oli merkki neljä, jätettiin rikospaikalle.
Pienet yksityiskohdat saavat Sherlock Holmesin olettamaan, että rikollisina on kaksi ihmistä - pakeneva tuomari nimeltä Jonathan Small, jolla on puinen proteesi oikean jalansa sijasta, ja Number One, Andamanin saarten villi, pieni, erittäin vihainen ja ketterä. Sen jälkeen kun hän auttoi Pientä ja arkkua päästäkö köyden alas ikkunasta, hän sulki ikkunaluukut sisäpuolelta ja pääsi ulos ullakolle. Pakenessaan hän sai jalkansa likaiseksi kreosootissa, ja Holmes seurasi snifferikoiran Toby avulla hänen jalansa jokeen. Siellä hän sai tietää, että rikolliset nousivat vuokrattuun Aurora-veneeseen. Kun Holmes aikoo jäljittää veneen palkatun poikajoukon avulla, se hajoaa, hän, pukeutuneena vanhaksi merimieheksi, lähtee etsimään Auroraa ja yrittää löytää hänet laiturilta. Hän onnistuu. Hän pyytää apua Scotland Yard -tarkastaja Ethelny Jonesille, joka tutkii murhan, ja he jahtaavat yhdessä tohtori Watsonin kanssa poliisilaivaa ja tarttuvat rikollisiin arkun avulla. Villiä jahtaaessaan hänet on tapettava, koska hän alkaa ampua takaajaansa myrkyllisillä piikkeillä. Tohtori Watson vie arkkua Miss Morstenille, mutta lopulta käy ilmi, että hän on tyhjä, mikä lääkäri on erittäin onnellinen, koska este, joka hänen mielestään on syntynyt hänen ja nuoren naisen välillä hänen väitetyn vaurautensa vuoksi, häviää. Nyt hän voi tunnustaa vapaasti rakkautensa ja tarjota kätensä ja sydämensä. Neiti Morsten pitää tarjoustaan erittäin houkuttelevana. Pieni, huomannut, että hänestä väistämättä kiinni, heitti korut Thamesiin, koska hän ei halunnut antaa kenenkään muun saada niitä. Bartholomew Sholnon kuolema ei ollut osa hänen suunnitelmiaan, eikä hän tappanut häntä, vaan paha villi ilman Pienen tietämystä. Vakuuttaakseen Sherlock Holmesin ja Ethelney Jonesin tästä, hän kertoo heille tarinan elämästään. Nuoruudessaan hän värvähti sotilaana rykmenttiin, joka lähetettiin Intiaan. Hänen piti kuitenkin pian erota palvelusta: kun hän kylpei Tangassa, krokotiili hirsi jalastaan polven yläpuolella ja hänestä tuli avuton kurja. Sitten, kun hän työskenteli valvojana istutuksessa, maassa alkoi yhtäkkiä mellakka. Pieni kiirehti Agraan ja liittyi Agra-linnoitukseen turvautuneen brittiyksikköön, ja hänelle uskottiin yhden linnoituksen sisäänkäynnin vartiointi ja hänelle annettiin kaksi sikkiä. Kolmantena yönä sikhit vangitsivat Pienen ja kohtasivat häntä valinnalla: olla heidän kanssaan tai olla ikuisesti ikuinen. He kertoivat hänelle suunnitelmastaan: pohjoisissa maakunnissa asui yksi erittäin rikas raja. Hän määräsi osan varallisuudestaan piilottaa palvelija Akhmet Agra-linnoitukseen sodan loppuun saakka, jotta britit pelastavat voiton tapauksessa ainakin tämän rinnan. Sikhien ja Akhmetin seuralainen, heidän kumppaninsa, halusivat tappaa hänet ja ottaa arkun haltuunsa. Pieni päätti liittyä heihin ja vannoi uskollisuuden heille. Kaikki neljä toteuttivat suunnitelmansa. He piilottivat murhatun Akhmetin yhteen vanhan linnoituksen hallista, johon kukaan ei ollut koskaan tullut. Rinnassa oli seinät saman aulan seinässä. Jokainen heistä sai huomautuksen suunnitelmasta, joka symboloi uskollisuuttaan toisiinsa ”neljän merkin” avulla. Myöhemmin heille kaikille kuitenkin tuomittiin murhasta vankeusrangaistus. Rangaistuksen aikana he eivät voineet käyttää varallisuuttaan. Sitten Small sopi vankilaa vartioivien Sholnon ja Morstenin kanssa, että hän kertoisi heille, missä arkku oli piilotettu, he saavat osuutensa ja vastineeksi järjestävät pakoa neljälle vankille. Arkkua käynyt Sholto petti kaikki ja palasi yksin Englantiin. Siitä lähtien pieni alkoi elää vain ajatuksena kososta. Hän pakeni vankilasta ystävän, kotoisin olevan Tongon, avulla. Englannissa hän otti yhteyttä majuri Sholnon palvelijaan ja odotti oikeaa hetkeä. Pieni oli se, joka katsoi ikkunasta kuolevaan majuriin. Odottaen siipissä, hän varasti aarteita. Bartholomewin kuoleman vuoksi hän avasi Tongon köydellä. Se oli tarina Jonathan Pienestä.
Aarteet eivät menneet kenellekään. Dr. Watson sai miss Morstenin vaimon, Ethelney Jonesin, kuuluisuuden ratkaistusta rikoksesta, ja Holmes oli tyytyväinen kokaiiniampulliin.