Kehidupan Silver Rayleigh jauh dari kata sempurna.
Silver Rayleigh memiliki masa lalu kelam yang hampir sama dimiliki oleh para Bajak Laut lainnya.
Masa lalu Silver Rayleigh hidup di sebuah pulau dengan banyak kekurangan, untuk bertahan hidup Silver Rayleigh harus mencuri.
Namun, nasibnya berubah saat dirinya bertemu dengan Gold D Roger.
Silver Rayleigh memenuhi permintaan Roger agar mau berlayar bersamanya hingga berhasil mengelilingi seluruh lautan.
Gelar raja kegelapan yang diberikan kepada Silver Rayleigh mungkin berkaitan dengan hidupnya saat ini.
Silver Rayleigh tinggal di kegelapan dan tidak diketahui dengan baik oleh Pemerintah Dunia.
Padahal, Silver Rayleigh hidup dengan bebas di tempat yang dekat pulau milik Pemerintah Dunia, Sabaody.
Meskipun demikian, keberadaan Silver Rayleigh mungkin saja diketahui oleh Pemerintah Dunia.
Akan tetapi, Pemerintah Dunia tidak mau ambil resiko untuk berhadapan langsung dengan tangan kanan raja bajak laut tersebut.