หลังจากเสร็จจากการทำบุญอัฐิแล้ว เจ้าคุณธรรมโกษาจารย์ ซึ่งมาร่วมงานทำบุญอัฐินี้ด้วย ได้ปรารภว่า หลังสวนนี้สมบูรณ์ดีทุกอย่าง แต่ยังขาดโรงเรียนก็เลยให้จัดตั้งโรงเรียนขึ้นที่โรงธรรมนั้นและได้เปิดทำการสอน เมื่อ พ.ศ. 2442 โดยมี "เจ้าคุณศาสนดิลก" เจ้าคณะมณฑลชุมพร ในฐานะตัวแทนของสมเด็จพระมหาสมณเจ้ากรมพระยาวชิรญาณวโรรส ได้มาตรวจราชการที่จังหวัดหลังสวนและเป็นประธานในพิธีเปิดโรงเรียน เจ้าคุณศาสนดิลก ได้ให้นักเรียนเขียนตามคำบอกในวันทำพิธีเปิดโรงเรียนว่า "โรงเรียนให้ชื่อว่าอุดมวิทยากร"  โรงเรียนจึงมีชื่อว่า "โรงเรียนอุมวิทยากร" ตั้งแต่บัดนั้นมา...
 

โรงเรียนอุดมวิทยากร เปิดสอนตั้งแต่ชั้นมูลถึงประถมปีที่ 3 เป็นสหศึกษา นักเรียนในสมัยนั้นมีทั้งพระ สามเณร และคฤหัสถ์ อายุประมาณ 15-25 ปี และมักจะเป็นผู้ที่รู้หนังสือมาบ้างแล้ว ครั้น พ.ศ. 2456 ได้เปิดสอนตั้งแต่ชั้นประถมปีที่ 1-3 และมัธยมปีที่ 1-3 โดยจัดให้นักเรียนชั้นประถมปีที่ 1-3 เรียนที่ศาลาเล็กด้านในหลังวัด  ศาลาใหญ่ด้านนอกหน้าวัดเป็นของมัธยม เมื่อนักเรียนหญิงและนักเรียนชายมาเรียนรวมกัน ซึ่งล้วนก็เป็นหนุ่มสาว จึงได้จัดซื้อบ้านสองชั้นพร้อมที่ดินของ "ขุนเฟื่องวิธีหัด" ศึกษาธิการจังหวัดหลังสวน ในสมัยนั้นซึ่งอยู่ตรงข้ามกับวัดโตนด ให้นักเรียนหญิงใช้เป็นตึกเรียน และเรียกกันติดปากว่า "โรงเรียนหญิง" และ โรงเรียนอุดมวิทยากร ได้เปลี่ยนชื่อเป็น "โรงเรียนตัวอย่างอุดมวิทยากร" สอนนักเรียนชาย และ "โรงเรียนอุดมวิทยากรอนุกูลสตรี" สนอนนักเรียนหญิง ตั้งอยู่คนละฟากของถนน แต่มีป้ายโรงเรียนว่า "โรงเรียนตัวอย่างอุดมวิทยากร" ตรงบริเวณทางเข้าโรงเรียนชาย

ต่อมาในราว พ.ศ. 2460 เปิดสอนชั้นประถมปีที่ 1-5 และชั้นมัธยมปีที่ 1-6 สาาเหตุที่มีคำว่า "ตัวอย่าง" นำหน้าชื่อโรงเรียนน่าจะเป็นเพราะว่าในสมัยนั้นโรงเรียนต่างๆ ก่อตั้งขึ้นหลายโรง จึงทำให้โรงเรียนอุดมวิทยากร เป็นตัวอย่างแก่โรงเรียนอื่นๆ ดังจะเห็นได้จากมีเจ้าหน้าที่ของจังหวัด เช่นศึกษาธิการจังหวัด และผู้ว่าราชการจังหวัด มาเยี่ยมชมโรงเรียนอยู่เสมอ...

2. ย้ายโรงเรียนจากวัดโตนดมาตั้งในสถานที่ปัจจุบัน และเปลี่ยนชื่อเป็นโรงเรียนสวนศรีวิทยา
ในวันที่ 1 เมษายน พ.ศ. 2475 จังหวัดหลังสวน ถูกยุบเป็นอำเภอขึ้นตรงกับจังหวัดชุมพร ทำให้เรือนจำขับนักโทษ ถูกยุบไปด้วยเพราะได้ย้ายนักโทษไปที่เรือนจำจังหวัดชุมพร อาคาร บ้านพักในเรือนจำถูกรื้อ ยังคงเหลืออยู่แต่เรือนนอนของนักโทษชายกับเรือนนอนของนักโทษหญิง  ขุนวิชาการพิสิฏฐ์ (เนื้อม ถาวรบุตร) ครูใหญ่โรงเรียนตัวอย่างอุดมวิทยากร ได้นำเงินที่ รองอำมาตย์ตรีขุนบูรณวุฒิ (มี สารเกษตริน) ครูใหญ่คนที่ 2 ของโรงเรียนตัวอย่างอุดมวิทยากร ที่ได้จัดชกมวยไทยการกุศลประจำปี มาซื้อที่ดิน และเรือนนอนนักโทษจากกรมราชทัณฑ์ กระทรวงมหาดไทย เป็นเงิน 3,000 บาท (สามพันบาทถ้วน) โดยจ้างช่างชาวจีนจากชุมพร ด้วยเงินหลวงแผ่นดิน (สมัยนั้นยังไม่มีงบประมาณประจำปี) ให้รื้อฝากั้นห้อง เรือนนักโทษชายชั้นบนได้ 6 ห้อง กับห้องที่เป็นห้องครูใหญ่อีก 1 ห้อง ทำบันไดกลาง ต่อมาทำมุขหลังคาคร่อมบันได ทำลูกกรงด้านหน้า ส่วนชั้นล่างโล่งตลอด และทาสีใหม่ ส่วนเรือนนักโทษหญิงดัดแปลงเป็นบ้านพักภารโรง ในปีเดียวกันนั้นเอง ได้เปลี่ยนชื่อเป็น โรงเรียนหลังสวน "สวนศรีวิทยา"

3.รับโอน "โรงเรียนสตรีหลังสวน" มารวมจัดเป็นสหศึกษา
ในปี พ.ศ. 2509 โรงเรียนสวนศรีวิทยา ได้รับโอน "โรงเรียนสตรีหลังสวน" มารวมจัดเป็นสหศึกษา ตามประกาศกระทรวงศึกษาธิการ ลงวันที่ 31 มีนาคม พ.ศ. 2509  แต่ได้รับโอนจริงเมื่อวันที่ 1 มิถนายน 2509 ถึงแม้ว่าการมารวมกันแล้วก็ตามแต่เนืื่องจากอาคารเรียนเดิมไม่เพียงพอที่จะเปิดทำการสอนในบริเวณเดียวกันได้ จึงต้องอาศัยอาคารเรียนของโรงเรียนสตรีหลังสวน (เดิม) เป็นสถานที่เรียนไปพลางๆ ก่อน

4. เปลี่ยนชื่อจากโรงเรียน หลังสวน "สวนศรีวิทยา" เป็น "โรงเรียนสวนศรีวิทยา"
ในวันที่ 5 มีนาคม 2514 โรงเรียนได้รับหนังสือที่ ชพ 52/1457  ลงวันที่ 4 มีนาคม 2514 จากนายอำเภอหลังสวน แจ้งว่ากระทรวงศึกษาธิการอนุมัติให้เปิดสอนระดับมัธยมศึกษาปีที่ 4 แผนกวิทยาศาสตร์ จำนวน 1 ห้องเรียน ตั้งแต่ปี่การศึกาษา 2514 เป็นต้นไป และให้เปลี่ยนชื่อโรงเรียนจาก โรงเรียนหลังสวน "สวนศรีวิทยา" เป็น "โรงเรียนสวนศรีวิทยา"
 

และจากปี พ.ศ. 2514 เป็นต้นมา โรงเรียนสวนศรีวิทยา ก็ได้ดำเนินการ จัดการเรียนการสอนมาเป็นลำดับ มีการพัฒนาในด้านต่างๆ ได้แก่ ด้านอาคารสถานที่ ด้านบุคคลากรทางการศึกษา ด้านหลักสูตรกระบวนการเรียนการสอน และด้านระบบบริหารการศึกษา

ในปีการศึกษา 2541 โรงเรียนได้รับบริจาคอาคารหอสมุดเฉลิมพระเกียรติกาญจนาภิเษก (อาคารศรีสุบัติ) ราคา 6.5 ล้านบาท โดยเมื่อวันที่ 6 กุมภาพันธ์ 2541  คุณขจรเดช คุณจำนูน (ศรีสุบัติ) จารุจินดา  ผู้บริจาค 3.5 ล้านบาท และนายแพทย์ยงยุทธ-แพทย์หญิงสุนันทา (ศรีสุบัติ) พลอยส่องแสง ผู้บริจาค 3 ล้านบาท ได้ทำสัญญาก่อสร้าง อาคารหอสมุดดังกล่าว การก่อสร้างเสร็จสิ้นและทำพิธีรับมอบอาคารเมื่อวันที่ 5 ตุลาคม พ.ศ. 2541 เปิดใช้งานปีการศึกษา 2542

ปีการศึกษา 2542 เป็นปีที่โรงเรียนสวนศรีวิทยา ก่อตั้งครบ 100 ปี คณะศิษย์เก่าร่วมกับสมาคมผู้ปกครองและครูสวนศรีวิทยา ชุมชนชาวหลังสวน และบุคคลากรโรงเรียนสวนศรีวิทยา ได้ร่วมกันจัดงานเฉลิมฉลอง "100 ปี สวนศรี" หารายได้พัฒนาห้องสมุดโรงเรียน จัดทำระบบ อินเตอร์เน็ต, ซีดีรอม และระบบห้องสมุดอัตโนมัติ ซึ่งโรงเรียนได้จัดทำเสร็จสิ้นและเปิดให้บริการแล้ว ในส่วนของ อินเตอร์เน็ต และ ซีดีรอม ส่วนระบบห้องสมุดอัตโนมัติจะต้องจัดหารายได้เพื่อดำเนินการอีกต่อไป โดยดำเนินการก่อสร้างในปีการศึกษา 2543 และเสร็จสิ้นแล้ว ประตูโรงเรียนเป็นอัลลอยด์แต่ละช่องรั้วเป็นเสาปูนแทรกด้วยโครงสแตนเลสสวยงาม มูลค่าบริจาคช่องรั้วละ 11.500 บาท

ปัจจุบันปีการศึกษา 2549 โรงเรียนสวนศรีวิทยา