חיל הרפואה החל את דרכו כ"שירות רפואי" בסוף 1947 והתבסס על השירות הרפואי של "ההגנה", שפעל בשילוב עם המוסדות הרפואיים האזרחיים.
עם פרוץ מלחמת העצמאות היה צורך להתאים את השירות הרפואי לצבא ההולך וקם.
באותה עת, תחילת מלחמת העצמאות, כינס דוד בן-גוריון בביתו דיון בנושא המערך הרפואי, כאשר הדובר הראשי בדיון היה ד"ר חיים שיבא, רופא בכיר ב"הגנה", בעל ניסיון ברפואה צבאית בשירות הצבא הבריטי במלחמת העולם השנייה.
דוקטור שיבא טען שיש להקים שירות רפואי דינמי נפרד מהמערכת האזרחית, שייתן מענה לגיוס הצפוי, לטיפול בנפגעים ובשיקומם לאחר מכן. בן-גוריון ויגאל אלון תמכו בהצעתו של ד"ר שיבא ומינו אותו לראש השירות הרפואי שבמהרה הפך לחיל הרפואה.
לאחר מלחמת העצמאות החל צה"ל בארגונו הפנימי ובתוכו גם חיל הרפואה. בשלב הראשון ארגנו את מפקדת קצין רפואה ראשי (מקרפ"ר), יחידות פיקודיות וחיילות של חיל רפואה. בראש חיל רפואה ניצב סגן אלוף ד"ר אברהם עצמון. הוקמו מרפאות בסיסיות, מרפאות חוץ מקצועיות, מרפאת שיניים, חדרי חולים וחוליות של רפואה מונעת. בתחילה הוכשרו בבתי הספר לרפואה צבאית רק חובשים וסניטרים, ומשנת 1950 הוחלט לכלול גם קורסים לקציני רפואה.
נערכו פעולות להעלאת הרמה התברואתית במחנות צה"ל. בשנת 1951 הוקם המכון לחקר הרפואה הצבאית. הישגי המכון היו מרשימים ועוררו התעניינות גם בצבאות אחרים.