הכוח הימי של הפלמ"ח נועד מראשיתו למלא תפקיד כפול: צבאי - לחימה ימית, ואזרחי - העפלה. מפקד הפלמ"ח, יצחק שדה, יזם את הקמתו מתוך שאיפה לאמן את לוחמי החטיבה בצליחת מכשולי מים ובמעבר דרך הים כחלק מהכשרתם המקצועית. דרישתם של אנשי 'המוסד לעלייה ב', שאול מאירוב (אביגור) ודוידק'ה נמרי, לגבש צוותים מיומנים שיעסקו בהבאת מעפילים לארץ-ישראל, הייתה גורם מכריע בהקמת הכוח הימי בפלמ"ח.
בשנות השלושים ניתן במסגרת ה'הגנה' אימון ימי לאנשי הפו"ש (פלוגות השדה) והפו"ם (הפלוגות המיוחדות). 'המוסד' ערך קורסים ימיים בשנים 1939-1938 לצורכי 'עלייה ב''. רבים מהחניכים שהשתתפו באימונים אלה והצטרפו מאוחר יותר לכוח הימי בפלמ"ח, באו ממועדוני הספורט של 'הפועל' בתל-אביב ובחיפה.
ערב הקמת הפלמ"ח, בחודש מאי 1941, טבעו עשרים ושלושה מבכירי הימאים ב'הגנה' וקצין בריטי מלווה, בעת שיצאו למשימת חבלה בטריפולי שבלבנון, במסגרת שיתוף-הפעולה עם הצבא הבריטי במלחמת העולם השנייה (פרשת כ"ג יורדי הסירה). אובדן מאגר פוטנציאלי של לוחמים ומפקדים מוכשרים ומנוסים וקשיים כספיים חמורים גרמו לדחיית ההתארגנות הדרושה להקמת יחידה ימית בפלמ"ח עד שנת 1943.
תהליך התפתחותו של הכוח הימי בפלמ"ח נחלק לשלבים אחדים:
שלב ראשון - במהלך שנת 1943 נערכו קורסים ימיים להכשרת סגל מפקדים ומדריכים ולהקניית אימון ימי לכל לוחמי הפלמ"ח.
שלב שני - בחודש דצמבר 1943 הוקמה 'המחלקה הימית'.
שלב שלישי - בחודש אפריל 1945 הוקם הפלי"ם (הפלוגה הימית, שבמסגרתה התארגנה בחודש דצמבר 1945 "החוליה" - יחידת החבלה הימית). במארס 1948 הועברו אנשי הפלי"ם ל'שירות הימי', שהיה לחיל-הים של צה"ל.