בן ציון כרמלי נולד בשנת 1937 בישראל. בשנת 1955 התגייס לצה"ל והוצב בחיל השריון. הוא שירת בחטיבת השריון הסדירה 7 ובמסגרתה הוכשר כסייר. בשנת 1956 השתתף בפעולת התגמול נגד תחנת המשטרה בקלקיליה וזמן קצר אחר כך גם במערכת סיני בקרב נגד המתחם המצרי באבו-עגילה.
בשנת 1958 הוסמך לקצונה ובשלוש השנים הבאות מילא תפקידי פיקוד ומטה במסגרת גדוד 82 בחטיבה 7, ובכלל זה קצין מודיעין גדודי וסגן מפקד פלוגת טנקים. בשנים 1964-1962 פיקד על פלוגת הסיור בגדוד טנקים 46 בחטיבה 7. בתום תפקידו השתחרר משירות קבע בצה"ל ובשנים 1966-1964 פיקד על פלוגת הסיור של חטיבת השריון במילואים 520.
בשנת 1966 שב לשרת בקבע ופיקד על פלוגת טנקים בגדוד 79. בתקופת כהונתו פרצה מלחמת ששת הימים והוא לחם במסגרת חטיבה 7 בחזית המצרית, והשתתף בקרב על מתחמי חאן יונס בו גם נפצע באורח קשה. לאחר שהתאושש מפציעתו, מילא בשנים 1969-1967 תפקיד מטה במפקדת גייסות השריון.
בשנים 1971-1969 פיקד על קורס מפקדי טנקים במסגרת בית הספר לשריון בדרגת סגן אלוף. במינוי משני פיקד תחילה על גדוד 71 ובהמשך על גדוד 198 בחטיבה 460, שהתבססה על סגל ההדרכה ועל צועריו. בתום תפקידו פיקד מספר חודשים על גדוד 74 בחטיבת השריון הסדירה 188 ולאחר מכן פיקד בשנים 1973-1971 על גדוד 225, שהיה כפוף לחטיבת השריון במילואים 274 שהתבססה על טנקי שלל.
כחודשיים לפני פרוץ מלחמת יום הכיפורים מונה למפקד גדוד הסיור האוגדתי 87 של אוגדת השריון במילואים 143. עם הפתיחה באש הגדוד גויס, הורד לסיני ושולב בקרבות לבלימת הצבא המצרי בגזרה המרכזית של תעלת סואץ בסביבות ציר עכביש.
ב-8 באוקטובר 1973 הוא נהרג בקרב מול המצרים על רכס חמדיה לאחר שהטנק שלו ספג פגיעה ישירה.
לאחר מותו הוענק לו צל"ש הרמטכ"ל על אומץ ליבו ועל האופן בו פיקד על הגדוד בקרבות הבלימה.