これを回避するには、ブックを閉じてからアプリケーションを終了させる。
strFullPath = "C:\test.xlsx"
Set xlApp = CreateObject("Excel.Application")
Set xlWorkbook = xlApp.Workbooks.Open(strFullPath)
Set xlSheet = xlWorkbook.Worksheets(1)
xlSheet.Cells(2,4).Value = "2,4"
xlWorkbook.Save
xlWorkbook.Close
xlApp.Quit