Як би важко не було чи не було?

Вірно: Як би важко не було, хоч би як мучив вас внутрішній голос, що цього робити не треба. Все це було б смішно, Коли б не було так сумно… Ось як тут таки правильно: НЕ було чи НІ було? Тут використовується частка не.