Hola Daniken

He hecho dos cambios, uno en el formulario y otro en la función fnActualizar. En el formulario he puesto id's a los campos precio, cantidad y total. Así es más fácil acceder a ellos cuando hagamos los cálculos y por otro lado he modificado fnActualizar para que use esas ids.
<script language="javascript" type="text/javascript">
var indiceFilaFormulario=1;
function addPerson(){
myNewRow = document.getElementById("tablaFormulario").insertRow(-1);
myNewRow.id=indiceFilaFormulario;
myNewCell=myNewRow.insertCell(-1);
myNewCell.innerHTML="<td><input size='6' type='text' name='cant["+indiceFilaFormulario+"]'
id='cant"+indiceFilaFormulario+"' onKeyUp='fncActualizar("+indiceFilaFormulario+")'></td>";
myNewCell=myNewRow.insertCell(-1);
myNewCell.innerHTML="<td> <input size='60' type='text' name='item["+indiceFilaFormulario+"]' ></td>";
myNewCell=myNewRow.insertCell(-1);
myNewCell.innerHTML="<td><input size='7' type='text' name='precio["+indiceFilaFormulario+"]'
id='precio"+indiceFilaFormulario+"' onKeyUp='fncActualizar("+indiceFilaFormulario+")'></td>";
myNewCell=myNewRow.insertCell(-1);
myNewCell.innerHTML="<td><input size='10' type='text' name='total["+indiceFilaFormulario+"]'
id='total"+indiceFilaFormulario+"' value='0'> </td>";
myNewCell=myNewRow.insertCell(-1);
myNewCell.innerHTML="<td><input class='red' type='button' value='-' onclick='removePerson(this)' ></td>";
indiceFilaFormulario++;
}
function removePerson(obj){
var oTr = obj;
while(oTr.nodeName.toLowerCase()!='tr'){
oTr=oTr.parentNode;
}
var root = oTr.parentNode;
root.removeChild(oTr);
}
</script>
<script language="javascript">
function fncActualizar(indiceFilaFormulario)
{
var total = document.getElementById("total"+indiceFilaFormulario);var precio = document.getElementById("precio"+indiceFilaFormulario);var cant = document.getElementById("cant"+indiceFilaFormulario);total.value = precio.value * cant.value;};
</script>
Espero que te sirva!!

Un saludo