需要在全面调查核实基础上认定违法行为当事人，不能简单将车辆所有人认定为当事人。在认定过程中，交通运输综合执法机构需要充分收集证据，包括书证（如交易记录、运输合同等）、当事人的陈述、询问双方当事人的笔录、交警的执法记录、录音录像等，以确定非法营运行为的实施主体和责任方对于具体认定，一般有以下几种情形：

一是驾驶员自行实施的，应当以驾驶员为处罚对象，车辆等工具只是违法行为的工具，车辆等工具的所有人不影响违法对象的认定。例如，驾驶员未经车辆所有人同意，私自利用车辆进行拉客营运并获取利益，那么驾驶员就是非法营运行为的直接责任人。

二是驾驶员受车辆所有人指使的，应当以车辆所有人为处罚对象。例如，车辆所有人明确要求驾驶员利用该车辆从事非法载客业务，并承诺给予驾驶员一定的报酬。

三是如果说车辆所有人、道路运输经营人和驾驶人是三个人的情况，这个时候应当以实际经营人为处罚对象。例如车辆是以挂靠形式从事运输经营，因为实际经营人是非法营运的实际获利者和组织者，对非法营运行为负有直接责任。