事故责任认定书要双方一起来。
交通事故责任认定书一般不需要双方在场。因为在当时处理这个案件的时候既然当事人已经选择了交警介入，那么交警就相当于法律的存在了，交警那边生成了交通事故认定书，就已经是权威认定了，只需要一个当事人在上面签字，认定书就从法律上已经生效了。
责任认定书下来赔偿如下：
1、依据责任认定书，以自己对交通事故负的责任按比例承担赔偿责任；
2、对于赔偿数额，按照发生的费用，先由投保的保险公司在强制保险责任限额范围内予以赔偿；
3、超过部分由三者险按责任比例赔付。
综上所述，交通事故责任认定是需要双方到场的，但是如果有一方不在，也是可以做出事故责任认定的。
【法律依据】：
《中华人民共和国道路交通安全法》第七十六条
机动车发生交通事故造成人身伤亡、财产损失的，由保险公司在机动车第三者责任强制保险责任限额范围内予以赔偿；不足的部分，按照下列规定承担赔偿责任：
（一）机动车之间发生交通事故的，由有过错的一方承担赔偿责任；双方都有过错的，按照各自过错的比例分担责任。
（二）机动车与非机动车驾驶人、行人之间发生交通事故，非机动车驾驶人、行人没有过错的，由机动车一方承担赔偿责任；有证据证明非机动车驾驶人、行人有过错的，根据过错程度适当减轻机动车一方的赔偿责任；机动车一方没有过错的，承担不超过百分之十的赔偿责任。
交通事故的损失是由非机动车驾驶人、行人故意碰撞机动车造成的，机动车一方不承担赔偿责任。