Sensor-based indicators of performance changes between sessions during robotic surgery training

<p>Wu, C., Cha, J., Sulek, J., Zhou, T., Sundaram, C. P., Wachs, J., Proctor, R., & Yu, D. (in press). Sensor-based indicators of performance changes between sessions during robotic surgery training. Applied Ergonomics. https://doi.org/10.​1016/​j.​apergo.​2020.​103251 </p>

<p> </p>

<p>Train­ing of sur­geons is es­sen­tial for safe and ef­fec­tive us­age of ro­botic surgery, yet cur­rent as­sess­ment tools for learn­ing pro­gres­sion are lim­ited. The ob­jec­tive of this study was to mea­sure changes in trainees’ cog­ni­tive and be­hav­ioral states as they pro­gressed in a ro­botic sur­geon train­ing cur­ricu­lum at a med­ical in­sti­tu­tion. Seven sur­gi­cal trainees in urol­ogy who had no for­mal ro­botic train­ing ex­pe­ri­ence par­tic­i­pated in the sim­u­la­tion cur­ricu­lum. They per­formed 12 ro­botic skills ex­er­cises with vary­ing lev­els of dif­fi­culty repet­i­tively in sep­a­rate ses­sions. EEG (elec­troen­cephalo­gram) ac­tiv­ity and eye move­ments were mea­sured through­out to cal­cu­late three met­rics: en­gage­ment in­dex (in­di­ca­tor of task en­gage­ment), pupil di­am­e­ter (in­di­ca­tor of men­tal work­load) and gaze en­tropy (in­di­ca­tor of ran­dom­ness in gaze pat­tern). Per­for­mance scores (com­ple­tion of task goals) and men­tal work­load rat­ings (NASA-Task Load In­dex) were col­lected af­ter each ex­er­cise. Changes in per­for­mance scores be­tween train­ing ses­sions were cal­cu­lated. Analy­sis of vari­ance, re­peated mea­sures cor­re­la­tion, and ma­chine learn­ing clas­si­fi­ca­tion were used to di­ag­nose how cog­ni­tive and be­hav­ioral states as­so­ci­ate with per­for­mance in­creases or de­creases be­tween ses­sions. The changes in per­for­mance were cor­re­lated with changes in en­gage­ment in­dex (<img data-original-height="13.330357551574707" data-original-width="105.30357360839844" src="https://pcv3-elsevier-live.s3.amazonaws.com/proofs/elsevier/JERG/103251/images/image_proof/si1.svg" />) and gaze en­tropy (<img data-original-height="13.330357551574707" data-original-width="109.30357360839844" src="https://pcv3-elsevier-live.s3.amazonaws.com/proofs/elsevier/JERG/103251/images/image_proof/si2.svg" />). Changes in cog­ni­tive and be­hav­ioral states were able to pre­dict train­ing out­comes with 72.5% ac­cu­racy. Find­ings sug­gest that cog­ni­tive and be­hav­ioral met­rics cor­re­late with changes in per­for­mance be­tween ses­sions. These mea­sures can com­ple­ment cur­rent feed­back tools used by med­ical ed­u­ca­tors and learn­ers for skills as­sess­ment in ro­botic surgery train­ing.</p>