Nagy sűrűségű, beültetett agyi érzékelő-mátrixokból érkező jelek valós idejű feldolgozása. Az agyi implantátumok többszáz, de akár több ezer érzékelőpontot tartalmazhatnak, melyek mindegyike magas mintavételi frekvenciával és nagy felbontással méri a környező idegsejtekből származó jeleket. Mintha egy kis területre kiterjedő, de nagyon gyors kamerával készítenénk felvételeket, a fényintenzitás helyett az elektromos potenciáltér alakulásáról. Egy gyors, pontos, megbízható agy-gép interfész kialakításához szükség van ezen hatalmas adatmennyiség feldolgozására, lefordítására a számítógép vezérlésre használható jelekké, lehetőleg adaptív módon, vagyis az egyéni és szövetkörnyezeti különbségeket figyelembe véve. A HUN-REN TTK KPI kutatása ennek a feladatnak a megvalósítását célozza, mesterséges intelligencia segítségével. 

Személyre szabható, non-invazív agy-gép interfész fejlesztése mozgássérültek számára. A kutatás célja olyan algoritmusok fejlesztése, melynek segítségével tetraplég páciensek képesek számítógépes alkalmazásokat a gondolataikkal irányítani. Az elektroenkefalográfból (EEG-ből) érkező, mikrovoltos nagyságrendbe eső agyi jelek dekódolásához egy-egy mozgássérült felhasználótól többször gyűjtünk adatot, így biztosítva, hogy a tanuló algoritmusok precízen, egyénre szabott módon működhessenek. A legjobban teljesítő tetraplég pilótánkkal a 2024. májusában megrendezésre kerülő, nemzetközi Cybathlon (http://www.cybathlon.ethz.ch/) versenyen tervezünk indulni. 

Publikációk:

  • Rokai János, Ulbert István, Márton Gergely: Edge computing on TPU for brain implant signal analysis, Neural Networks, 2023
  • J. Rokai, M. Rácz, R. Fiáth, I. Ulbert, G. Márton: ELVISort: encoding latent variables for instant sorting, an artificial intelligence-based end-to-end solution, Journal of Neural Engineering, 2021
  • Bod, Réka Barbara ; Rokai, János ; Meszéna, Domokos ; Fiáth, Richárd ; Ulbert, István ; Márton, Gergely: From End to End: Gaining, Sorting, and Employing High-Density Neural Single Unit Recordings. Frontiers in Neuroinformatics (2022)
  • Rácz Melinda, Liber Csaba, Németh Erik, Fiáth Richárd, Rokai János, Harmati István, Ulbert István, Márton Gergely: Spike detection and sorting with deep learning. Journal of Neural Engineering (2019).
  • Matusz, Viola Ildiko; Racz, Melinda; Rokai, Janos; Jorgosz, Nikomidisz Eftimiu; Molnar, Timea; Maraki, Dorina; Ulbert, Istvan; Marton, Gergely: Head-mounted, wireless eyetracker for real-time gaze prediction utilizing machine-learning. 2020 IEEE International Conference on Human-Machine Systems (ICHMS) (2020)
  • C. M. Köllőd, A. Adolf, K. Iván, G. Márton, and I. Ulbert, “Deep Comparisons of Neural Networks from the EEGNet Family,” Electronics, vol. 12, no. 12, Art. no. 12, Jan. 2023, doi: 10.3390/electronics12122743.
  • C. Köllőd, A. Adolf, G. Márton, M. Wahdow, W. Fadel, and I. Ulbert, “TTK dataset – 4 class Motor-Imagery EEG.” CONCORDA, Dec. 07, 2022. Accessed: Dec. 09, 2022. [Online]. Available: https://hdl.handle.net/21.15109/CONCORDA/UOQQVK
  • C. Köllőd, A. Adolf, G. Márton, M. Wahdow, W. Fadel, and I. Ulbert, “Closed loop BCI System for Cybathlon 2020.” arXiv, Feb. 02, 2023. doi: 10.48550/arXiv.2212.04172.
  • M. Wahdow, M. Alnaanah, W. Fadel, A. Adolf, C. Kollod, and I. Ulbert, “Multi frequency band fusion method for EEG signal classification,” SIViP, Nov. 2022, doi: 10.1007/s11760-022-02399-6.
  • W. Fadel, M. Wahdow, C. Kollod, G. Marton, and I. Ulbert, “Chessboard EEG Images Classification for BCI Systems Using Deep Neural Network,” in Bio-inspired Information and Communication Technologies, Y. Chen, T. Nakano, L. Lin, M. U. Mahfuz, and W. Guo, Eds., in Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, vol. 329. Cham: Springer International Publishing, 2020, pp. 97–104. doi: 10.1007/978-3-030-57115-3_8.
  • W. Fadel, C. Kollod, M. Wahdow, Y. Ibrahim, and I. Ulbert, “Multi-Class Classification of Motor Imagery EEG Signals Using Image-Based Deep Recurrent Convolutional Neural Network,” in 2020 8th International Winter Conference on Brain-Computer Interface (BCI), 2020, pp. 1–4. doi: 10.1109/BCI48061.2020.9061622.