세미나 시리즈
“마음 챙김 감지에서 멀티 모달 추론에 이르기까지 : 시력을 넘어 센서 언어 지능을 향해”
59899_59919
전기 및 컴퓨터 공학 조교
슬롯 사이트
초록 :멀티 모달 AI의 빠른 성장은 감지, 추론 및 상호 작용을위한 새로운 기회를 열어 주지만 대부분의 시스템은 여전히 비전에 중점을두고 인간 중심 응용 프로그램에 중요한 신호에 중점을 둡니다. 이 강연에서, 나는 다중 모드 인텔리전스의 범위를 총체적으로 넓히는 그룹의 세 가지 프로젝트를 발표 할 것입니다. 먼저, 마음 챙김 및 호흡 감지에 대한 연구를 소개 할 것입니다. 여기서 호흡 속도를 추적하고 가속도계 데이터 만 사용하여 마음 챙김 기술 진행을 추정하는 스마트 폰 기반 알고리즘을 설계 할 것입니다. 이 연구는 센서 피드백이 어떻게 디지털 마음 챙김 훈련에 유용성과 참여를 향상시켜 건강 지향적 다중 모드 AI에 대한 강력한 사례를 제공하는지 보여줍니다. 다음으로, 나는 멀티 모달 질문 응답을위한 통합 아키텍처 인 Raven을 발표 할 것입니다. 핵심은 쿼트가 있으며, 쿼리 조절 된 토큰 게이팅 모듈은 양식에 관련된 점수를 할당하는 법을 배웁니다. 무대 훈련 파이프 라인을 통해 Raven은 비디오, 오디오 및 센서 스트림에서 강력한 추론을 달성합니다. 마지막으로, 나는 대형 언어 및 센서 어시스턴트 인 LLASA에 대해 논의 할 것입니다. LLASA는 센서 신호를 언어와 정렬하기위한 새로운 데이터 세트 및 평가 프레임 워크를 소개하여 센서 데이터와 자연어 쿼리에 대해 공동으로 이유를 제공하는 최초의 일반 목적 어시스턴트를 제공합니다. 이 프로젝트는 함께 세계를 듣고, 감지하며, 이성화하는 지속 가능한 멀티 모드 시스템으로 향하는 경로를 차트로, 인간 중심 응용 프로그램과 핵심 AI 방법을 발전시킵니다.
Bio :DR. Bashima Islam은 슬롯 사이트의 전기 및 컴퓨터 엔지니어링 조교수이며 컴퓨터 과학 및 데이터 과학에 제휴했습니다. 그녀의 연구는 센서, 언어 및 언어의 융합을 통해 AI를 변화시켜 가장자리를위한 지속 가능하고 지능적인 시스템을 구축합니다. 그녀는 저전력 장치의 자원을 고려하면서 음향 이해, 행동 건강 모니터링 및 실제 멀티 모드 인텔리전스의 실제 영향으로 AI 브리징에 중점을 둡니다. 그녀는 NSF Crii Award, 다중 NIH 연구 보조금, 과학에서 30 세 미만의 Forbes 30에 대한 선택을 포함하여 몇 가지 권위있는 영예로 인정 받았습니다.
줌 링크는 Kate Harrison at에게 문의하십시오.kharrison@무료 슬롯 사이트.edu