Texas A & M University 네이버 룰렛 돌리기의 팀은 현지화 된 노드 네트워크가 분산 방식으로 객체 인식과 같은 기계 학습 애플리케이션을 구현할 수있는 방법을 분석하고 있습니다. 연구팀에는 WM Michael Barnes '64 산업 및 시스템 공학과 교수 인 Alfredo Garcia 박사와 컴퓨터 과학 및 공학과 부교수 인 Jeff Huang 박사가 포함됩니다.
이 제안 된 방법론은 널리 인정 된 연합 학습 접근법의 대안으로 나타납니다. Federated Learning은 교환하지 않고 로컬 데이터 샘플을 보유하는 여러 분산 에지 장치 또는 서버에서 모델을 교육하는 데 사용되는 기계 학습 기술입니다.
이 네이버 룰렛 돌리기에서 정말 흥미로운 점은 실제 세계에서 유비쿼터스가되고있는 이종 데이터 스트림의 학습 모델에 대한 강력한 학습 접근법을 보여줍니다.
이 네이버 룰렛 돌리기는 각 노드가 로컬 데이터 및 네트워크 정규화 페널티를 기반으로 자체 모델을 정기적으로 업데이트하는 접근법을 고려하여 Federated Learn에 대한보다 강력한 대안에 중점을 둡니다. 따라서 각 노드는 자체 모델이 이웃의 모델과 너무 비트가 아닌지 확인하기 위해 인접 노드를 사용하여 "체크인"합니다.
노드는 모델을 훈련시키는 네트워크의 조각입니다. 이것을 원근법으로 표현하기 위해 몇 초 만에 수백만 개의 노드를 처리하는 동시에 정보를 처리 할 수 있습니다.
연합 학습 구현에서 참여 장치는 모형 매개 변수가 저장되는 중앙 노드에 매개 변수 업데이트를 주기적으로 전달하면됩니다. 그러나 데이터 스트림이 데이터 속도와 품질 모두에서 이질적인 경우, Federated Learning으로 식별 된 모델은 최고 품질이 아닐 수 있습니다.
더 높은 데이터 속도가 높은 데이터 스트림이 정밀도가 낮을 때 가장 빠른 속도로 노드 생산 매개 변수 업데이트가 반드시 최고 품질 업데이트를 가질 수는 없습니다. 또한 나쁜 노드에서 나오는 잘못된 데이터 또는 노이즈에 노출 될 위험이 있습니다.
예를 들어, 고품질 카메라가 장착 된 최신 iPhone 모델에서 나오는 사진은 iPhone 5에서 나오는 사진과 다른 데이터 품질을 갖습니다.
Federated Learning은 장치 전체의 스트리밍이 다른 지리적 위치에 보관할 때 유용합니다. 그러나 의사 소통 오버 헤드가 상당히 높고 데이터를 적시에 단일 위치로 전송할 수없는 단점이 있습니다.
이 특정 시나리오에서, 모델을 업데이트하기 위해 중앙 처리 위치에 다양한 데이터 포인트를 조립하는 데는 상당한 대기 시간이 포함되며 궁극적으로 실용적이지 않을 수 있습니다.
그의 팀과의 후속 작업에서 Garcia는 다른 노드가 동일한 학습 목표 나 작업을 공유하지 않는 멀티 태스킹 학습에 대한 네트워크 접근 방식의 적용을 검토하고 있습니다. 로컬 모델 교환은 더 나은 학습 결과를 제공하기 위해 다른 작업 간의 유사성을 보여줍니다.