BING, 마이크로소프트에서 성공 사례

GPU 기반 더 똑똑하고 더 빠르게 시각적 검색

 

Bing은 Nvidia ㅣ술을 배포하여 개체 감지 속도를 높이고 실시간으로 적절한 결과를 제공합니다.

 

시작적 검색: 합당한 이유

시작적 검색은 차세대 검색 분야로 간주되며 Microsoft의 Bing은 Nvidia GPU의 성능을 활용하여 이를 현실로 만들었습니다. 동시에 NVIDIA CUDA 프로파일링 툴체인 및 cuDNN을 사용ㅎ여 시스템을 보다 비용 효율적으로 만듭니다.

 

그러나 규모에 따른 시각적 검색은 쉬운 일이 아닙니다. 사용자가 사진 내의 개체 위에 마우스를 높일 때 적절한 결과를 즉시 제공하려면 이미지 내의 이미지를 분류 감지 및 일치하도록 훈련된 알고리즘에 의한 방대한 계사이 필요합니다. 또한 노력할 가치가 있습니다.

 

Bing의 수석 엔지니어인 Yan Wang은 "사진은 천 마디 말도다 가치가 있습니다"라고 말했습니다.

 

그러나 지금까지는 당신이 찾던 것을 기다리는 데 오랜 시간이 걸렸습니다. 2015년 Bing은 사용자가 허위 이미지 주위에 상자를 그리거나 플랫폼에서 이미 감지한 하위 이미지 상자를 클릭할 수 있는 이미지 검색 기능을 도입했습니다. 그런 다음 해당 이미지를 새로운 검색의 기초를 사용할 수 있습니다.

 

Bing은 사용자의 기대에 부응할 수 있을 만큼 충분히 빠른 솔루션을 찾았습니다. 그들은 개체 감지 플랫폼을 CPU에서 NVIDIA Tesla M60 GPU 가속기를 실행하는 Azure NV 시리즈 가상 머신으로 전환했습니다.

 

이를 통해 Bing은 객체 감지 대기 시간을 CPU에서 2.5에서 200밀리초로 줄였습니다. NVIDIA cuDNN을 통한 추가 최적화는 대부분의 애플리케이션에서 우수한 사용자 경험 임계값보다 훨씬 낮은 40밀리초로 낮췄습니다.

 

bing 드레스 셔츠 검색

 

우수한 경험 만들기

NVIDIA GPU로의 전환에 대한 보상은 즉각적이었고 추론 지연 시간은 즉시 10배 감소했습니다. 그러나 Bing의 엔지니어들은 여기서 멈추지 않았습니다.

 

NVIDIA cuDNN GPU 가속 딥 러닝 라이브러리를 코드에 통합하고 드라이버 모드를 Windows 디스플레이 드라이버 모델에서 Tesla 컴퓨팅 클러스터로 업데이트하여 대기 시간을 40밀리초로 줄여 총 60배의 성능 향상을 달성했습니다. 이미지에서 더 많은 객체 범주를 감지하기 위해 빠른 R-CNN 2단계 프로세스에서 1단계 "단일 샷 감지" 프로세스로 이동했습니다. 이를 통해 기능 속도가 10배 빨라지고 80개 이상의 이미지 범주를 감지할 수 있습니다.

 

Bing 팀은 또한 필터 트리거 모델과 Microsoft의 ObjectStore 키-값 저장소를 활용하여 향후 사용을 위해 결과를 처리하고 캐시하는데 필요한 데이터 양을 제한합니다. 이를 통해 비용의 90% 이상을 절약할 수 있어 매일 받는 요청을 보다 경제적으로 처리할 수 있습니다.

 

ing Visual Search에서 제공하는 사용자 경험은 이러한 추가 노력을 반영합니다. Bing 검색 페이지에서 사용자는 "이미지 검색"을 선택하고 텍스트를 입력하거나 사진을 업로드한 다음 사진에서 자동으로 감지된 핫스팟을 선택하거나 관심 있는 부분에 상자를 그려 거의 즉각적인 검색 결과를 트리거할 수 있습니다. 예를 들어 지갑 위에 상자를 그리는 것은 가격 책정과 함께 수많은 지갑 구매 기회를 생성합니다.

 

개발 및 배포 측면에서 NVIDIA GPU로의 전환은 Bing 팀이 더 민첩하고 학습 및 혁신 속도를 높일 수 있도록 지원했습니다. CPU를 사용하면 중요한 변경이 있을 때마다 수십억 개의 이미지로 구성된 전체 데이터 세트에서 업데이트된 모델을 실행하는 데 몇 달이 걸립니다. GPU를 사용하면 이제 이 프로세스가 즉각적이므로 모델을 자주 업데이트하고 Bing 사용자에게 더 많은 기능을 제공하는 것이 실용적입니다.

 

획기적인 순간 시각적 검색용

이제 실시간 개체 감지 및 시각적 검색이 가능하여 Bing Visual Search가 획기적인 순간이 되었습니다. 더 깊고 복잡한 모델을 처리할 수 있는 기능을 통해 Bing Visual Search는 더 많은 범주의 감지 가능한 개체를 지원할 수 있습니다. 그리고 백엔드 모델에 대한 더 빠른 업데이트로 Bing은 개발 측면에서 더 많은 노력을 기울일 수 있습니다.