세션에 참가해서 필요한 내용이나 기억에 남길 것을 메모함. 자세한 내용은 발표자료 참고.
솔직히 ML, AI는 뭔소린지 모르겠음.
[외산 클라우드 없이 AI 플랫폼 제공하기: features, training, serving, and AI Suite]
자체 AI 플랫폼 이유
.security - 국내 데이터는 국내에서, 지리, 정부 승인 등
.cost
.demand
네이버는 사용하던 AI 플랫폼이 있었음
이를 엮어서 > AI Suite : End-to-End AI platform
머신러닝을 위해서
데이터 처리 ㅡ 모델 학습 ㅡ 서빙이 필요함.
실제 개발에서는
=> 데이터 처리가 오래 걸림, 자동화 고려 필요
AI Feature 안에서
. Dump : 데이터를 가져오고
. Analyze : 가시화를 통한 인사이트
. Batch : 데이터를 선별하여 feature vector생성
. Analyze : 가시화를 통한 인사이트
. Batch : 데이터를 선별하여 feature vector생성
Facets
단점
. 모든 데이터 클라이언트에서 돌리므로 성능 이슈 > 샘플링을 통해서 통계를 보고 인사이트를 얻음
. HDFS라 전체를 다 읽어야 샘플링 가능 > 일부를 읽어서 전체를 예상하고 estimation 하여 샘플링
모델연구시
. 최대 GPU자원 사용
. 동시 사용하여 성능 좋은 모델 선정
. 데이터 고정으로 캐싱하면 이득
하지만 제품화 시
. 최소한의 자원 사용 (비용문제 이유)
. 배포전 이전 모델의과 품질을 검증 필요
. 새로운 데이터로 캐싱 의미 없음
서빙 = APS 서빙 + 모델 서빙
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
[Papago: Engineering BERT into NMT]
몇가지 적긴 했는데 그냥 발표자료를 참고하여 논문을 찾아 읽어야 할 듯
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
[챗봇 1만 개의 모델 서빙하기: AI 서비스 어디까지 해봤니]
중요한 건 모델의 규모와 서비스 형태
미신러닝
.수백 수천 토큰 질의를 해하는 모델
. 도메인 전용 학습이 필요하지 않은 모델
.10턴 이상 문맥을 고려하지 않는 모델
구축>훈련>평가>개선 흐름을 자동화
모델의 비용을 계산하고 결과를 봐야함.
Amdahl's law
무한의 컴퓨팅 자원을 투입해도 20%의 속도 개선이 가능함.
아니 경제적인 모델: 학습과 추론의 성능 최적화가 곧 비용인 시대
최적화?
. 모델 최적화
. 모델러와 소통
. Framework customizing, JNI 수준까지
. 확장 CPU Register사용(bert 120ms에서 bert AVX-512 MKL 7ms로 개선)
1만개 서빙?
. AutoML auto quantization
. One source multi environment models(네이버 C3DL 기반 동작)
. Decentralized clusters (kaa) akka, spark, scala, tf
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
[모바일 얼굴인식, 엔진부터 DEVIEW에 적용하기까지]
얼굴인식으로 인증 단계 감소
1:N의 얼굴 인식의 경우 보조 인증을 주로 사용
Face engine
얼굴 검출 > 특징점 검출 > 얼굴인식 딥러닝
=>Clova Face
얼굴 검출을 위한 모델 얘기는 발표자료 참고
Engine을 Product에 적용하는 얘기도 발표 자료 참고
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
[어디까지 깎아봤니?: 모바일 서비스를 위한 가벼운 이미지 인식/검출 딥러닝 모델 설계]
발표를 들으며 "발표자는 진정 방망이모델 깍는 노인이구나"라는 생각이 머리를 계속 맴돌았음.
발표자료는 꼭 보시길
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
[예약 전화도 쉽게 받는 인공지능 비서를 만드는 P;ㅠ]
이분은 회사에서 자주 본 것 같은데 비슷한 사람이었나?
아직도 전화 예약을 많이 한다.
사람도 전화응대를 잘 못한다.
스피커, 챗봇과는 다름
Conversation Space
Turn, Sequence, Activity,Task 로 대화를 구분
대화에는 실패가 없다.
Command control 패턴과 같은 스피커에서와는 다르게 대화를 반복하여 해결 가능
Full duplex <> Gateway >ASR >DNNLU >SYNTH >Gateway
성능향상을 위한 모델
. Contextual hint
. Multi turn
. Task moving
. Barge in
엔지니어링 이슈들
. Latency
. Initiative Control
댓글 없음:
댓글 쓰기