최근 Gemini는 단순히 질문에 답하는 AI를 넘어 음성으로 자연스럽게 대화하고, 카메라와 화면을 보면서 상황을 이해하고, 다른 앱과 연결해 작업을 도와주는 방향으로 발전하고 있습니다. 특히 Gemini Live와 연결된 앱, Android 화면 자동화, Deep Research, Canvas, Gems 등을 활용하면 스마트폰과 PC에서 AI를 사용하는 방법이 크게 달라질 수 있습니다.
1. 최근 Gemini는 무엇이 달라졌을까?
2. Gemini Live로 실시간 대화하는 방법
3. 카메라와 화면을 보여주며 질문하는 방법
4. Gemini에 다른 앱을 연결하는 방법
5. Gemini에게 여러 단계의 작업을 맡기는 방법
6. Deep Research로 긴 자료를 조사하는 방법
7. Canvas로 문서·웹페이지·앱을 만드는 방법
8. 나만의 Gemini를 만드는 Gems 사용법
9. Gemini를 더 편하게 사용하는 실전 활용법
10. 사용할 때 알아둘 점
11. 자주 묻는 질문
12. 마무리
1. 최근 Gemini는 무엇이 달라졌을까?
예전의 AI는 사용자가 질문을 입력하면 답변을 보여주는 방식이 중심이었습니다. 하지만 최근 Gemini는 말하고, 보고, 조사하고, 다른 도구를 사용하는 AI로 기능이 확장되고 있습니다.
특히 Gemini Live에서는 글자를 입력하지 않고 자연스럽게 대화할 수 있고, 카메라나 화면을 공유해 현재 보고 있는 내용을 기준으로 질문할 수도 있습니다.
또한 Google은 Gemini를 다른 앱과 연결해 하나의 대화 안에서 여러 작업을 처리하는 방향으로 기능을 확대하고 있습니다.
기존 Gemini가 "질문하면 답해주는 AI"였다면 최근에는 "내가 하고 있는 일을 이해하고 함께 처리하는 AI"에 가까워지고 있다고 볼 수 있습니다.
2. Gemini Live로 실시간 대화하는 방법
Gemini Live는 Gemini와 음성으로 자연스럽게 대화할 수 있는 기능입니다. 문장을 완벽하게 만들어 입력하지 않아도 말을 하면서 질문하고, 답변 도중 다시 말을 걸어 내용을 바꿀 수 있습니다.
스마트폰에서 사용하는 방법은 다음과 같습니다.
② 화면 아래쪽의 Live 아이콘을 선택합니다.
③ 처음 사용하는 경우 안내에 따라 권한을 설정합니다.
④ 원하는 내용을 말하면 Gemini와 대화가 시작됩니다.
대화 도중 다른 내용을 추가하거나 질문 방향을 바꾸는 것도 가능합니다. 따라서 기존의 음성 검색보다 실제 사람과 대화하는 것에 가까운 방식으로 사용할 수 있습니다.
최근 Gemini Live는 실시간 대화뿐 아니라 복잡한 작업을 음성으로 요청하는 방향으로도 발전하고 있습니다.
• 운전이나 요리처럼 손을 자유롭게 쓰기 어려울 때
• 아이디어를 말하면서 정리하고 싶을 때
• 영어 회화를 연습하고 싶을 때
• 긴 글을 읽기보다 AI에게 설명을 듣고 싶을 때
• 생각나는 내용을 바로 AI와 대화하고 싶을 때
3. 카메라와 화면을 보여주며 질문하는 방법
Gemini Live의 재미있는 기능 중 하나는 내가 보고 있는 화면이나 카메라 영상을 Gemini에게 보여줄 수 있다는 것입니다.
예를 들어 책상 위에 고장 난 기기가 있다면 카메라를 켜서 보여주고 무엇이 문제인지 질문할 수 있습니다. 또는 컴퓨터 화면을 공유한 뒤 현재 화면에서 무엇을 해야 하는지 물어볼 수도 있습니다.
"이 화면에서 다음에 무엇을 눌러야 해?"
"이 제품이 어떤 종류인지 알려줘."
"이 메뉴판에서 매운 음식만 골라줘."
"이 문서를 보고 중요한 내용만 설명해줘."
이 방식은 텍스트로 상황을 길게 설명하는 대신 AI에게 현재 상황 자체를 보여주는 것이 핵심입니다.
카메라나 화면 공유를 사용할 때는 다른 사람의 개인정보나 민감한 정보가 화면에 포함되지 않았는지 확인하는 것이 좋습니다.
4. Gemini에 다른 앱을 연결하는 방법
최근 Gemini의 큰 변화 중 하나는 다른 서비스와 연결해 하나의 대화에서 여러 작업을 처리할 수 있다는 점입니다.
Google 서비스뿐 아니라 Gemini에 연결할 수 있는 외부 앱과 서비스도 계속 늘어나고 있습니다. 2026년 9월에는 프로젝트 관리, 데이터 정리, 문서 작업, 디자인, 쇼핑과 생활 분야의 여러 연결 앱이 추가로 확대되고 있습니다.
연결된 앱은 Gemini 설정에서 연결할 수 있으며, 지원되는 서비스는 대화에서 직접 호출하거나 관련 작업을 요청하는 방식으로 사용할 수 있습니다.
"내 프로젝트 관련 내용을 정리해줘."
"이 자료를 바탕으로 작업 목록을 만들어줘."
"내가 연결한 서비스에서 관련 정보를 찾아줘."
이렇게 되면 AI에게 질문하는 것과 실제 작업을 처리하는 것의 경계가 조금씩 줄어들게 됩니다.
5. Gemini에게 여러 단계의 작업을 맡기는 방법
Gemini는 일부 지원되는 Android 기기에서 여러 단계를 거쳐 앱 안의 작업을 수행하도록 요청할 수 있습니다.
예를 들어 차량이나 항공권, 숙박 예약과 같은 작업이나 티켓 구매, 상품 구매, 음식 및 식료품 주문처럼 여러 화면을 거쳐야 하는 작업을 AI가 대신 처리하는 기능이 제공되고 있습니다.
특히 한국에서는 지원되는 Android 기기와 조건을 충족하면 화면 자동화 기능을 한국어로 사용할 수 있습니다.
"이번 주말 서울에서 부산 가는 교통편을 찾아줘."
"조건에 맞는 숙소를 찾아줘."
"이 상품을 찾아서 구매 화면까지 진행해줘."
다만 현재는 모든 스마트폰과 모든 앱에서 사용할 수 있는 것은 아닙니다. 지원되는 기기와 앱에서 단계적으로 제공되는 기능이며, 실제 결제나 로그인 등 중요한 단계에서는 사용자가 직접 확인해야 하는 경우가 있습니다.
Gemini의 화면 자동화 기능은 아직 학습 중인 기능입니다. 결제 비밀번호나 로그인 정보처럼 민감한 정보를 AI 채팅에 직접 입력하지 말고, 중요한 작업은 최종적으로 사람이 확인하는 것이 좋습니다.
6. Deep Research로 긴 자료를 조사하는 방법
일반적인 질문과 달리 여러 자료를 찾아 비교하거나 긴 보고서가 필요한 경우에는 Deep Research를 사용할 수 있습니다.
Deep Research는 Google 검색을 기본 조사 소스로 사용하면서 필요한 경우 Gmail, Drive 같은 연결된 소스나 업로드한 파일, NotebookLM 노트북 등을 활용해 심층적인 조사 보고서를 만들 수 있습니다.
① Gemini 앱 또는 웹에서 Deep Research를 선택합니다.
② 조사하고 싶은 주제를 입력합니다.
③ 필요하면 파일이나 추가 자료를 연결합니다.
④ Gemini가 조사 계획을 만듭니다.
⑤ 계획을 확인한 뒤 조사를 시작합니다.
⑥ 완성된 조사 보고서를 확인합니다.
예를 들어 "2026년 AI 스마트폰 시장의 변화"처럼 여러 자료를 비교해야 하는 주제나, "이 PDF 자료를 기준으로 핵심 내용만 정리해줘" 같은 작업에 활용할 수 있습니다.
주제 조사 → 주요 내용 정리 → 경쟁 기술 비교 → 글의 구조 작성 → 최종 글 작성 순서로 AI에게 단계별 작업을 맡길 수 있습니다.
7. Canvas로 문서·웹페이지·앱을 만드는 방법
Gemini의 Canvas는 일반적인 채팅 답변을 넘어 실제 결과물을 만들고 수정할 수 있는 작업 공간입니다.
문서, 슬라이드, 코드뿐 아니라 웹페이지와 간단한 앱을 만드는 데도 사용할 수 있습니다. 만든 결과물을 다시 수정해달라고 요청하거나 내보내는 것도 가능합니다.
① Gemini에서 Canvas를 선택합니다.
② 만들고 싶은 결과물을 구체적으로 설명합니다.
③ Gemini가 결과물을 생성하면 직접 확인합니다.
④ 수정할 부분을 선택하고 다시 요청합니다.
⑤ 완성된 문서나 결과물을 복사하거나 내보냅니다.
예를 들어 다음과 같이 요청할 수 있습니다.
"이 내용을 표가 포함된 문서로 만들어줘."
"이 코드를 실행할 수 있도록 수정하고 오류가 있는 부분을 찾아줘."
특히 문서나 코드를 계속 수정해야 하는 작업에서는 일반 채팅보다 Canvas가 편리할 수 있습니다.
8. 나만의 Gemini를 만드는 Gems 사용법
같은 방식으로 반복해서 AI를 사용한다면 Gems를 만들어두는 것도 방법입니다.
Gem은 특정 목적에 맞도록 지침을 미리 설정해놓은 맞춤형 Gemini라고 생각하면 됩니다. 매번 같은 설명을 입력하지 않아도 정해놓은 역할과 기준을 적용해 답변을 받을 수 있습니다.
• 블로그 글 작성용 Gem
• 영어 회화 연습용 Gem
• 여행 계획용 Gem
• 공부 내용을 정리하는 Gem
• 회사 문서 검토용 Gem
만드는 방법은 Gemini 웹 앱에서 Gems → 새 Gem으로 이동한 뒤 원하는 역할과 규칙을 입력하면 됩니다.
한 번 만들어둔 Gem은 웹과 모바일에서 사용할 수 있기 때문에 반복 작업이 많은 사람에게 특히 유용할 수 있습니다.
현재 맞춤 Gem을 만들고 수정하는 기능은 웹에서 제공되며, Gem은 Gemini Live에서는 사용할 수 없습니다.
9. Gemini를 더 편하게 사용하는 실전 활용법
Gemini의 기능이 많아질수록 중요한 것은 모든 기능을 외우는 것보다 어떤 작업에 어떤 기능을 사용하는지 구분하는 것입니다.
대화가 필요할 때
→ Gemini Live
눈앞의 사물을 보여주고 질문할 때
→ Live + 카메라 공유
현재 화면에 대해 질문할 때
→ Live + 화면 공유
여러 자료를 비교하고 조사할 때
→ Deep Research
문서·웹페이지·앱을 직접 만들 때
→ Canvas
반복적인 작업을 같은 방식으로 시킬 때
→ Gems
Android에서 여러 앱의 작업을 이어서 처리할 때
→ 지원되는 화면 자동화 기능
이렇게 용도를 나누면 Gemini를 단순한 검색 도구가 아니라 개인 작업 도구처럼 사용할 수 있습니다.
10. 사용할 때 알아둘 점
Gemini의 기능이 강력해졌다고 해서 모든 답변이나 작업을 그대로 믿어도 된다는 뜻은 아닙니다. AI가 정보를 잘못 이해하거나 잘못된 결과를 만들어낼 가능성은 여전히 있습니다.
특히 금융, 구매, 예약, 개인정보와 관련된 작업은 최종 결과를 직접 확인하는 것이 중요합니다.
□ 중요한 정보는 AI 답변만 믿지 않기
□ 결제 전 상품·가격·수량 직접 확인하기
□ 개인정보가 포함된 화면 공유 주의하기
□ AI가 실제로 실행한 작업 결과 확인하기
□ 기능이 보이지 않는다면 계정·기기·지역별 제공 여부 확인하기
특히 Gemini의 새로운 기능은 한 번에 모든 사용자에게 제공되는 것이 아니라 단계적으로 출시되는 경우가 있습니다. 따라서 다른 사람의 화면에는 보이는 기능이 내 Gemini에는 아직 나타나지 않을 수도 있습니다.
11. 자주 묻는 질문
A. 현재 Gemini Live는 Android와 iPhone/iPad에서 사용할 수 있으며, Chrome에서도 Live 대화를 사용할 수 있습니다. 제공되는 기능은 기기와 환경에 따라 차이가 있을 수 있습니다.
A. 지원되는 Gemini Live 환경에서는 화면 공유가 가능합니다. 현재 보고 있는 화면이나 카메라를 Gemini에게 보여주면서 질문할 수 있습니다.
A. 일부 Android 기기와 지원되는 앱에서는 화면 자동화를 이용해 여러 단계의 작업을 처리할 수 있습니다. 현재 지원 범위가 제한되어 있고 순차적으로 제공되고 있습니다.
A. Deep Research는 여러 자료를 조사해 보다 긴 형태의 보고서를 만드는 데 초점을 맞춘 기능입니다. Google 검색을 비롯해 지원되는 추가 자료를 연구 소스로 사용할 수 있습니다.
A. 같은 유형의 작업을 반복하는 사람에게 유용합니다. 미리 역할과 지침을 설정해두면 매번 같은 설명을 다시 입력하지 않아도 됩니다.
12. 마무리
Gemini는 단순히 질문에 답해주는 AI에서 점점 말을 듣고, 화면을 보고, 자료를 조사하고, 다른 도구를 이용해 작업을 도와주는 AI로 변화하고 있습니다.
특히 Gemini Live를 이용하면 스마트폰을 들고 타이핑하지 않아도 자연스럽게 대화할 수 있고, 카메라와 화면 공유를 활용하면 현재 보고 있는 상황을 기준으로 질문할 수 있습니다.
여기에 Deep Research, Canvas, Gems, 연결된 앱과 화면 자동화 기능까지 활용하면 단순한 검색이나 문장 생성보다 훨씬 다양한 작업에 Gemini를 사용할 수 있습니다.
대화가 필요하면 Live,
조사가 필요하면 Deep Research,
결과물을 만들어야 하면 Canvas,
반복 작업이라면 Gems,
앱 작업이 필요하면 연결된 앱과 지원되는 자동화 기능을 사용하는 식으로 목적에 맞게 선택하면 됩니다.
댓글 쓰기