디바이스 조작 기능

디바이스 영역은 사용자가 오른쪽에서 디바이스와 UIObject Selector 중 선택에 따라 다른 화면을 제공합니다.
Device 탭에서 직접적인 화면 조작을 할 수 있으며, UIObject Selector 탭은 시나리오 제작에 필요한 액션 수행의 주체를 정할 수 있도록 해줍니다. 

디바이스 화면 (Device Tab) #

① 연결된 디바이스의 이름과 상태가 표시됩니다.
② Stego에 연결할 디바이스를 추가합니다.
③ 선택한 디바이스의 실시간 화면을 나타냅니다.
④ 디바이스 조작 버튼 모음입니다.
⑤ Device/UIObject Selector 화면으로 전환합니다.
⑥ 테스트가 실행될 때 결과를 보여주는 창입니다.  

지원하는 Device 조작 기능 #

Device Tab 모드일 때, 지원하는 기능들은 다음과 같습니다.

•   : 화면 분석 버튼
•   : 홈 버튼
•   : 최근 실행 앱 버튼
•   : 뒤로가기 버튼
•   : 전원 (잠금 / 잠금 해제) 버튼
•   : 음량 키우기 버튼
•   : 음량 줄이기 버튼
•   : 가로/세로 모드 화면 전환
•   : Stego에서 Device로 Text 입력 전달
•   : Stego에서 Device 화면 캡처 및 이미지 저장
•   : Device에서 활성화중인 앱의 Package Name / Bundle ID를 복사합니다.
• : 활성화 된 디바이스에 Binary App을 Install/Uninstall 할 수 있습니다.
• : 새로고침 버튼 (Stego와 디바이스 연결을 재시도합니다.)

주의) Android/iOS 유형에 따라 지원하지 않는 기능이 있을 수 있습니다.

화면 분석 도구 #

화면 분석 도구 ()를 클릭하면, 액션을 수행할 Object의 후보군을 보여주는 UIObject Selector 화면으로 이동합니다.

① 스크린샷에서 인식된 결과를 빨간색 점선으로 표시합니다.
② 외부 이미지 URL을 입력하여 화면을 분석합니다.
③ 추가할 UIObject 유형을 선택합니다.
④ Device/UIObject Seletor 화면으로 전환합니다.
⑤ AI Server에 의해 인식된 결과를 보여줍니다.

화면 분석 시작하기 #

화면이나 이미지에서 Object 후보군을 추출하는 방법은 2가지가 있습니다.

•   를 클릭하여 연결된 디바이스의 화면에서 Object 추출
•   를 클릭하여 전달한 이미지 URL에서 Object 추출

먼저, 를 이용한 방법은 디바이스가 연결된 상태에서 밑의 그림과 같이 버튼을 클릭합니다.

를 이용한 방법은 이미지 URL을 이용해 불러온 이미지의 화면을 분석합니다.

이미지 URL로 화면을 분석하면 테스트 실행 결과에서 시나리오 수정 사항이 발견되었을 때,
디바이스를 연결하지 않고  편리하게 시나리오를 수정할 수 있습니다.

(Special Case) 보안 화면 분석하기 #

안드로이드 OS Version 12 이상에서 보안이 필요한 화면에서 ‘FLAG_SECURE’가 적용되어 있는 경우가 있습니다.
이런 경우에는 Device에 보이는 화면이 Black Screen 으로 표시되어 Vision을 통한 화면 분석이 불가능합니다.

하지만 저희는 보안 화면이 있는 경우에도 Accessibility를 사용하여
UIElement를 선택할 수 있게 화면을 분석하는 기능을 지원합니다.

(보안화면 예시 이미지)

iOS 비밀번호 칸 키보드 안보임 #

iOS의 보안 정책으로 비밀번호 칸을 클릭하여 출현한 키보드는 스크린샷에서 보이지 않습니다. 

시나리오 작성에 참고 바랍니다.

키보드 입력 #

미러링 화면으로 메뉴얼 테스트를 편하게 지원하기 위해,
Stego에서 Input 값을 입력하면 디바이스에 입력이 되는 기능을 제공합니다.

① 키보드 UI를 클릭하고,
② 입력을 원하시는 값을 타이핑하고 Send 버튼을 누르면 됩니다.

주의) 키보드가 떠있는 상태에만 입력 가능합니다.

App ID를 알아내는 방법 #

현재 선택한 디바이스 화면에서 활성화된 앱에 대하여, 간단하게 App ID를 알아내는 방법이 있습니다.

① 앱을 실행한 후, App 이라고 되어있는 UI를 클릭해주세요.
② 화면 하단에 App ID가 표시되며, 클립보드에 복사됩니다.

활성화 된 앱에 바이너리 앱 설치 #

개발중인 바이너리 앱은 버튼을 클릭하여,
디바이스에 즉각적인 설치가 가능합니다.

• Install :  PC에 저장된 .apk, .ipa 파일들을 선택하면 자동으로 앱이 설치됩니다.
• Uninstall : 디바이스에 설치된 앱을 APP ID를 입력하여 제거합니다.