26 июня 2020

Сканер LiDAR в iPad Pro 11: разбираемся, что к чему.

By Junko Yoshida 06.05.2020

Apple положила начало гонке сканеров LiDAR, встроив такое устройство в свой iPad Pro 11, и теперь все остальные компании стараются не выпасть из тренда.

Шаг Apple и реакция рынка на этот шаг отозвались громким эхом во всей электронной промышленности. Производители интегральных схем и сенсоров срочно меняют свои дорожные карты, а многие уже даже изменили свою бизнес-модель.

Но что такое на самом деле «сканер LiDAR»? При помощи этого термина Apple обозначает новый сенсор измерения глубины — другими словами, это датчик который распознает объекты в трех измерениях.

«В планшетах и смартфонах LiDAR это, в общем и целом, просто подкатегория 3D-сенсоров», — поясняет ведущий аналитик подразделения фотоники и дисплеев компании Yole Développement Пьер Камбу (Pierre Cambou).

Многие системные разработчики — будь то специалисты по беспилотным автомобилям, смартфонам или планшетам — давно ищут способы добавить информацию о «глубине» к тем пикселям и цветам, которые мы получаем с 2D-датчиков изображений. Так, например, системы LiDAR активно применяются в автомобильной промышленности для измерения и картирования расстояний до предметов вокруг высокоавтоматизированных транспортных средств.

В новом планшете Apple iPad Pro 11 сканер LiDAR используется для создания более профессионально выглядящей дополненной реальности. Для работы с системой выпущен новый комплект для разработчиков Apple ARkit3.5.

Важной отличительной особенностью данного сканера LiDAR является специальная технология, при помощи которой этот датчик может фиксировать и измерять глубину — и именно по этой причине другие производители мобильных устройств, включая Huawei и Vivo, тоже начали работать в этом направлении.

Разные технологии 3D-измерений

В распоряжении системных разработчиков есть несколько технологий 3D измерений — это и стереозрение, и структурированный свет, и «время пролета» (ToF). Более того, технология ToF сейчас может быть реализована двумя разными способами: прямой метод (dToF) и косвенный (iToF). При косвенном методе (iToF) измеряется сдвиг по фазе, а при прямом (dToF) измеряется непосредственно время пролета.

В смартфоне iPhone X реализована технология Face ID на основе метода структурированного света. Для определения глубины инфракрасный датчик излучает 30000 точек, расположенных в виде определенного геометрического узора. Эти точки не видны человеку, но их видит ИК-камера. Точки отражаются от поверхности на разных расстояниях, изначальная структура узора нарушается, и камера считывает эти отклонения.

С появлением iPad Pro 11 3D-измерения стали более комплексными и более точными благодаря датчику dToF (прямой метод). На сегодняшний день iPad Pro от Apple является единственным потребительским устройством, где реализована технология dToF. Многие производители смартфонов для повышения качества фотографий используют технологию iToF (при помощи ToF на фото можно размывать фон), но не dToF.

Метод структурированного света обеспечивает высокую точность измерения глубины, однако минусом этой технологии является сложная постобработка, необходимая для расчета глубины на основе данных об искажениях геометрического узора.

Преимуществом технологии dToF, напротив, является простая постобработка. Однако считается, что ее минус это необходимость использовать высокочувствительные фотодетекторы (такие, как, например, однофотонные лавинные диоды) и крупный форм-фактор, поскольку данная технология должна обеспечить измерение времени пролета при помощи небольшого числа падающих фотонов за одно измерение.

На данный момент технология iToF является самым распространенным методом 3D-измерений. Она обеспечивает высокую точность измерения глубины, простую постобработку и высокое пространственное разрешение. При этом в ней используются компактные фотодетекторы, широко применяемые в 2D-датчиках изображения.

И все же в области 3D-измерений Apple пошла менее проторенным путем. Для Face ID компания выбрала технологию структурированного света, а для дополненной реальности в данный момент применяет dToF.

В мире 3D-измерений все задаются вопросами: «Что такое dToF? Что лежит в основе этой технологии? Кто это придумал?»

System Plus Consulting, подразделение компании Yole Développement, сделало детальный разбор этой технологии на примере модуля 3D-измерений в планшете Apple iPad Pro 11.

В интервью EE Times старший аналитик по технологиям и затратам System Plus Сильвен Аллеро (Sylvain Hallereau) объяснил, что «сканер LiDAR» в планшете iPad Pro 11 состоит из излучателя — поверхностно-излучающего лазера с вертикальным резонатором (VCSEL) от компании Lumentum — и приемника — КМОП-датчика изображения ближнего инфракрасного диапазона (NIR CMOS) от компании Sony, который осуществляет непосредственное изменение времени пролета.

КМОП-датчик изображения ближнего ИК-диапазона на основе массива SPAD от компании Sony

spad.jpg

Приведенные в этой статье картинки КМОП-датчика изображения компании Sony в разрезе, оказались откровением для экспертов, которые следят за развитием фотоники. Одним из них оказался Пьер Камбу (Pierre Cambou) из компании Yole. Он написал в своем блоге, что то, что «представлялось похожим на старую технологию косвенного измерения времени пролета (iToF) при помощи десятимикронных пикселей», на поверку оказалось «первым в мире потребительским продуктом с КМОП-датчиком изображения (CIS) с внутрипиксельным соединением — и да, это массив однофотонных лавинных диодов (SPAD)».

Важным моментом здесь является «внутрипиксельное соединение». Sony впервые интегрировала датчик изображения NIR CMOS со SPAD, используя 3D-штабелирование для датчиков ToF. Внутрипиксельное соединение позволило расположить КМОП-датчик изображения вместе с подложкой ИС. Согласно объяснениям Аллеро, за счет такой интеграции датчик изображения может производить простые расчеты расстояния между планшетом iPad и соответствующими предметами.

Благодаря разработке этого датчика изображения нового поколения (на основе SPAD и NIR CMOS) с пикселями размером 10 микрон и разрешением 30 килопикселей компания Sony заняла достойное место в сегменте dToF.

Однако для Sony это не просто технологический прорыв, это еще и серьезная трансформация бизнеса.

Японский гигант и производитель КМОП-датчиков изображения (CIS) традиционно больше внимания уделял технологиям создания изображения (imaging), а не измерениям (sensing). Однако, как говорит Камбу, «год назад Sony переименовала свое полупроводниковое подразделение в „Imaging & Sensing“. Затем компания реализовала две самостоятельные задачи. Первая — поставка iToF-датчиков компаниям Huawei и Samsung, что принесло ей в 2019 г. порядка $300 млн. Вторая — то, что датчики dToF такой конструкции были выбраны для планшетов Apple iPad».

Камбу подозревает, что датчики dToF могут в конечном итоге оказаться в iPhone. По его мнению, «выручка компании Sony от поставки датчиков в 2020 г., вероятно, превысит $1 млрд., и это в том сегменте, весь объем которого только-только перешагнул рубеж $10 млрд. Этот успешный переход от технологий создания изображений к технологиям измерения является важным фактором долгосрочной успешной работы компании Sony на рынке датчиков CIS. Это станет залогом процветания этого дивизиона и в будущем».

VCSEL от Lumentum

Помимо датчиков CIS от Sony, система LiDAR оснащается вертикальным лазером VCSEL от компании Lumentum. Конструкция этого лазера такова, что все электроды в нем соединяются с массивом излучателей по отдельности.

Аналитик по технологиям и затратам компании System Plus Таха Айари (Taha Ayari) сакцентировал внимание на новой технологической операции под названием «мезаконтакт» (mesa contact), введенной компанией Lumentum при производстве VCSEL. Лазер VCSEL излучает свет с поверхности подложки. Для обеспечения точного излучения требуется точное управление питанием и применение различных систем управления массивами излучателей. По мнению Айари, компания Lumentum добавила эту технологическую операцию для оптимизации функционального тестирования полупроводниковых пластин.

Для генерации импульса и для управления питанием лазера VCSEL и формой луча в излучателе используется ИС-драйвер от Texas Instruments. В данной ИС реализован корпус на базе подложки кристалла (WLCSP) с защитой с 5 сторон.

И наконец, по данным System Plus, на лазере VCSEL расположен новый дифракционный оптический элемент (DOE) от компании Himax. Он отвечает за генерацию геометрического узора точек.

На следующих страницах представлен ряд слайдов компании System Plus, приведенных в качестве иллюстраций к разбору, а также несколько слайдов о рынке устройств LiDAR в целом.