وبلاگ

HMD Global هفته گذشته در آستانه کنگره جهانی موبایل (MWC) از پنج گوشی رونمایی کرد، اما یکی از آنها به طور خاص همه تیترها را به خود اختصاص داد. این البته نوکیا 9 پیور ویو بود، اولین گوشی هوشمند رایج با دوربین پنجگانه در پشت. این گوشی هوشمند دارای دو سنسور رنگی (RGB) و سه سنسور تک رنگ 12 مگاپیکسلی است که همگی دارای دیافراگم f/1.82 و میدان دید یکسان هستند.

همچنین نشان دهنده احیای نام تجاری PureView است که برای اولین بار در آن دیده شد نوکیا 808به دنبال نوکیا لومیا 1020 (به جز چند گوشی دیگر لومیا)، که هر دو دارای سنسورهای 41 مگاپیکسلی هستند. در این معنا، نوکیا 9 پیور ویو تلفنی است که بسیاری از آن زمان تاکنون منتظر آن بوده اند HMD Global برند نوکیا را احیا کرد کمی بیش از دو سال پیش

” نوکیا پراناو شروف، مدیر استراتژی و برنامه ریزی نمونه کارها جهانی می گوید: HMD Global. «آیا PureView برمی‌گردد، با PureView چه کار می‌کنید؟ وقتی وارد دنیای ما شدیم تقریباً مثل یک انتظار بود اندروید. ما این کار را انجام دادیم سیمبین. ما این کار را روی ویندوز انجام دادیم. سوال این بود که با اندروید چه کار خواهی کرد؟

سازندگان به طور کلی دو مسیر متفاوت را با تنظیمات دوربین چند لنز در پیش گرفته اند – اولین مورد شامل ارائه انواع مختلف لنز برای استفاده در سناریوهای مختلف است. رویکرد دیگر شامل ترکیب داده‌های حسگرهای مختلف برای ایجاد تصویری است که (در حالت ایده‌آل) اطلاعات بیشتری نسبت به یک حسگر واحد دارد.

«راه های مختلفی برای انجام آن وجود دارد. شما می توانید راه حل تصویربرداری خود را مانند یک چاقوی ارتش سوئیس پیکربندی کنید – هدف خاصی دارید، لنز مورد نیاز خود را بیرون می آورید و آن را پیکربندی می کنید. بنابراین، پرایم، تله فوتو، یا فوق عریض و غیره وجود دارد.» شروف اضافه می کند. “یا پس از آن ما می خواستیم پیشگام باشیم، چیزی شبیه به آن بود.”

در حالی که این رویکرد به خودی خود به هیچ وجه جدید یا پیشگام نیست، استفاده از پنج حسگر در این مشکل مطمئناً ابتدا یک صنعت است و چالش های منحصر به فرد خود را ارائه می دهد.

Shroff ادامه می دهد: “پنج سنسور مشابه، با مشخصات مشابه، دو RGB، سه مونو، اما نور زیادی را جذب می کنند که معمولاً در گوشی های هوشمند ندیده اید.” “و سپس همه.” [sensors] حداقل روی یک عکس در یک زمان کلیک می کند.

بنابراین هر بار که یک عکس می گیرید حداقل شصت مگاپیکسل داده دارید، اما در تنظیمات خاصی – اگر عکس شما به گونه ای باشد که نور خورشید بسیار روشن و نقاط بسیار تاریک داشته باشید، می توانید تا 240 مگاپیکسل داده داشته باشید. “

دلیل آن این است که Nokia 9 PureView طوری پیکربندی شده است که تا چهار فریم مختلف را از هر سنسور، با نوردهی متفاوت، هر بار که روی عکس کلیک می‌کنید، ثبت کند، اگر الگوریتم تشخیص دهد که برای گرفتن لحظه ضروری است. این شامل ساخت بسیاری از فناوری‌های سفارشی می‌شود، و Gadgets 360 با Juho Sarvikas، مدیر ارشد محصول – HMD Global صحبت کرد تا بفهمد چگونه همه چیز برای ارائه این تجربه تصویربرداری پیشرفته با هم ترکیب می‌شود.

سارویکاس می گوید: «پنج سنسور سونی، 1.25 میکرون، همانطور که گفتم، سه سنسور تک رنگ، دو سنسور RGB هستند. ما تجزیه و تحلیل دقیقی انجام دادیم، مثلاً از نظر کیفیت تصویر، مزایایی که از مقادیر مختلف حسگرها می‌بریم، و در طول فرآیند توسعه، موقعیت‌های خود را تغییر دادیم.»

در پایان، HMD روی پیکربندی قرار گرفت که در آن سنسورهای رنگی در وسط قرار دارند (تحت نام تجاری ZEISS)، درست زیر یک سنسور تک رنگ، با دو سنسور تک رنگ دیگر در دو طرف. در مورد تعداد سنسورها، Sarvikas می‌گوید که آزمایش آنها «بازدهی رو به کاهش» را فراتر از پنج حسگر نشان می‌دهد.

Sarvikas اضافه می‌کند: «در ساخت‌های مختلف، ما آن را به حرکت ادامه دادیم زیرا بر کیفیت تصویر تأثیر می‌گذارد و همچنین از منظر الگوریتم تأثیر می‌گذارد».

ترکیب اطلاعات از چندین حسگر شامل الگوریتم های پیچیده ای است که از جمله به دانستن موقعیت نسبی حسگرها در یک صفحه سه بعدی بستگی دارد. یک تفاوت جزئی در موقعیت یک لنز می تواند نتایج را خراب کند، بنابراین HMD مجبور شد ترتیبات خاصی را برای پاسخگویی به تغییرات اجتناب ناپذیر فرآیند تولید انجام دهد.

چه چیزی هر نوکیا 9 PureView را منحصر به فرد می کند
سارویکاس توضیح می‌دهد: «نکته جالب این است که یک مجموعه تک دوربینی است – بنابراین یک ماژول است که ما مجبور بودیم به طور کامل آن را توسعه دهیم یا مشخص کنیم. یکی از چیزهایی که زمان زیادی برای کالیبره کردن طول کشید این است که هیچ اعوجاجی در ماژول وجود ندارد – همه چیز باید در یک صفحه باشد و سپس همه آنها باید در یک زمان کالیبره شوند.

او ادامه می دهد: “و هر نوکیا 9 PureView همیشه تغییرات کوچکی دریافت می کنید.” «تکثیر دقیقاً مشابه در تولید غیرممکن است [thing]بنابراین ما مجبور شدیم یک سیستم برای آزمایش تراز دقیق هر ماژول در فرآیند تولید ایجاد کنیم و سپس نرم‌افزار تطبیقی ​​داشته باشیم که بتوانیم داده‌ها را از ابزار کالیبراسیون تغذیه کنیم – همه اینجا، اینجا، اینجا قرار می‌گیرند.

برای مثال، حتی به عنوان یک شیب کوچک و بسیار ظریف، همیشه درجاتی از آن وجود دارد. ما این را آزمایش می‌کنیم، مقادیر هر سنسور را مستند می‌کنیم و آن را به نرم‌افزار برمی‌گردانیم، که سپس بر اساس آن داده‌ها کالیبره می‌شود.”

سارویکاس می افزاید: “این یک بار انجام می شود، در مرحله تولید، اما همه افراد منحصر به فرد هستند، بنابراین شما باید بتوانید به صورت پویا آن را حساب کنید.” او می گوید تصمیم به استفاده از پنج دوربین یکسان گرفته شد زیرا دوربین های نامتقارن راه حل را پیچیده تر می کند.

مشارکت با سوتلینا
برای توسعه Nokia 9 PureView، HMD با Light، شرکتی که پشت آن قرار دارد، شریک شد دوربین L16 با 16 سنسور 13 مگاپیکسلی مجزا که بر اساس یک اصل مشابه کار می کند. از سارویکاس پرسیدیم که چه نوری روی میز می آورد؟

آی پی آنها نحوه آموزش است [multiple] دوربین ها [at the same time] بسته به صحنه چه باید کرد و سپس چگونه ترکیب تصویر را انجام داد.” او توضیح می دهد. برای انجام این کار، آنها همچنین تراشه ASIC سفارشی خود را توسعه داده اند.

سخت افزار از آنهاست. تراشه از Light است و ما مجوز راه‌حل نرم‌افزاری آن‌ها را صادر کرده‌ایم، که البته مجبور شدیم کاملاً آن را تطبیق دهیم و تغییر دهیم، زیرا L16 با دوربین ما در اینجا کاملاً متفاوت است، اما همان الگوریتم، همان IP است که برای راه‌حل ما اقتباس شده است. ،” او ادامه می دهد.

سپس لایت داده‌ها را سازماندهی می‌کند و آن‌ها را به روشی که کوالکام می‌تواند درک کند به کوالکام می‌رساند. و این به ISP می رود. اما سپس پردازش توسط کوالکام انجام می‌شود و دوباره با الگوریتم‌های همجوشی نور، ISP ضبط را کنترل یا هماهنگ می‌کند.

همه اش را بگذار کنار هم
سپس سارویکاس برخی از کارهای انجام شده را برای به حداقل رساندن مصرف انرژی توسعه می دهد.

او توضیح می‌دهد: «یک تلفن هوشمند معمولی بیشتر یا تمام پردازش تصویر را از روی پردازنده انجام می‌دهد، که اگر یک عکس می‌گیرید یا یک یا دو تصویر می‌خواهید خوب است. اما اگر به سمت ادغام چندین تصویر حرکت کنید، دیگر امکان پذیر نیست زیرا پردازش زمان زیادی می برد و همچنین از نظر مصرف انرژی بسیار ناکارآمد است.

بنابراین به جای آن از DSP، پردازنده سیگنال دیجیتال استفاده می کنیم. خطوط لوله متعددی وجود دارد. اگر بخواهید به اندازه CPU گسترده نیستند، اما تعداد زیادی وجود دارد. این در واقع یک طراحی بسیار خوب برای کاهش نویز است زیرا DSP برای همین طراحی شده است. و سپس ده برابر کمتر انرژی مصرف می کنیم.»

و سپس GPU نقشه‌برداری عمق را انجام می‌دهد. بنابراین به موازات آن یک نقشه 12 مگاپیکسلی با نمای کامل و عمق با وضوح کامل محاسبه خواهد کرد.

تا 240 مگاپیکسل داده ضبط کنید
ما از Sarvikas می‌خواهیم تا تأیید کند که آیا این تنظیمات واقعاً داده‌های 240 مگاپیکسلی را در سناریوهای خاصی ضبط می‌کند یا خیر، چیزی که Shroff قبلاً به آن اشاره کرد، و همچنین زمان و نحوه وقوع آن.

“آره درسته. همیشه حداقل یکی هست [frame] از همه [sensor]اما پس از آن بسته به صحنه و شرایط نوری و همه اینها، یک کاری که ما نیز انجام خواهیم داد این است که حتی در شرایط فلاش خوب، معمولاً چندین عکس می گیریم، اما اگر مثلاً اجسامی در حال حرکت هستند، ممکن است نادیده بگیریم. برای جلوگیری از تاری حرکت، ما فقط می توانیم پنج را ادغام کنیم [one from each sensor]سرویکاس توضیح می دهد. اما اگر اینطور نباشد، می‌تواند مانند ده عکس باشد که روی هم قرار گرفته‌اند و مقادیر نوردهی متفاوت هستند، به این ترتیب محدوده دینامیکی به دست می‌آید.»

بنابراین آیا حسگرهای RBG و تک رنگ همیشه با هم کار می کنند یا سناریوهای خاصی وجود دارد که یکی یا دیگری می تواند وارد عمل شود؟

«همیشه همه با هم تیراندازی می کنند. ما هرگز به صورت انفرادی کار نمی کنیم، بنابراین همیشه همه چیز است. “شما یک عکس رنگی اصلی با عکسی که در وسط قرار دارد می گیرید و سپس جزئیات را از بقیه عکس ها پر می کنید. این به ما کمک می کند تا نویز را کاهش دهیم، زیرا نویز زمانی رخ می دهد که داده ای وجود نداشته باشد، درست است.

پس روشی که گوشی‌های هوشمند معمولاً با نویز برخورد می‌کنند، صاف کردن آن است.» آنها پیکسل های اطراف آن را می گیرند و حدس می زنند که چیست. اما نتیجه آن این است که جزئیات را از دست می دهید. ما مجبور نیستیم حدس های زیادی بزنیم زیرا در واقع اطلاعاتی در مورد آن یک پیکسل از بسیاری از تصاویر دیگر داریم.

محدودیت ها
یکی از محدودیت‌های این فناوری در شکل کنونی آن این است که هنگام گرفتن عکس با استفاده از هر پنج حسگر به طور همزمان، چندین ثانیه تاخیر وجود دارد. سارویکاس می گوید این به این زودی ها از بین نمی رود.

“این نسل، [Snapdragon] 845، ما آن را بهینه سازی کرده ایم، اما این یک مبادله بین میزان داده ای است که پردازش می کنید، به عنوان مثال. کیفیت تصویر و اینکه چقدر می خواهید صبر کنید،” او توضیح می دهد. «البته می‌توانیم حالت عکس فوری یا چیزی شبیه به آن را در جایی که از یک یا دو دوربین استفاده می‌کنیم، فعال کنیم، که مطمئن نیستم [useful]زیرا ما در حال حاضر در هر پنج تجربه مستمر داریم.’

چند ماه پیش می‌دانستیم که با پردازش در جایی بین چهار تا شش ثانیه فرود می‌آییم، فقط محاسبه کنید، می‌دانستیم که طول می‌کشد. از 10+ پایین آمدیم [seconds]شاید 12 تا 15 ثانیه، تا جایی که الان هستیم، و البته باید مصرف انرژی را نیز بهینه کنیم.”

راه آینده؟
Ajey Mehta، معاون رئیس جمهور و رئیس کشور هند – HMD Global می گوید که نوکیا 9 PureView آغاز فصل جدیدی در نوآوری برای HMD است و امیدوار است این پیشرفت ها در نهایت به دستگاه های ارزان قیمت نیز برسد.

“[The Nokia 9 PureView] مهتا به گجت 360 گفت: “بیش از این که این یک گوشی فوق العاده است، روی بقیه نمونه کارها تاثیر می گذارد، که اگر گوشی ای وجود داشته باشد که وجود داشته باشد، واقعا کل داستان تصویربرداری را هدایت می کند.” می تواند چنین کارهای بزرگی را با تصاویر انجام دهد، سپس بقیه نمونه کارها نیز می توانند از نظر کیفیت تجربه تصویر مطابقت داشته باشند و از آن پیروی کنند.”