واحد خبر mobile.ir : وقتی سخن از دوربین گوشی‌های هوشمند به میان می‌آید، سال‌هاست که همه چیز به سخت‌افزار ختم نشده و عوامل نرم‌افزاری نقشی کلیدی در این عرصه ایفا می‌کنند. طی سال‌های اخیر بسیاری از پیشرفت‌های دوربین گوشی‌های همراه ریشه در فناوری عکس‌برداری پردازشی داشته است. استفاده از این فناوری آن‌قدر گسترش یافته که می‌توان تمام ادعا کرد تمامی تصاویر گرفته شده توسط گوشی‌های هوشمند امروزی به صورت پیش‌فرض با بهره‌گیری از روش‌های عکس‌برداری پردازشی دست‌کاری شده و بهبود پیدا می‌کنند. به لطف همین فناوری‌ فاصله کیفی میان دوربین‌های کوچک به کار رفته در دستگاه‌های همراه با دوربین‌های دیجیتالی بزرگ‌تر، نسبت به گذشته بسیار کم‌تر شده است.

تفاوت عکس‌برداری پردازشی با عکس‌برداری سنتی

در یک دوربین که به روش سنتی عکس‌برداری می‌کند، با فشرده شدن (یا رها شدن) دکمه شاتر در کسری از ثانیه نور با عبور از لنز دوربین به فیلم یا حسگر تابیده و تصویر روی آن ثبت می‌شود. در این روش عواملی مانند نوع لنز، موقعیت آن نسبت به فیلم یا حسگر و میزان نور عبور داده شده، تعیین کننده این خواهند بود که تصویر گرفته شده چگونه به نظر برسد. برای زوم و درشت‌نمایی از لنزهایی با فاصله کانونی زیاد به نام لنز تِله‌فوتو (telephoto) استفاده شده و برای تصویربرداری از مناظر گسترده، لنزهایی با فاصله کانونی بسیار کوتاه‌تر به کار گرفته می‌شوند. همچنین با کنترل دهانه دیافراگم، می‌توان فوکوس را به صورت نوری تنظیم کرد. با رسیدن نور به فیلم یا حسگر دوربین، اجزای حساس به نور در آن‌ها تحت تاثیر قرار گرفته و تصویر را ثبت می‌نمایند. بنابراین در روش سنتی، کیفیت و نحوه عکس‌برداری تنها از طریق خصوصیات فیزیکی اجزای دوربین قابل کنترل بوده و پس از ثبت تصویر، امکان تغییر آن وجود نخواهد داشت.

اما در گوشی‌های هوشمند و دوربین‌های دیجیتال، تصویری که روی حسگر نقش می‌بندد، به حالت دیجیتال (صفر و یک) درآمده و روی حافظه‌های کامپیوتری نگهداری می‌شود. بدین ترتیب اکثر اطلاعات تصویر چه در زمان عکس‌برداری و چه پس از آن، قابل دست‌کاری و تغییر خواهد بود. در عکس‌برداری پردازشی فرآیند تصویربرداری تنها به عملیات نوری و فیزیکی خلاصه نشده و گام‌های بیش‌تری دارد. در این روش علاوه بر تصویر پایه، اطلاعاتی جانبی همچون خصوصیات رنگ‌ها، شدت نور و فاصله اجزای صحنه نیز به کمک حسگرها دریافت می‌شود. همچنین ممکن است برای گرفتن یک عکس واحد، چندین تصویر با استفاده از لنزهای مختلف و سطوح نوری متفاوت ثبت شود. سپس این اطلاعات با بهره‌گیری از نرم‌افزارها و واحدهای پردازنده ویژه در یک دستگاه هوشمند مورد پردازش قرار می‌گیرند تا امکان خلق تصویر نهایی با کیفیت و جزئیاتی بیش‌تر را فراهم آورند. امروزه داغ‌ترین و مهم‌ترین کاربرد عکس‌برداری پردازشی در گوشی‌های هوشمند است. در واقع تصاویر زیبایی که شما در گالری گوشی خود می‌بینید، نتیجه به‌کارگیری همین فناوری بوده و بدون کمک آن، کیفیت تصاویر ثبت شده با دوربین‌های کوچک گوشی شما هرگز نمی‌توانست به این خوبی باشد. پیشرفت‌ سریع و چشم‌گیر دوربین گوشی‌های هوشمند در سال‌های اخیر را می‌توان تا حد زیادی مدیون عکس‌برداری پردازشی و بهبودهای نرم‌افزاری مربوط به آن دانست. اغلب تولیدکنندگان گوشی‌های هوشمند از جمله اپل، سامسونگ و گوگل، با تمرکزی ویژه و به طور پیوسته در حال بهبود قابلیت‌های عکس‌برداری محصولات خود بوده و در عین حال به ندرت دست به تغییرات اساسی در خصوصیات فیزیکی دوربین‌های به کار رفته در آن‌ها می‌زنند.

چرا به عکس‌برداری پردازشی نیاز داریم؟

فرآیند عکس‌برداری دیجیتال را می‌توان به دو بخش اصلی تقسیم کرد، که عبارتند از: عملیات فیزیکی و پردازش تصویر. عملیات فیزیکی که در بخش قبل به آن اشاره شد، متاثر از خصوصیات فیزیکی دوربین مانند اندازه حسگر، سرعت لنز و فاصله کانونی آن است. دوربین‌های سنتی (مانند دوربین‌های DSLR) با بهره‌گیری از حسگرهای بسیار بزرگ، لنزهای سریع و قابلیت تعویض لنز، در بخش فیزیکی و ثبت نوری تصویر درخششی ویژه‌ دارند. درحالی‌که دوربین‌های به کار رفته در گوشی‌های هوشمند از نظر فیزیکی محدود بوده و برای ارتقای کیفیت تصاویر ناچار به تمرکز بیش‌تر روی بخش دوم فرآیند عکس‌برداری دیجیتال، یعنی پردازش تصویر هستند. جایی که پای نرم‌افزار به میان آمده و سعی می‌شود تا با استفاده از روش‌های پردازشی، کیفیت تصاویر بهبود داده شود.

مهم‌ترین محدودیت عکس‌برداری در گوشی‌های هوشمند، کمبود فضای فیزیکی برای دوربین آن‌هاست. سال‌هاست که تولیدکنندگان گوشی‌های هوشمند برای افزایش زیبایی و قرارگیری بهتر این دستگاه‌ها در جیب، اندازه فیزیکی آن‌ها را به‌خصوص در بحث ضخامت کوچک و کوچک‌تر کرده‌اند. در نتیجه فضای موجود در داخل گوشی‌ها برای جای دادن دوربین کم‌تر شده، تا جایی که حتی در سال‌های اخیر شاید بیرون زدن ماژول دوربین از بدنه بوده‌ایم. با این محدودیت فیزیکی شدید، در عمل امکان افزایش اندازه حسگر و لنز چندان فراهم نبوده و همین مساله موجب پیشرفت پرشتاب عکس‌برداری پردازشی شده است. در این سال‌ها تولیدکنندگان تراشه‌های گوشی‌های هوشمند توجه ویژه‌ای به پردازش تصویر داشته و هوش مصنوعی نیز به یاری عکس‌برداری پردازشی آمده است. دیگر محدودیت همیشگی دوربین گوشی‌های هوشمند نسبت به دوربین‌های سنتی و حرفه‌ای، ناممکن بودن تعویض لنز در آن‌هاست. مشکلی که در سال‌های اخیر از طریق تجهیز این دستگاه‌ها به چندین دوربین با لنزهای مختلف تا حد زیادی حل شده است. در واقع تولیدکنندگان گوشی‌های هوشمند سعی دارند تا محدودیت‌ فیزیکی گوشی‌های هوشمند را از یک سو با افزایش تعداد دوربین‌ها و از سوی دیگر با ارتقای عکس‌برداری پردازشی جبران نمایند. افزایش چشم‌گیر توان پردازشی تراشه‌های همراه، پیشرفت هوش مصنوعی و بهبود قابلیت‌های نرم‌افزاری گوشی‌های هوشمند در سال‌های اخیر، این دستگاه‌ها را قادر ساخته است تا تصاویر دوربین‌های مختلف را به طور هم‌زمان دریافت کرده و با پردازش انبوهی از اطلاعات، تصویر نهایی را با کیفیتی خیره کننده تولید نمایند.

البته چالش دیگری نیز در عکس‌برداری با گوشی‌های هوشند وجود دارد که بیش‌تر به کاربر مربوط می‌شود. بر خلاف کاربران دوربین‌های سنتی و حرفه‌ای، کاربران گوشی‌های هوشمند اغلب دانش چندانی در زمینه عکس‌برداری نداشته و در هنگام استفاده آن‌ها از دوربین تلفن همراه، نمی‌توان روی مهارت‌شان در انتخاب زاویه مناسب، تنظیم ISO، فوکوس صحیح و ثابت نگاه داشتن دوربین حساب باز کرد. در این‌جا نیز عکس‌برداری پردازشی با روش‌ها و قابلیت‌های مختلفی مانند فوکوس خودکار، شناسایی و ردیابی عناصر تصویر، تشخیص میزان نور محیط و تثبیت دیجیتالی تصویر به کمک کاربر آمده و سعی در جبران این قبیل مشکلات دارد.

فناوری‌های مهم عکس‌برداری پردازشی در گوشی‌های هوشمند

امروزه از فناوری‌های مختلفی در عکس‌برداری پردازشی برای بهبود تصاویر دوربین در گوشی‌های هوشمند استفاده می‌شود. برخی از این فناوری‌ها عبارتند از pixel binning ،focus stacking ،image stacking و neural network که در این قسمت به معرفی اختصاری هر یک از آن‌ها خواهیم پرداخت.

پشته‌سازی (Stacking)

یکی از مهم‌ترین فناوری‌های به کار رفته در عکس‌برداری پردازشی، روش پشته‌سازی یا stacking است. در این روش، ابتدا چندین عکس در زمان‌های مختلف، با لنزهای گوناگون یا با میزان نوردهی متفاوت توسط دوربین گرفته می‌شود. سپس با استفاده از نرم‌افزار و الگوریتم‌های ویژه هوش مصنوعی، این تصاویر با هم ترکیب می‌شوند تا تصویری با کیفیت و میزان جزئیات بالاتر را خلق نمایند. اغلب گام‌های بلند سال های اخیر در زمینه عکس‌برداری پردازشی و قابلیت‌های نرم‌افزاری دوربین گوشی‌های هوشمند، مرهون همین روش پشته‌سازی تصویر است. به عنوان نمونه، قابلیت معروف عکس‌برداری HDR -- که از خصوصیات مهم در دوربین گوشی‌های هوشمند محسوب می‌شود -- بر مبنای همین روش بنا نهاده شده است. از آن‌جا که دامنه دینامیکی (dynamic range) یک عکس به میزان نوردهی آن محدود می‌شود، با فناوری HDR چندین عکس در سطوح نوردهی مختلف گرفته شده و سپس با ترکیب تیره‌ترین و روشن‌ترین نقاط تصویر، عکسی با محدوده رنگی وسیع‌تر یا به اصطلاح با دامنه دینامیکی بالا (high dynamic range) خلق می‌شود. پشته‌سازی فوکوس یا focus stacking نیز دیگر روش بهبود تصویر در عکس‌برداری پردازشی است که از همان منطق پشته‌سازی بهره می‌گیرد. در این روش چندین عکس با فاصله فوکوس‌های مختلف ترکیب می‌شوند تا تصویری با عمق میدان (DoF) بیش‌تر را تشکیل دهند.

ترکیب پیکسل (Pixel Binning)

دیگر فناوری نرم‌افزاری مهمی که در حال حاضر برای ارتقای عملکرد دوربین گوشی‌های هوشمند مورد استفاده قرار می‌گیرد، قابلیت ترکیب پیکسل یا pixel binning نام دارد. این روش به طور ویژه در دوربین‌های مجهز به حسگرهایی با رزولوشن (مگاپیکسل) بالا کاربرد داشته و در آن به جای پشته‌سازی و ترکیب چند تصویر با یک‌دیگر، پیکسل‌های هم‌جوار در یک تصویر واحد که رزولوشن بسیار بالایی دارد، با هم ترکیب می‌شوند. نتیجه این فرآیند، تصویری با رزولوشن پایین‌تر خواهد بود که از جزئیات بیش‌تر و نویز کم‌تر برخوردار است. بنابراین در صورت استفاده گوشی هوشمند از این روش، ممکن است با وجود بهره‌مندی از یک دوربین 64 مگاپیکسلی، در عمل تصویری 16 مگاپیکسلی به شما تحویل داده شود.حال شاید این سوال برای شما پیش بیاید که ترکیب پیکسل‌ها و کاهش رزولوشن تصویر چگونه می‌تواند به بهبود کیفیت عکس کمک کند؟ مگر قرار نبود که مگاپیکسل بیش‌تر به معنای بالاتر بودن کیفیت دوربین باشد؟ چرا تولیدکنندگان از یک طرف رزولوشن دوربین را بالا برده و از طرف دیگر رزولوشن عکس‌ها را پایین می‌آورند؟ پاسخ این پرسش‌ها نیازمند توضیحات فنی مفصلی‌ست که شاید ارتباط چندانی به موضوع مورد نظر ما در این مطلب نداشته باشد.

به طور خلاصه می‌توان گفت که با توجه به اندازه کوچک گوشی‌های هوشمند، اندازه فیزیکی حسگر دوربین‌ به کار رفته در آن‌ها همواره محدود بوده است. به همین دلیل تولیدکنندگان سعی کرده‌اند تا با کاهش اندازه پیکسل‌ها در حسگر دوربین‌های همراه، این محدودیت فیزیکی را به نوعی جبران کرده و رزولوشن تصویر را از آن طریق افزایش دهند. اما پیکسل‌های کوچک مشکلات مختلفی را با خود به همراه دارند که از آن جمله می‌توان به کاهش کیفیت تصاویر در محیط‌های کم‌نور اشاره کرد. راه‌کار فیزیکی برای حل این مشکلات، افزایش اندازه دوربین یا کاهش رزولوشن آن است. به همین دلیل شاهد آن هستیم که برخی تولیدکنندگان مطرح گوشی‌های هوشمند مانند اپل و گوگل، به دوربین‌هایی با رزولوشن‌ پایین‌تر اکتفا کرده و در عوض به دنبال افزایش اندازه حسگر دوربین هستند. اما به طور کلی، محدودیت اندازه فیزیکی دوربین گوشی‌های هوشمند، دست تولیدکنندگان را تا حد زیادی در این زمینه بسته است. این‌جاست که عکس‌برداری پردازشی با روش‌هایی مانند ترکیب پیکسل، سعی در حل این مشکل دارد.

استفاده از هوش مصنوعی

شکوفایی دانش هوش مصنوعی و یادگیری ماشین در سال‌ها اخیر بسیاری از بخش‌های دنیای فناوری و به طور ویژه فناوری‌های همراه را تحت تاثیر قرار داده است. عکس‌برداری پردازشی در گوشی‌های هوشمند یکی از حوزه‌هایی‌ست که به خوبی از این دانش بهره گرفته و به لطف آن پیشرفت قابل ملاحظه‌ای را تجربه کرده است. امروزه اغلب تراشه‌های پردازشی (SoC) به کار رفته در گوشی‌های هوشمند، در کنار واحد پردازش مرکزی یا همان CPU، از یک پردازنده سیگنال تصویری (ISP) همراه با یک واحد پردازش عصبی (NPU) برخوردارند. این توانمندی سخت‌افزاری در کنار الگوریتم‌های ویژه عکس‌برداری پردازشی، درهای جدیدی را به روی طراحی‌کنندگان سیستم‌های دوربین‌ گوشی‌های هوشمند گشوده است.

گوگل یکی از شرکت‌های پیشرو در زمینه استفاده از هوش مصنوعی برای عکس‌برداری پردازشی و امور مربوط به مدیریت و تحلیل تصاویر بوده است. از عملکرد تحسین‌بر‌انگیز Google Photos در شناسایی عناصر مختلف تصاویر، دسته‌بندی عکس‌ها بر اساس محتوا و استخراج اطلاعات مختلف از آن‌ها گرفته تا کارایی بسیار خوب اپلیکیشن دوربین گوگل در بهبود کیفیت تصاویر گرفته شده با گوشی‌های هوشمند، همگی مدیون بهره‌گیری تیم‌های مهندسی گوگل از دانش هوش مصنوعی و یادگیری ماشین هستند. نتایج عالی حاصل از تصاویر گرفته شده با نسل‌های مختلف گوشی‌های هوشمند خانواده Google Pixel در شرایطی که این دستگاه‌ها از نظر سخت‌افزار دوربین برتری قابل توجهی نسبت به رقبای خود ندارند، شاهدی‌ست بر موفقیت آن‌ها در بهره‌گیری از هوش مصنوعی و عکس‌برداری پردازشی به منظور بهبود تصاویر دریافتی از دوربین‌ها. استفاده از فناوری‌های یادگیری ماشین در عکس‌برداری پردازشی موجب می‌شود تا سیستم هوش مصنوعی به تدریج آموزش دیده و روز‌به‌روز عملکرد بهتری از خود نشان دهد. به عنوان نمونه، یکی از نقاط قوت دوربین گوشی‌های هوشمند گوگل، قابلیت دید در شب یا Night Sight است که به کمک هوش مصنوعی امکان ثبت تصاویری خیره‌کننده را در محیط‌های کم‌نور فراهم می‌آورد. بدین ترتیب که چندین تصویر با نوردهی بالا گرفته شده و با استفاده از الگوریتم‌های یادگیری ماشین، بهترین تراز سفیدی و سطوح رنگی برای تصویر نهایی محاسبه می‌شوند.

شرکت اپل نیز به عنوان یکی از بزرگان دنیای گوشی‌های هوشمند، در سال‌های اخیر توجه ویژه‌ای به هوش مصنوعی و استفاده از آن در عکس‌برداری پردازشی داشته است. در همین راستا این شرکت با معرفی Apple A11 Bionic در سال 2017، تراشه‌های پردازشی دستگاه‌های همراه خود را به یک واحد پردازش شبکه عصبی به نام "موتور عصبی" یا "Neural Engine" تجهیز کرد تا بدین وسیله استفاده کارآمدتر و بهینه‌تر از هوش مصنوعی را در محصولات خود میسر سازد. قابلیت اختصاصی دوربین در 2 نسل اخیر گوشی‌های هوشمند اپل با نام Deep Fusion، نمونه‌ای واضح از به‌کارگیری هوش مصنوعی در عکس‌برداری پردازشی است. قابلیتی که برای ثبت یک عکس باکیفیت و واضح در محیط‌های بسته و کم‌نور، اقدام به ترکیب هوشمندانه 9 تصویر با سطوح نوردهی متفاوت می‌نماید.

نمونه کاربردهای عکس‌برداری پردازشی

حال که با مفاهیم عکس‌برداری پردازشی و فناوری‌های مرتب با آن آشنا شدیم، بد نیست نگاهی به نمونه کاربردهای آن‌ها در گوشی‌های هوشمند بی‌اندازیم. بسیاری از قابلیت‌های موجود در دوربین گوشی‌های هوشمند، نتیجه به‌کارگیری عکس‌برداری پردازشی هستند. در ادامه به معرفی برخی از این کاربردها و قابلیت‌ها خواهیم پرداخت.

حالت پرتره (Portrait Mode)

بدون شک یکی از موفق‌ترین و معروف‌ترین نمونه کاربردهای عکس‌برداری پردازشی در گوشی‌های هوشمند، حالت پرتره یا جلوه بوکه (bokeh) است. دوربین‌های سنتی برای عکاسی پرتره از لنزهایی ویژه بهره گرفته و قادرند تا با فوکوس کردن روی چهره شخص یا یک عنصر مشخص دیگر، اجزای دیگر تصویر که در پس‌زمینه قرار دارند را به صورت تار درآورند. اما لنزهای کوچک به ‌کار رفته در دوربین گوشی‌های هوشمند از نظر فیزیکی امکان چنین کاری را ندارند. به همین دلیل برای جبران این محدودیت سخت‌افزاری، از قابلیت‌های نرم‌افزاری و عکس برداری پردازشی استفاده شده است. بدین ترتیب که با استفاده از الگوریتم‌های هوش مصنوعی یا با کمک یک حسگر عمق، سوژه مورد نظر شناسایی شده و عمق یا فاصله آن نسبت به دیگر اجزای تصویر تخمین زده می‌شود. سپس به کمک این اطلاعات، اجزایی از تصویر که در پشت سوژه قرار دارند، به صورت انتخابی با تکنیک‌های پردازش تصویر تار می‌شوند. به این صورت، جلوه بوکه شبیه‌سازی شده و امکان عکاسی پرتره با گوشی‌های هوشمند به صورت مصنوعی فراهم می‌شود.

حالت شب (Night Mode)

عکاسی در شب یا به طور کلی در محیط‌های تاریک با دوربین‌های سنتی همیشه دشوار و چالش‌برانگیز بوده است. این دوربین‌ها برای ثبت تصاویر به طور کامل متکی به نور بوده و در نتیجه با کمبود نور دچار مشکلاتی جدی می‌شوند. اما دوربین‌های دیجیتال و به ویژه گوشی‌های هوشمند، قادرند تا در محیط‌های کم‌نور با بهره‌گیری از عکس‌برداری پردازشی عملکرد بهتری داشته باشند. این گونه دوربین‌ها برای این منظور از روش پشته‌سازی و فناوری HDR استفاده می‌کنند. شرکت اپل این قابلیت را "حالت شب" یا "Night Mode" نامیده و گوگل از نام "دید در شب" یا "Night Sight" برای آن استفاده می‌کند. دیگر تولیدکنندگان نیز نام‌های مشابهی را برای همین قابلیت برگزیده‌اند. در این حالت برای ثبت یک تصویر در محیط‌ کم‌نور، چندین عکس با سطوح نوردهی مختلف گرفته شده و با یک‌دیگر ترکیب می‌شوند تا عکسی با جزئیات به مراتب بیش‌تر را تشکیل دهند. البته گرفتن تصاویر با نوردهی متفاوت زمان‌بر خواهد بود. زمان مورد نیاز برای عکاسی در حالت شب، بسته به قابلیت‌های سخت‌افزاری و نرم‌افزاری هر گوشی هوشمند، می‌تواند متفاوت باشد. برای ثبت تصاویر با کیفیت در این حالت لازم است که دستگاه در طول این مدت تا حد امکان ثابت نگاه داشته شود. همین مساله را می‌توان نقطه ضعف اصلی این قابلیت محسوب کرد. اگرچه با پیشرفت مداوم پردازنده‌ها و قابلیت‌های هوش مصنوعی در گوشی‌های هوشمند، زمان مورد نیاز برای عکاسی در حالت شب رو به کاهش بوده و در پرچم‌داران جدید به کم‌تر از 2 ثانیه رسیده است. بر همین اساس بعید نیست که در آینده‌ای نه چندان دور شاهد استفاده خودکار دوربین‌ها از حالت شب در محیط‌های کم‌نور و ثبت این نوع تصاویر با زمانی مشابه تصاویر عادی باشیم.

عکاسی نجومی (Astrophotography)

قابلیت عکاسی نجومی از نظر فنی شباهت زیادی به عکاسی در حالت شب داشته و در گوشی‌های خانواده Google Pixel ارائه می‌شود. به کمک این قابلیت می‌توان عکس‌هایی با جزئیات بیش‌تر از آسمان شب ثبت کرد. عکس‌هایی که در آن‌ها ستاره‌ها و دیگر اجزای آسمان به صورتی ویژه مورد تمرکز قرار گرفته و تصویر به گونه‌ای پردازش می‌شود تا شناسایی آن‌ها راحت‌تر باشد. برای ثبت تصاویر در این حالت لازم است که دستگاه همراه با قرارگیری روی یک پایه یا به هر روش دیگر، در طول مدت تصویربرداری ثابت نگاه داشته شود. در گوشی هوشمند Google Pixel 4 از ترکیب 16 تصویر با نوردهی 15 ثانیه‌ای، یک تصویر نجومی با 4 دقیقه نوردهی خلق می‌شود. گوشی‌های Google Pixel 3 و Googe Pixel 3a نیز برای عکاسی نجومی 4 عدد از این تصاویر با نوردهی 15 ثانیه‌ را ترکیب می‌کنند تا به به تصویر نهایی که نوردهی 1 دقیقه‌ای دارد، دست یابند. ذکر این نکته نیز ضروری به‌نظر می‌رسد که در دسامبر 2020 با آپدیت Google Camera 8.1، ویژگی astrophotography به‌دلیل نامشخصی از دوربین Ultra-Wide گوشی‌های Pixel 4a 5G و Pixel 5 حذف شده و تنها در دوربین اصلی قابل استفاده است.

زوم (Zoom)

قابلیت زوم کردن (بزرگ‌نمایی) و دوربین‌های تله‌فوتو (telephoto) به پدیده‌ای جدید در عکاسی با گوشی‌های هوشمند بدل شده‌اند. تا همین چند سال پیش قابلیت زوم نوری (optical zoom) در دستگاه‌های همراه بسیار نادر بوده و اغلب گوشی‌های هوشمند تنها امکان زوم دیجیتال را به صورت محدود و با کیفیت پایین فراهم می‌آوردند. اما در سال‌های اخیر این شرایط به سرعت در حال تغییر است. شرایط فیزیکی و باریک بودن بدنه گوشی‌های هوشمند، جای دادن لنزهایی با قابلیت زوم نوری در آن‌ها را بسیار پیچیده و دشوار می‌نماید. به همین دلیل تولیدکنندگان این دستگاه‌ها به جای تلاش برای اضافه کردن امکان زوم نوری به صورت سنتی، به استفاده از ساختار دوربین‌های دوگانه و چندگانه و البته راه‌حل جدیدتر لنزهای پریسکوپی روی آورده‌اند. بدین ترتیب آن‌ها سعی می‌نمایند تا دوربین‌هایی با لنزهای متفاوت را در گوشی‌ها تعبیه کرده، با بهره‌گیری از عکس‌برداری پردازشی و ترکیب تصاویر این دوربین‌ها، قابلیت زوم نوری را شبیه‌سازی کنند. اغلب گوشی‌های هوشمند امروزی در کنار ماژول دوربین اصلی و عادی، از یک یا حتی چند ماژول تِله‌فوتو بهره می‌گیرند. این دوربین‌‌های تله‌فوتو به لنزی مجهز می‌شوند که قادر است تصاویر را نسبت به ماژول اصلی با بزرگ‌نمایی بیش‌تری ثبت نماید. میزان این بزرگ‌نمایی در دستگاه‌های مختلف متفاوت بوده و تا امروز شاهد استفاده از لنزهایی با بزرگ‌نمایی 2، 3، 5، 8 و حتی 10 برابر در گوشی‌های هوشمند بوده‌ایم. به عنوان نمونه پرچم‌دار فعلی سامسونگ با نام Galaxy S21 Ultra از 2 دوربین تله‌فوتو با قابلیت بزرگ‌نمایی 3 و 10 برابر برخوردار است که یکی از آن‌ها با تجهیز به لنز پریسکوپی قادر به زوم نوری تا 10 برابر بوده و در حالت دیجیتال نیز می‌تواند تا 100 برابر روی سوژه‌ها زوم کند. همچنین Apple iPhone 12 Pro Max به یک دوربین تله‌فوتو با بزرگ‌نمایی 2.5 برابر مجهز شده و امکان زوم دیجیتال 12 برابری دارد.

شبیه‌سازی زوم نوری قابل تنظیم و خلق تصاویری با کیفیت مناسب در حالت بزرگ‌نمایی‌شده، مستلزم بهره‌گیری هم‌زمان از ماژول‌های دوربین مختلف بوده و با چالش‌های پردازشی ویژه‌ای همراه است. به عنوان مثال، تصویر پیش‌نمایشی که هنگام استفاده از اپلیکیشن دوربین به کاربر نمایش داده می‌شود، از دریچه یکی از ماژول‌های دوربین گرفته شده و در زمانی که کاربر اقدام به زوم می‌‌کند، این تصویر به دوربین دیگری منتقل می‌شود. در این حالت برای فراهم آوردن یک تجربه کاربری خوب و پرهیز از تغییرات ناگهایی در هنگام فیلم‌برداری، مطلوب است که جابجایی بین دوربین‌ها به نرمی و بدون ایجاد تغییر شدید در تصویر انجام پذیرد. برای این منظور بایستی تصاویر دوربین‌های مختلف، از نظر نوردهی، فاصله کانونی، تراز سفیدی و برخی خصوصیات دیگر شرایطی مشابه داشته باشند. همچنین هنگام انتقال از دوربین عادی به دوربین تله‌فوتو با بزرگ‌نمایی 2 یا 3 برابر، برای جلوگیری از جهش تصویر به سمت سوژه لازم است که با استفاده از زوم دیجیتال، این فاصله پوشش داده شده و به تدریج طی شود. علاوه بر این، ماژول‌های مختلف دوربین از نظر فیزیکی اندکی با یک‌دیگر فاصله دارند. بنابراین برای این‌که تصویر در هنگام انتقال بین دوربین‌ها دچار جابجایی نشود، بایستی اصلاح و هم‌ترازی‌ مورد نیاز به صورت دیجیتال انجام شود.

به طور کلی می‌توان بخش عمده‌ای از موفقیت دوربین‌های چندگانه و به ویژه بهبود قابلیت زوم در گوشی‌های هوشمند را مدیون عکس‌برداری پردازشی و پیشرفت قابل توجه فناوری‌های مرتبط با آن در سال‌های اخیر دانست.

پانوراما (Panorama)

اغلب گوشی‌های هوشمند امروزی امکان عکاسی در حالت پانوراما را برای کاربران فراهم می‌آورند. در این حالت برای خلق یک تصویر بزرگ با رزولوشن بالا، چندین عکس در کنار یک‌دیگر قرار داده شده و به کمک عکس‌برداری پردازشی در هم ترکیب می‌شوند.

Deep Fusion

فناوری Deep Fusion شرکت اپل اولین بار در سری گوشی‌های هوشمند iPhone 11 به کار گرفته شد. این فناوری با بهره‌گیری از دانش کامپیوتری شبکه‌ عصبی، تا حد زیادی نویزها را کاهش داده و جزئیات تصویر را بهبود می‌بخشد. این قابلیت هنگام عکس‌برداری در محیط‌های بسته با نور کم یا متوسط بسیار مفید و اثرگذار بوده و در چنین شرایطی به صورت خودکار توسط نرم‌افزار دوربین مورد استفاده قرار می‌گیرد. مبنای کار Deep Fusion همان تکنیک پشته‌سازی است. در این فناوری برای خلق عکس نهایی، 9 تصویر با سطوح نوردهی متفاوت در هم آمیخته می‌شوند. برای گرفتن یک عکس در این حالت، دوربین اقدام به ثبت 4 عکس اولیه با نوردهی کم، 4 عکس با نوردهی متوسط و یک عکس با نوردهی طولانی می‌کند.

روش کار قابلیت Deep Fusion در گوشی‌های آیفون بدین ترتیب است که پس از باز کردن اپلیکیشن دوربین و پیش از آن‌که دکمه شاتر (دکمه عکس‌برداری) توسط کاربر فشرده شود، به صورت خودکار 4 عکس اولیه و 4 عکس ثانویه توسط دوربین گرفته شده و در زمان فشرده شدن دکمه شاتر، یک عکس با نوردهی طولانی ثبت می‌شود. سپس موتور عصبی به کار رفته در تراشه پردازشی گوشی هوشمند، تمامی این تصاویر را تحلیل و در هم‌دیگر ترکیب می‌کند. در این فرآیند پردازشی، تمامی 24 میلیون پیکسل‌ موجود در هر یک از این 9 تصویر یک‌به‌یک مورد بررسی و مقایسه با پیکسل‌های متناظر خود در تصاویر دیگر قرار می‌گیرند تا بهترین آن‌ها برای فراهم آوردن بیش‌ترین جزئیات و کم‌ترین نویز در تصویر نهایی انتخاب شوند. جالب این‌‌جاست که کل این فرآیند پردازشی برای هر عکس تنها در یک ثانیه اتفاق می‌افتد. به همین دلیل نایب رئیس بازاریابی بین‌المللی محصولات اپل در رویداد معرفی iPhone 11، این فناوری را "دانش دیوانه‌وار عکس‌برداری پردازشی" خوانده بود.