طبقه‌بندی سطح تصویر با استفاده از یادگیری ساختار سلسله مراتبی با شباهت‌های دیداری و معنایی

روش‌های طبقه‌بندی تصویر اغلب بدون در نظر گرفتن ویژگی متمایز هر تصویر، از اطلاعات سطح کلاس استفاده می‌کنند. تصاویری از همان کلاس ممکن است ظاهر متفاوتی داشته باشند. علاوه بر این، ممکن است تصاویر مشابه از نظر معنایی هم‌بسته نباشند. برای حل این مشکلات، در این مقاله، ما یک روش طبقه‌بندی تصویر جدید را با یادگیری خودکار ساختار سلسله مراتبی سطح تصویر (ILHS)با استفاده از تشابه‌ات بصری و معنایی پیشنهاد می‌کنیم. ما تلاش می‌کنیم نمایش‌های جدید را با بررسی تشابه‌ات بصری و معنایی تصویر ایجاد کنیم. تصاویر به صورت سلسله مراتبی دسته‌بندی می‌شوند تا همبستگی‌ها را بررسی کنند. سپس از آن‌ها برای نمایش تصویر استفاده می‌کنیم. تنوع کلاسهای تصویر در هر خوشه برای افزایش تشابه‌ات بصری مورد استفاده قرار می‌گیرد. تشابه‌ات وزن دهی مجدد برای ایجاد نمایش‌های تصویری جدید جمع می‌شوند. ما آزمایش‌ها طبقه‌بندی تصویر را بر روی مجموعه داده Caltech – 256 اجرا کردیم، داده‌های PASCAL VOC 2007 و مجموعه داده PASCAL VOC 2012. نتایج تجربی کارایی روش پیشنهادی را نشان می‌دهند.

Image classification methods often use class-level information without considering the distinctive character of each image. Images of the same class may have varied appearances. Besides, visually similar images may not be semantically correlated. To solve these problems, in this paper, we propose a novel image classification method by automatically learning the image-level hierarchical structure (ILHS) using both visual and semantic similarities. We try to generate new representations by exploring both visual and semantic similarities of images. Images are clustered hierarchically to explore their correlations. We then use them for image representations. The diversity of image classes within each cluster is used to re-weight visual similarities. The re-weighted similarities are aggregated to generate new image representations. We conduct image classification experiments on the Caltech-256 dataset, the PASCAL VOC 2007 dataset and the PASCAL VOC 2012 dataset. Experimental results demons