سامانه مدیریت نشریات علمی دانشگاه شهید بهشتی

گیلی, محمدرضا, عاشورلو, داود, عقیقی, حسین, متکان, علی اکبر, شکیبا, علیرضا. (1401). طبقه بندی محصولات کشاورزی با شبکه کانولوشنی عمیق مبتنی بر شاخص محصول. , 20(4), 37-52. doi: 10.48308/envs.2022.1126
محمدرضا گیلی; داود عاشورلو; حسین عقیقی; علی اکبر متکان; علیرضا شکیبا. "طبقه بندی محصولات کشاورزی با شبکه کانولوشنی عمیق مبتنی بر شاخص محصول". , 20, 4, 1401, 37-52. doi: 10.48308/envs.2022.1126
گیلی, محمدرضا, عاشورلو, داود, عقیقی, حسین, متکان, علی اکبر, شکیبا, علیرضا. (1401). 'طبقه بندی محصولات کشاورزی با شبکه کانولوشنی عمیق مبتنی بر شاخص محصول', , 20(4), pp. 37-52. doi: 10.48308/envs.2022.1126
گیلی, محمدرضا, عاشورلو, داود, عقیقی, حسین, متکان, علی اکبر, شکیبا, علیرضا. طبقه بندی محصولات کشاورزی با شبکه کانولوشنی عمیق مبتنی بر شاخص محصول. , 1401; 20(4): 37-52. doi: 10.48308/envs.2022.1126

طبقه بندی محصولات کشاورزی با شبکه کانولوشنی عمیق مبتنی بر شاخص محصول

فصلنامه علوم محیطی
مقاله 3، دوره 20، شماره 4، 1401، صفحه 37-52    اصل مقاله (565 K)
نوع مقاله: مقاله پژوهشی
شناسه دیجیتال (DOI): 10.48308/envs.2022.1126
نویسندگان
محمدرضا گیلی1؛ داود عاشورلو* 1؛ حسین عقیقی2؛ علی اکبر متکان1؛ علیرضا شکیبا1
1مرکز سنجش از دور، دانشکده علوم زمین، دانشگاه شهید بهشتی، تهران، ایران
2مرکز سنجش از دور، دانشکده علوم زمین، دانشگاه شهید بهشتی، تهران، ایران
چکیده
سابقه و هدف: با توجه به اینکه کشاورزی مهمترین نقش را در تأمین امنیت غذایی برعهده دارد، تهیه نقشه ای که پراکندگی مکانی، وسعت اراضی و نوع محصولات کشت شده را با دقت بالایی نشان دهد، بسیار ضروری است. پوشش اراضی کشاورزی در فواصل زمانی نسبتا کوتاه، بسیار پویا و متغیر است. این موضوع، طبقه‌بندی محصولات زراعی روی تصاویر ماهواره ای را به کاری چالش برانگیز مبدل می کند. کمبود یا فقدان داده‌های دارای برچسب‌ واقعیت زمینی نیز مزید بر علت است. بنابراین روشهایی که به نمونه های زمینی وابستگی کمتری دارند و از ویژگیهای فنولوژیک حاصل از سری زمانی باندها و شاخصهای گیاهی برای طبقه بندی محصولات استفاده می کنند، مناسبتر خواهند بود. هدف از این مطالعه استفاده از در روش‌ یادگیری عمیق مبتنی بر شبکه های کانولوشن برای طبقه بندی محصولات کشاورزی و بهبود عمکرد این شبکه از طریق استفاده از کانالهای ویژگی محصولات بعنوان تصویر ورودی به شبکه و افزایش دقت طبقه بندی است.
مواد و روش ها: در این مطالعه از تصاویر باندهای مرئی و فروسرخ نزدیک ماهواره سنتینل-2 در 10 تاریخ مختلف از سال 2019 برای ناحیه ای واقع در ایالت آیداهو ایالات متحده آمریکا که یک منطقه مهم کشاورزی به شمار می رود و از لایه داده‌های زراعی(Cropland Data Layer) برای استخراج برچسب نوع محصولات در مزارع نمونه، استفاده گردید. سپس در نرم افزار متلب، سری زمانی باندها ساخته شد و با استفاده از آنها پروفیل زمانی NDVI برای شناسایی ویژگیهای فنولوژیکی منحصر به فرد برای هر محصول استخراج گردید. در ادامه توابعی که بر اساس ویژگیهای فنولوژیک هر محصول توسعه داده شده اند، بر روی سری زمانی باندها اعمال گردید و برای هر محصول یک کانال ویژگی به دست آمد که در دو فرآیند جداگانه، یکبار از باندها و بار دیگر از کانالهای ویژگی به عنوان ورودی به شبکه CNN استفاده گردید و شبکه، با استفاده از کانالهای ورودی و نمونه های زمینی، آموزش دیده و نتیجه عملکرد شبکه در طبقه بندی محصولات زراعی در سایت تست، مورد مقایسه قرار گرفت.
نتایج و بحث: در مرحله اول، سری زمانی باندها، ورودی شبکه کانواوشنی عمیق را تشکیل دادند و شبکه در ناحیه آموزش، با استفاده از اطلاعات طیفی-زمانی باندها به عنوان کانالهای ورودی و نمونه های زمینی محصولات به عنوان برچسب، آموزش دید. به دلیل همپوشانی طیفی محصولات در برخی از دوره های زمانی، آموزش شبکه با خطای نسبتا بالایی همراه بود و به همین دلیل برای ناحیه تست، دقت کلی طبقه بندی 69(درصد) و ضریب کاپای 55/0 به دست آمد. در مرحله دیگر، توابعی که به عنوان شاخصهای فنولوژیک برای هر محصول توسعه داده شده بود ، روی سری زمانی باندها اعمال گردید و برای هر محصول، یک کانال ویژگی بعنوان شاخص انحصاری آن محصول، به دست آمد. آنگاه الگوریتم با استفاده از این کانالهای ویژگی، در ناحیه تست اجرا گردید و دقت کلی به 86(درصد) و ضریب کاپا به82/0 ارتقا یافت که نشان دهنده بهبود چشمگیر نتایج در مقایسه با حالت قبل است.
نتیجه گیری: شبکه کانولوشنی عمیق برای تشخیص محصولات کشاورزی، به نوع کانالهای ورودی بسیار حساس است و انتخاب کانال هایی با ویژگی های طیفی_زمانی مناسب برای انواع محصولات، بر دقت آموزش شبکه بسیار تاثیرگذار بوده و می تواند هزینه یا خطای آموزش شبکه کانولوشنی عمیق را پایین آورده و کارایی آن را در طبقه بندی محصولات گوناگون، بالا ببرد.
کلیدواژه‌ها
سری زمانی تصاویر؛ طبقه بندی محصولات کشاورزی؛ پروفیل زمانی NDVI؛ شبکه های کانولوشنی عمیق
عنوان مقاله [English]
Crop classification with deep convolutional neural network based on crop feature
نویسندگان [English]
Mohamad Reza Gili1؛ Davoud Ashourloo1؛ Hosein Aghighi2؛ Ali Akbar Matkan1؛ Alireza SHakiba1
1Remote Sensing Center, Faculty of Earth Sciences, Shahid Beheshti University, Tehran, Iran
2Remote Sensing Center, Faculty of Earth Sciences, Shahid Beheshti University, Tehran, Iran
چکیده [English]
Introduction:
Given that agriculture has the most important role in ensuring food security (Johnston & Kilby,1989), it is necessary to prepare a map that shows the spatial distribution, land area, and type of crops cultivated with high accuracy (Cai et al., 2018). Agricultural land cover is relatively dynamic and variable at relatively short intervals. This makes it difficult to classify crops on satellite imagery (Bargiel, 2017). The lack or absence of ground truth data is another cause. Therefore, methods that are less dependent on ground samples and use phenological features derived from time series of bands and vegetation indices to classify crops will be more appropriate (Ashourloo et al., 2020). The purpose of this study is to use a deep learning method based on convolutional networks to classify the crop types and improve the performance of this network by using feature channels as an input image to the network and increasing the classification accuracy.
Materials and methods:
In this study, the visible and near-infrared bands of Sentinel-2 satellite on 10 different dates from 2019 for an area in Idaho, USA, as an important agricultural area, and the cropland data layer for extracting the crop types ground labels was used (Han et al., 2012). Then, in MATLAB software, the time series of spectral bands were constructed and using them, temporal profiles of NDVI for any crop were extracted to identify the unique phenological features of crops. Then, the functions developed based on the phenological characteristics of crops were applied to the time series of the bands and a feature channel was obtained for each crop that in two separate processes, once bands and once again feature channels were used as input to the CNN and the network was trained and the results of network performance on crop classification in the test site, were compared.
Results and discussion:
In the first stage, the time series of bands formed the input of the deep convectional neural network and the network was trained in the training area, using the tempo-spectral information of bands as the input channels and crops ground samples as the related labels. Due to the spectral overlap of the crops in some time periods, network training was associated with a relatively high loss and therefore, for the test area, the overall classification accuracy was 69% (percent) and the kappa coefficient was 0.55. In the next step, the functions that were developed as phenological features for crops were applied on the time series of the bands, and for each crop, a feature channel was obtained as the special feature of that crop. Then the algorithm was implemented using these feature channels in the test area and the overall accuracy was upgraded to 86% and the kappa coefficient to 0.82 compared to which indicated a significant improvement in the results compared to the previous case.
Conclusion:
The deep convolutional neural network is very sensitive to the type of input channels for detecting agricultural crops and selecting the channels with suitable tempo-spectral characteristics for different types of crops, has a great impact on the accuracy of network training and can reduce the loss of training network and increase its efficiency in the classification of various crops.
کلیدواژه‌ها [English]
Time series Images, Crop classification, Temporal profiles of NDVI, Deep convolutional Network
مراجع

Ashourloo, D., Shahrabi, H.S., Azadbakht, M., Aghighi, H., Matkan, A.A. and Radiom, S., 2018. A novel automatic method for alfalfa mapping using time series of landsat-8 OLI Data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 11(11), 4478-4487.

Ashourloo, D., Shahrabi, H.S., Azadbakht, M., Aghighi, H., Nematollahi, H., Alimohammadi, A. and Matkan, A.A., 2019. Automatic canola mapping using time series of sentinel 2 images. ISPRS Journal of Photogrammetry and Remote Sensing. 156, 63-76.76.

Ashourloo, D., Shahrabi, H.S., Azadbakht, M., Rad, A.M., Aghighi, H. and Radiom, S., 2020. A novel method for automatic potato mapping using time series of Sentinel-2 images. Computers and Electronics in Agriculture. 175, 105583.

Azzari, G. and Lobell, D.B., 2017. Landsat-based classification in the cloud: an opportunity for a paradigm shift in land cover monitoring. In: Remote Sensing of Environment, Big Remotely Sensed Data: tools, applications and experiences. 202. pp. 64–74. https:// doi.org/10.1016/j.rse.2017.05.025.

Bargiel, D., 2017. A new method for crop classification combining time series of radar images and crop phenology information. Remote sensing of environment 198, 369-383.

Boryan, C., Yang, Z., Mueller, R. and Craig, M., 2011. Monitoring US agriculture: the US department of agriculture, national agricultural statistics service, and cropland data layer program. Geocarto International. 26(5), 341-358.

Cai, Y., Guan, K., Peng, J., Wang, S., Seifert, C., Wardlow, B. and Li, Z., 2018. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach. Remote sensing of environment. 210, 35-47.

Esch, T., Metz, A., Marconcini, M. and Keil, M., 2014. Combined use of multi-seasonal high and medium resolution satellite imagery for parcel-related mapping of cropland and grassland. International Journal of Applied Earth Observation and Geoinformation. 28, 230-237.

Foerster, S., Kaden, K., Foerster, M. and Itzerott, S., 2012. Crop type mapping using spectral–temporal profiles and phenological information. Computers and Electronics in Agriculture. 89, 30-40.

Gadiraju, K.K. and Vatsavai, R.R., 2020. Comparative analysis of deep transfer learning performance on crop classification, Proceedings of the 9th ACM SIGSPATIAL International Workshop on Analytics for Big Geospatial Data, pp. 1-8.

Gholampur, A., 2008. A novel algorithm for detecting wheat and barley. M.Sc. Thesis. Shahid Beheshti University, Tehran, Iran.

Goodarzdashti, S., 2021. Automatic crop detection based on phenological information using Google Earth Engine. M.Sc. Thesis. Shahid Beheshti University, Tehran, Iran.

Huang, B., Zhao, B. and Song, Y., 2018. Urban land-use mapping using a deep convolutional neural network with high spatial resolution multispectral remote sensing imagery. Remote Sensing of Environment. 214, 73-86.

Johnston, B.F. and Kilby, P., 1982. Unimodal and bimodal strategies of agrarian change. Rural development: theories of peasant economy and agrarian change. London: Hutchinson Publishing Group.

Kang, Y., Khan, S. and Ma, X., 2009. Climate change impacts on crop yield, crop water productivity and food security – A review. Progress in Natural Science 19, 1665-1674.

Khatami, R., Mountrakis, G. and Stehman, S.V., 2017. Mapping per-pixel predicted accuracy of classified remote sensing images. Remote Sensing of Environment 191, 156-167.

King, L., Adusei, B., Stehman, S.V., Potapov, P.V., Song, X.-P., Krylov, A., Di Bella, C., Loveland, T.R., Johnson, D.M. and Hansen, M.C., 2017. A multi-resolution approach to national-scale cultivated area estimation of soybean. Remote Sensing of Environment 195, 13-29.

LeCun, Y., Bengio, Y. and Hinton, G., 2015. Deep learning. Nature. 521, 436-444.

Mingwei, Z., Qingbo, Z., Zhongxin, C., Jia, L., Yong, Z. and Chongfa, C., 2008. Crop discrimination in Northern China with double cropping systems using Fourier analysis of time-series MODIS data. International Journal of Applied Earth Observation and Geoinformation. 10, 476-485.

Peña-Barragán, J.M., Ngugi, M.K., Plant, R.E. and Six, J., 2011. Object-based crop identification using multiple vegetation indices, textural features and crop phenology. Remote Sensing of Environment. 115, 1301-1316.

Ramankutty, N., Mehrabi, Z., Waha, K., Jarvis, L., Kremen, C., Herrero, M. and Rieseberg, L.H., 2018. Trends in global agricultural land use: implications for environmental health and food security. Annual review of plant biology. 69, 789-815.

Sandborn, A., Mueller, R., Boryan, C., Johnson, D., Yang, Z., Ebinger, L., Rosales, A., Willis, P., Seffrin, R., Jennings, R., Deaton, M. and Hamer, H., 2019. NASS Geospatial Applications from the Cropland Data Layer. ISI World Statistics Conference, Malaysia, Aug 18-23, 2019. Posted 8/21/2019.

Shelestov, A., Lavreniuk, M., Kussul, N., Novikov, A., Skakun, S., 2017. Exploring Google Earth Engine Platform for Big Data Processing: Classification of Multi-Temporal Satellite Imagery for Crop Mapping. Front. Earth Sci. 2017, 5, 17.

Zheng, B., Myint, S.W., Thenkabail, P.S., Aggarwal, R.M., 2015. A support vector machine to identify irrigated crop types using time-series Landsat NDVI data. International Journal of Applied Earth Observation and Geoinformation 34, 103-112.

Zhong, L., Hu, L., Zhou, H., 2019. Deep learning based multi-temporal crop classification. Remote sensing of environment 221, 430-443.

Zhong, L., Hu, L., Zhou, H., Tao, X., 2019b. Deep learning based winter wheat mapping using statistical data as ground references in Kansas and northern Texas, US. Remote Sens. Environ. 233, 111411. https://doi.org/10.1016/j.rse.2019.111411.

Xu, J., Zhu, Y., Zhong, R., Lin, Z., Xu, J., Jiang, H., Huang, J., Li, H., Lin, T., 2020. DeepCropMapping: A multi-temporal deep learning approach with improved spatial generalizability for dynamic corn and soybean mapping. Remote Sensing of Environment 247, 111946.

آمار
تعداد مشاهده مقاله: 14,111
تعداد دریافت فایل اصل مقاله: 7,059