Аналіз біомаси

Є май­же 800 відео де русня на каме­ру гово­рить що під­три­мує гено­цид укра­їн­ців і сво­го царя пиню, під­три­мує оку­пан­тів, які вби­ва­ють укра­їн­ців і так далі.

Мені ста­ло ціка­во хто ж пише їм текс­ти, тому що вони кажуть май­же одне й те саме, але там мате­рі­а­лу на більш ніж 10 годин про­па­ган­ди, слу­ха­ти яку вза­га­лі не хоче­ться. Тому давай­те про­ана­лі­зу­є­мо та виді­ли­мо основ­не з цієї сті­ни текс­ту лайна.

Для цьо­го буде­мо вико­ри­сто­ву­ва­ти WordCloud для Python.

from wordcloud import WordCloud,STOPWORDS
import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv("biomasa.csv")
data.head()

Але де взя­ти текс­то­вий варі­ант тої хер­ні яку вони гово­рять? Для цьо­го вико­ри­ста­є­мо без­ко­штов­ний сер­віс від OpenAI, який нази­ва­є­ться Whisper (про ньо­го я писав тут). Він дозво­ляє пере­тво­рю­ва­ти сло­ва з відео в текст. Під­три­мує бага­то мов, пра­цює на відео­кар­ті через натре­но­ва­ну модель нейромережі.

Чека­є­мо 2 – 3 годи­ни та отри­му­є­мо текст дов­жи­ною ~426000 сим­во­лів, або ~64000 слів, 

Який тепер тре­ба запи­хну­ти в про­гра­му для Python, котра пока­же, які сло­ва ця русня вико­ри­сто­вує най­ча­сті­ше та побу­дує гар­нень­ку хмар­ку най­по­пу­ляр­ні­ших слів.

Ось ці сло­ва русня гово­рить най­ча­сті­ше в сво­їх 800 відео в під­трим­ку гено­ци­ду українців.

До речі, коли про­гра­ма зге­не­ру­ва­ла пер­ше зобра­же­н­ня, то я зов­сім забув про стоп сло­ва — це такі треш сло­ва, які люди (в нашо­му випад­ку сви­ні) вико­ри­сто­ву­ють най­ча­сті­ше: при­ймен­ни­ки в, на, і т.д, а також інші типу мы, ещё, без, же, да, под та інші.

Зге­не­ро­ва­не зобра­же­н­ня без цих стоп слів наче нама­га­є­ться щось сказати:

Тож, ми має­мо спи­сок най­по­пу­ляр­ні­ших слів, тепер давай­те спро­бу­є­мо з них наге­не­ру­ва­ти через ChatGPT якийсь текст, вико­ри­сто­ву­ю­чи тіль­ки ці най­по­пу­ляр­ні­ші клю­чо­ві сло­ва. Я не буду вико­ри­сто­ву­ва­ти всі, а тіль­ки ті, які вони вжи­ва­ють найчастіше:

Спро­бу­є­мо дізна­тись, чи може ChatGPT допо­мог­ти русні висло­ви­ти свої сло­ва під­трим­ки оку­пан­там та їхньо­му диктатору.

Отже, я можу з впев­не­ні­стю ствер­джу­ва­ти, що текс­ти їм пише нейромережа.

***

Для тих, хто хоче поба­чи­ти всі ті 800 відео, я їх зібрав в одне та залив сюди: 

FEX.NET fex.net

(поси­ла­н­ня буде досту­пне при­бли­зно до 04.11.23)

Текс­то­ва вер­сія: https://idiod.video/f0hr3p.txt

Дублі­ка­ти відео пере­ві­ря­лись та вида­ля­лись через czkawka