Программа Panda Python не принимает полный файл Json ⇐ Python

[Гость]

Я все еще новичок в Pandas и не совсем понимаю, что я сделал не так, но, похоже, что-то в моем коде сломалось. У меня есть файл JSON размером около 72 МБ в формате, который я покажу ниже, и он работал до тех пор, пока я не отложил проект на неделю, а когда я снова забрал его, у меня возникла проблема, из-за которой он дал мне только 200 строк данных, хотя я знаю, что их должно быть около пятисот. Кроме того, мне нужно еще одно поле, чтобы показать решение.

Ниже приведен код, который я использую, а также шаблон JSON, который я использую

file = open("assets.json",) file_json = json.load(файл) df = (pd .concat(objs=[pd.json_normalize(data=x) для x в file_json]) .query(expr="severity_modification_type.ne('NONE')") # .filter(items=["asset.hostname", "plugin.cve"]) # .dropna(how="любой") # .rename(columns=lambda x: x.split(".")[-1]) # .explode(column="cve") # .groupby(by="имя хоста", as_index=False) # .cve.apply(lambda x: ", ".join(map(str, x))) ) печать (дф) [ [ { "объект": { "agent_uuid": "Джон Смит", "device_type": "отредактировано", "fqdn": "отредактировано", "имя хоста": "компьютер1", "ipv4": "отредактировано", "ipv6": "отредактировано", "last_authenticated_results": "отредактировано", "mac_address": "отредактировано", "netbios_name": "отредактировано", "network_id": "0отредактировано", "Операционная система": [ "отредактировано" ], "отслеживается": правда, "uuid": "отредактировано" }, "first_found": "отредактировано", "проиндексировано": "отредактировано", "last_found": "отредактировано", "выход": "отредактировано", "плагин": { "делать ставку": [ 179635 ], «checks_for_default_account»: ложь, «checks_for_malware»: ложь, "КПЕ": [ "отредактировано" ], "cve": [ «CVE-777-7777» ], «cvss_base_score»: 0,0, «cvss_temporal_score»: 0,4, "cvss_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "аутентификация": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", «сырой»: «отредактированный» }, «cvss3_base_score»: 0,8, "cvss3_temporal_score": 0, "cvss3_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss3_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", "raw": "Credacted" }, "описание": "отредактировано", «exploit_available»: ложь, «exploit_framework_canvas»: ложь, «exploit_framework_core»: ложь, «exploit_framework_d2_elliot»: ложь, «exploit_framework_exploithub»: ложь, «exploit_framework_metasploit»: ложь, "exploitability_ease": "отредактировано", «exploited_by_malware»: ложь, "exploited_by_nessus": ложь, "семья": "отредактировано", "family_id": 7, «has_patch»: ложь, "идентификатор": 179635, "in_the_news": ложь, "modification_date": "отредактировано", "name": "Плохой эксплойт 1", "patch_publication_date": "отредактировано", "Дата публикации": "отредактировано", "risk_factor": "отредактировано", "смотрите также": [ "отредактировано" ], "solution": "Обновить до 6.7", "stig_severity": "отредактировано", "синопсис": "отредактировано", «unsupported_by_vendor»: ложь, "впр": { "водители": { "age_of_vuln": { "lower_bound": 8, «верхний_баунд»: 30 }, «cvss3_impact_score»: 0,9, "exploit_code_maturity": "отредактировано", "product_coverage": "отредактировано", "threat_intensity_last28": "отредактировано", "threat_sources_last28": [ "отредактировано" ] }, «оценка»: 0, «обновлено»: «отредактировано» }, "vuln_publication_date": "отредактировано", "внешние ссылки": [ ] }, "порт": { «порт»: 0, "протокол": "TCP" }, "сканировать": { "schedule_uuid": "отредактировано", "started_at": "отредактировано", "uuid": "отредактировано" }, "серьезность": "отредактировано", «severity_default_id»: 3, "severity_id": 3, "severity_modification_type": "ПРИНЯТО", "состояние": "открыто" } ], [ { "объект": { "agent_uuid": "Ян Томас", "device_type": "отредактировано", "fqdn": "отредактировано", "имя хоста": "компьютер1", "ipv4": "отредактировано", "ipv6": "отредактировано", "last_authenticated_results": "отредактировано", "mac_address": "отредактировано", "netbios_name": "отредактировано", "network_id": "0отредактировано", "Операционная система": [ "отредактировано" ], "отслеживается": правда, "uuid": "отредактировано" }, "first_found": "отредактировано", "проиндексировано": "отредактировано", "last_found": "отредактировано", "выход": "отредактировано", "плагин": { "делать ставку": [ 179635 ], «checks_for_default_account»: ложь, «checks_for_malware»: ложь, "КПЕ": [ "отредактировано" ], "cve": [ «CVE-999-9999» ], «cvss_base_score»: 0,0, «cvss_temporal_score»: 0,4, "cvss_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "аутентификация": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", «сырой»: «отредактированный» }, «cvss3_base_score»: 0,8, "cvss3_temporal_score": 0, "cvss3_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss3_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "availability_impact": "отредактировано", "конфиденциальность_воздействие": "отредактировано", "integrity_impact": "отредактировано", "raw": "Credacted" }, "описание": "отредактировано", «exploit_available»: ложь, «exploit_framework_canvas»: ложь, «exploit_framework_core»: ложь, «exploit_framework_d2_elliot»: ложь, «exploit_framework_exploithub»: ложь, «exploit_framework_metasploit»: ложь, "exploitability_ease": "отредактировано", «exploited_by_malware»: ложь, "exploited_by_nessus": ложь, "семья": "отредактировано", "family_id": 7, «has_patch»: ложь, "идентификатор": 179635, "in_the_news": ложь, "modification_date": "отредактировано", "name": "Плохой эксплойт 1", "patch_publication_date": "отредактировано", "publication_date": "отредактировано", "risk_factor": "отредактировано", "смотрите также": [ "отредактировано" ], "solution": "Обновить в Microsoft Store", "stig_severity": "отредактировано", "синопсис": "отредактировано", «unsupported_by_vendor»: ложь, "впр": { "водители": { "age_of_vuln": { "lower_bound": 8, «верхний_баунд»: 30 }, «cvss3_impact_score»: 0,9, "exploit_code_maturity": "отредактировано", "product_coverage": "отредактировано", "threat_intensity_last28": "отредактировано", "threat_sources_last28": [ "отредактировано" ] }, «оценка»: 0, «обновлено»: «отредактировано» }, "vuln_publication_date": "отредактировано", "внешние ссылки": [ ] }, "порт": { «порт»: 0, "протокол": "TCP" }, "сканировать": { "schedule_uuid": "отредактировано", "started_at": "отредактировано", "uuid": "отредактировано" }, "серьезность": "отредактировано", «severity_default_id»: 3, "severity_id": 3, "severity_modification_type": "НЕТ", "состояние": "открыто" } ], [ { "объект": { "agent_uuid": "Фрэнк Касл", "device_type": "отредактировано", "fqdn": "отредактировано", "имя хоста": "Компьютер2", "ipv4": "отредактировано", "ipv6": "отредактировано", "last_authenticated_results": "отредактировано", "mac_address": "отредактировано", "netbios_name": "отредактировано", "network_id": "отредактировано", "Операционная система": [ "отредактировано" ], "отслеживается": правда, "uuid": "отредактировано" }, "first_found": "отредактировано", "проиндексировано": "отредактировано", "last_found": "отредактировано", "выход": "отредактировано", "плагин": { "делать ставку": [ 179635 ], «checks_for_default_account»: ложь, «checks_for_malware»: ложь, "КПЕ": [ "отредактировано" ], «cvss_base_score»: 0,0, «cvss_temporal_score»: 0,4, "cvss_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss_vector": { "access_complexity": "отредактировано", "вектор_доступа": "отредактировано", "аутентификация": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", «сырой»: «отредактированный» }, «cvss3_base_score»: 0,8, "cvss3_temporal_score": 0, "cvss3_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss3_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", «сырой»: «отредактированный» }, "описание": "отредактировано", «exploit_available»: ложь, «exploit_framework_canvas»: ложь, «exploit_framework_core»: ложь, «exploit_framework_d2_elliot»: ложь, «exploit_framework_exploithub»: ложь, «exploit_framework_metasploit»: ложь, "exploitability_ease": "отредактировано", «exploited_by_malware»: ложь, "exploited_by_nessus": ложь, "семья": "отредактировано", "family_id": 7, «has_patch»: ложь, "идентификатор": 179635, "in_the_news": ложь, "modification_date": "отредактировано", "name": "Плохой эксплойт 1", "patch_publication_date": "отредактировано", "publication_date": "отредактировано", "risk_factor": "отредактировано", "смотрите также": [ "отредактировано" ], "solution": "Обновить до версии 7.3", "stig_severity": "отредактировано", "синопсис": "отредактировано", «unsupported_by_vendor»: ложь, "впр": { "водители": { "age_of_vuln": { "lower_bound": 8, «верхний_баунд»: 30 }, «cvss3_impact_score»: 0,9, "exploit_code_maturity": "отредактировано", "product_coverage": "отредактировано", "threat_intensity_last28": "отредактировано", "threat_sources_last28": [ "отредактировано" ] }, «оценка»: 0, «обновлено»: «отредактировано» }, "vuln_publication_date": "отредактировано", "внешние ссылки": [ ] }, "порт": { «порт»: 0, "протокол": "TCP" }, "сканировать": { "schedule_uuid": "отредактировано", "started_at": "отредактировано", "uuid": "отредактировано" }, "серьезность": "отредактировано", «severity_default_id»: 3, "severity_id": 3, "severity_modification_type": "НЕТ", "состояние": "открыто" } ], [ { "объект": { "agent_uuid": "Ян Томас", "device_type": "отредактировано", "fqdn": "отредактировано", "имя хоста": "компьютер2", "ipv4": "отредактировано", "ipv6": "отредактировано", "last_authenticated_results": "отредактировано", "mac_address": "отредактировано", "netbios_name": "отредактировано", "network_id": "0отредактировано", "Операционная система": [ "отредактировано" ], "отслеживается": правда, "ууид": "отредактировано" }, "first_found": "отредактировано", "проиндексировано": "отредактировано", "last_found": "отредактировано", "выход": "отредактировано", "плагин": { "делать ставку": [ 179635 ], «checks_for_default_account»: ложь, «checks_for_malware»: ложь, "КПЕ": [ "отредактировано" ], "cve": [ «CVE-999-9999» ], «cvss_base_score»: 0,0, «cvss_temporal_score»: 0,4, "cvss_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "аутентификация": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", «сырой»: «отредактированный» }, «cvss3_base_score»: 0,8, "cvss3_temporal_score": 0, "cvss3_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss3_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", «сырой»: «отредактированный» }, "описание": "отредактировано", «exploit_available»: ложь, «exploit_framework_canvas»: ложь, «exploit_framework_core»: ложь, «exploit_framework_d2_elliot»: ложь, «exploit_framework_exploithub»: ложь, «exploit_framework_metasploit»: ложь, "exploitability_ease": "отредактировано", «exploited_by_malware»: ложь, "exploited_by_nessus": ложь, "семья": "отредактировано", "family_id": 7, «has_patch»: ложь, "идентификатор": 179635, "in_the_news": ложь, "modification_date": "отредактировано", "name": "Плохой эксплойт 1", "patch_publication_date": "отредактировано", "publication_date": "отредактировано", "risk_factor": "отредактировано", "смотрите также": [ "отредактировано" ], "solution": "Обновить до версии 6.0", "stig_severity": "отредактировано", "синопсис": "отредактировано", «unsupported_by_vendor»: ложь, "впр": { "водители": { "age_of_vuln": { "lower_bound": 8, «верхний_баунд»: 30 }, «cvss3_impact_score»: 0,9, "exploit_code_maturity": "отредактировано", "product_coverage": "отредактировано", "threat_intensity_last28": "отредактировано", "threat_sources_last28": [ "отредактировано" ] }, «оценка»: 0, «обновлено»: «отредактировано» }, "vuln_publication_date": "отредактировано", "внешние ссылки": [ ] }, "порт": { «порт»: 0, "протокол": "TCP" }, "сканировать": { "schedule_uuid": "отредактировано", "started_at": "отредактировано", "uuid": "отредактировано" }, "серьезность": "отредактировано", «severity_default_id»: 3, "severity_id": 3, "severity_modification_type": "НЕТ", "состояние": "открыто" } ], [ { "объект": { "agent_uuid": "Ян Томас", "device_type": "отредактировано", "fqdn": "отредактировано", "имя хоста": "компьютер1", "ipv4": "отредактировано", "ipv6": "отредактировано", "last_authenticated_results": "отредактировано", "mac_address": "отредактировано", "netbios_name": "отредактировано", "network_id": "0отредактировано", "Операционная система": [ "отредактировано" ], "отслеживается": правда, "uuid": "отредактировано" }, "first_found": "отредактировано", "проиндексировано": "отредактировано", "last_found": "отредактировано", "выход": "отредактировано", "плагин": { "делать ставку": [ 179635 ], «checks_for_default_account»: ложь, «checks_for_malware»: ложь, "КПЕ": [ "отредактировано" ], "cve": [ «CVE-888-9999» ], «cvss_base_score»: 0,0, «cvss_temporal_score»: 0,4, "cvss_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "аутентификация": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", «сырой»: «отредактированный» }, «cvss3_base_score»: 0,8, "cvss3_temporal_score": 0, "cvss3_temporal_vector": { "эксплуатируемость": "отредактировано", "сырой": "отредактированный", "remediation_level": "отредактировано", "report_confidence": "отредактировано" }, "cvss3_vector": { "access_complexity": "отредактировано", "access_vector": "отредактировано", "availability_impact": "отредактировано", "confidentiality_impact": "отредактировано", "integrity_impact": "отредактировано", "raw": "Credacted" }, "описание": "отредактировано", «exploit_available»: ложь, «exploit_framework_canvas»: ложь, «exploit_framework_core»: ложь, «exploit_framework_d2_elliot»: ложь, «exploit_framework_exploithub»: ложь, «exploit_framework_metasploit»: ложь, "exploitability_ease": "отредактировано", «exploited_by_malware»: ложь, "exploited_by_nessus": ложь, "семья": "отредактировано", "family_id": 7, «has_patch»: ложь, "идентификатор": 179635, "in_the_news": ложь, "modification_date": "отредактировано", "name": "Плохой эксплойт 1", "patch_publication_date": "отредактировано", "publication_date": "отредактировано", "risk_factor": "отредактировано", "смотрите также": [ "отредактировано" ], "solution": "Обновить в Microsoft Store", "stig_severity": "отредактировано", "конспект": "отредактировано", «unsupported_by_vendor»: ложь, "впр": { "водители": { "age_of_vuln": { "lower_bound": 8, «верхний_баунд»: 30 }, «cvss3_impact_score»: 0,9, "exploit_code_maturity": "отредактировано", "product_coverage": "отредактировано", "threat_intensity_last28": "отредактировано", "threat_sources_last28": [ "отредактировано" ] }, «оценка»: 0, «обновлено»: «отредактировано» }, "vuln_publication_date": "отредактировано", "внешние ссылки": [ ] }, "порт": { «порт»: 0, "протокол": "TCP" }, "сканировать": { "schedule_uuid": "отредактировано", "started_at": "отредактировано", "uuid": "отредактировано" }, "серьезность": "отредактировано", «severity_default_id»: 3, "severity_id": 3, "severity_modification_type": "НЕТ", "состояние": "открыто" } ] ] Итак, когда я закомментирую вторую строку кода, я получу следующий результат. Это соответствует тому, что я ожидал, глядя на подсчет общего количества ресурсов в Notepad++.

[12635 строк x 99 столбцов] Когда я запускаю вторую строку кода (.query), я получаю вот такой результат.

[574 строки x 99 столбцов] Этот вывод невозможен, потому что при подсчете в Notepad++ я получаю 12061.

Может кто-нибудь помочь мне объяснить это?