데이터 행 수가 1,048,576개 이상인 Excel CSV. 파일

데이터 행 수가 1,048,576개 이상인 Excel CSV. 파일

나는 MAX Excel이 처리할 수 있는 것보다 더 많은 CSV 파일을 받았고, 나는 정말로 모든 데이터를 볼 수 있어야 합니다.저는 그것을 "분할"하는 방법을 이해하고 시도해 보았지만, 그것은 효과가 없습니다.

파일: 이고, 준이 CSV에 대한 내용이 했습니다.2m줄지어 늘어선지

때 Excel.1,048,576 다음 행에서 새1,048,577데이터에서, 그러나 그것은 나에게 단지 하나의 행을 제공하고, 나는 더 많은 것이 있어야 한다는 사실을 알고 있습니다("그 사람"이 200만 명 이상이라고 말했기 때문뿐만 아니라, 마지막 몇 개의 행 집합의 정보 때문입니다).

일이 CSV에 과거의 가 Excel CSV 파일로 제공되었기 했습니다.1,048,576분실((?).

SQL 데이터베이스 형식의 파일을 요청해야 합니까?

최대 20억 개의 행을 열 수 있으며 2백만 개의 열에도 15일 동안 무료 평가판이 제공됩니다.제 일은 잘 되겠군요!

로드하는 것이 좋습니다.MS-Access의 CSV 파일입니다.

그런 다음 MS-Excel을 사용하여 워크시트의 레코드를 실제로 로드하지 않고 이 소스에 대한 데이터 연결을 만들고 연결된 피벗 테이블을 만들 수 있습니다.그러면 프로세서 및 메모리에 따라 테이블에 거의 무제한의 줄이 표시됩니다.현재 3Gb 메모리가 포함된 15mln 라인을 보유하고 있습니다.

추가적인 장점은 이제 MS-Access에서 집계 보기를 만들 수 있다는 것입니다.이런 식으로 수억 개의 줄에서 개요를 만든 다음 MS-Excel에서 볼 수 있습니다(32비트 OS에서 NTFS 파일의 2Gb 제한에 주의).

Excel 2007+는 100만 행(정확히는 2^20) 이상으로 제한되므로 2M 라인 파일을 로드하지 않습니다.분할이라고 하는 기술은 엑셀이 가지고 있는 내장형이지만, 길이 문제가 아니라 폭 문제에만 효과가 있는 페이크라고 생각합니다.

가장 쉬운 방법은 파일 분할 도구를 사용하는 것입니다. 파일 분할 도구는 매우 많습니다. 이 도구를 사용하여 결과 부분적인 CSV 파일을 여러 워크시트에 로드할 수 있습니다.

ps: "excel csv 파일"은 존재하지 않습니다. 일반적으로 csv 파일이라고 하는 형식 중 하나를 사용하는 파일만 Excel에서 생성됩니다.

PowerPivot을 사용하여 최대 2GB의 파일로 작업할 수 있으며, 이는 사용자의 필요에 충분합니다.

먼저 파일 형식을 csv에서 txt로 변경합니다.파일 이름을 편집하고 csv를 txt로 변경하기만 하면 됩니다. (Windows에서는 데이터 손상 가능성에 대한 경고가 표시되지만 문제가 없습니다. 확인을 클릭하십시오.)그런 다음 txt 파일의 복사본을 만들어 2백만 행의 데이터를 가진 두 개의 파일을 가지게 됩니다.그런 다음 첫 번째 txt 파일을 열고 두 번째 백만 행을 삭제하고 파일을 저장합니다.그런 다음 두 번째 txt 파일을 열고 첫 번째 백만 행을 삭제하고 파일을 저장합니다.이제 원래 txt로 변경한 것과 동일하게 두 파일을 csv로 다시 변경합니다.

아무도 마이크로소프트 쿼리를 언급하지 않은 것이 놀랍습니다.필요한 데이터만 쿼리하여 필요에 따라 대용량 CSV 파일에서 데이터를 요청할 수 있습니다.(쿼리는 Excel에서 테이블을 필터링하는 방법과 같이 설정됩니다.)

더 좋은 것은, 파워 쿼리 애드인을 설치할 수 있다면, 그것은 매우 간단하고 빠릅니다.참고: Power Query는 2010년과 2013년의 추가 기능이지만 2016년에 제공됩니다.

Matlab이 있는 경우 가져오기 기능을 통해 큰 CSV(또는 TXT) 파일을 열 수 있습니다.도구는 테이블, 열 벡터, 숫자 행렬 등 다양한 가져오기 형식 옵션을 제공합니다.하지만 Matlab이 인터프리터 패키지이기 때문에 이렇게 큰 파일을 가져오는 데 자체적으로 시간이 걸리고 약 10분 만에 200만 개 이상의 행이 있는 파일을 가져올 수 있었습니다.

이 도구는 "데이터 가져오기" 버튼을 클릭하여 Matlab의 홈 탭을 통해 액세스할 수 있습니다.대용량 파일 업로드 이미지의 예는 다음과 같습니다. 가져온 데이터는 오른쪽 작업영역에 나타나고 Excel과 같은 형식으로 두 번 클릭할 수 있으며 다른 형식으로도 표시할 수 있습니다.

저는 Sublime Text에서 17GB의 큰 csv 파일을 문제 없이 편집할 수 있었습니다(라인 번호를 지정하면 수동 분할을 추적하는 것이 훨씬 쉬워집니다). 그런 다음 1,048,576줄보다 작은 청크로 Excel에 덤프할 수 있었습니다.단순하고 매우 빠릅니다. 맞춤형 솔루션을 조사, 설치 및 학습하는 것보다 훨씬 적은 작업 속도를 제공합니다.빠르고 더럽지만 효과가 있습니다.

Microsoft의 PowerPivot을 사용해 보십시오.여기에서 단계별 튜토리얼을 찾을 수 있습니다.제 4M+ 줄에 효과가 있었습니다!

"DO I need to ask for a file in an SQL database format?"네!!!

데이터베이스를 사용하는 것이 이 문제에 대한 최선의 옵션입니다.

Excel 2010 사양.

MS 액세스를 사용합니다.2,673,404개의 기록 파일을 가지고 있습니다.메모장++에서 열리지 않으며 엑셀은 1,048,576개 이상의 레코드를 로드하지 않습니다.mysql 데이터베이스에서 데이터를 내보냈기 때문에 탭 구분이 되어 있고 csv 형식으로 필요합니다.그래서 Access로 가져왔습니다.파일 확장명을 .txt로 변경하여 MS Access가 가져오기 마법사를 안내합니다.

MS Access가 파일에 연결되어 데이터베이스가 손상되지 않도록 csv 파일을 유지합니다.

이 문제를 해결하는 가장 좋은 방법은 Excel을 사용하는 것이며 추가 소프트웨어가 없는 것입니다. 그러나 Powerpivot(MSFT Power Query가 내장되어 있음)을 사용하는 것입니다.대용량 csv 또는 텍스트 파일에 연결되는 새 Power Pivot 데이터 모델을 만들기만 하면 됩니다.그러면 내장된 X-Velocity(메모리 내 압축) 엔진을 사용하여 수백만 개의 행을 메모리로 가져올 수 있습니다.X-Velocity 엔진은 모든 것을 압축된 형태로 RAM에 저장하기 때문에 Excel 시트 제한은 적용되지 않습니다.나는 이 기술을 사용하여 1500만 행을 로드하고 마음대로 필터링했습니다.이게 누군가에게 도움이 되길... - 제이시

저는 이 주제가 연구하는 것을 발견했습니다.이 모든 데이터를 Excel 데이터시트에 복사하는 방법이 있습니다. (이전에 5천만 줄 CSV 파일에서 이 문제가 발생한 적이 있습니다.) 포맷이 있다면 추가 코드가 포함될 수 있습니다.이거 먹어봐요.

Sub ReadCSVFiles()

Dim i, j As Double
Dim UserFileName As String
Dim strTextLine As String
Dim iFile As Integer: iFile = FreeFile

UserFileName = Application.GetOpenFilename
Open UserFileName For Input As #iFile
i = 1
j = 1
Check = False

Do Until EOF(1)
    Line Input #1, strTextLine
    If i >= 1048576 Then
        i = 1
        j = j + 1
    Else
        Sheets(1).Cells(i, j) = strTextLine
        i = i + 1
    End If
Loop
Close #iFile
End Sub

총 텍스트 편집기를 다운로드하여 설치할 수 있습니다.이를 통해 큰 CSV 파일을 쉽게 열 수 있습니다.

자세한 기사는 여기에서 확인할 수 있습니다. https://developingdaily.com/article/how-to/what-is-csv-file-and-how-to-open-a-large-csv-file/82

CSV를 메모장에서 두 개의 파일로 나눕니다.번거로우시겠지만, 그 이후에는 엑셀에서 각각 개별적으로 편집하시면 됩니다.

언급URL : https://stackoverflow.com/questions/16945348/excel-csv-file-with-more-than-1-048-576-rows-of-data