国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術(shù)文章
文章詳情頁

Java NIO 文件通道 FileChannel 用法及原理

瀏覽:2日期:2022-08-18 14:07:05

FileChannel 提供了一種通過通道來訪問文件的方式,它可以通過帶參數(shù) position(int) 方法定位到文件的任意位置開始進(jìn)行操作,還能夠?qū)⑽募成涞街苯觾?nèi)存,提高大文件的訪問效率。本文將介紹其詳細(xì)用法和原理。

1. 通道獲取

FileChannel 可以通過 FileInputStream, FileOutputStream, RandomAccessFile 的對象中的 getChannel() 方法來獲取,也可以同通過靜態(tài)方法 FileChannel.open(Path, OpenOption ...) 來打開。

1.1 從 FileInputStream / FileOutputStream 中獲取

從 FileInputStream 對象中獲取的通道是以讀的方式打開文件,從 FileOutpuStream 對象中獲取的通道是以寫的方式打開文件。

FileOutputStream ous = new FileOutputStream(new File('a.txt'));FileChannel out = ous.getChannel(); // 獲取一個只讀通道FileInputStream ins = new FileInputStream(new File('a.txt'));FileChannel in = ins.getChannel(); // 獲取一個只寫通道

1.2 從 RandomAccessFile 中獲取

從 RandomAccessFaile 中獲取的通道取決于 RandomAccessFaile 對象是以什么方式創(chuàng)建的,'r', 'w', 'rw' 分別對應(yīng)著讀模式,寫模式,以及讀寫模式。

RandomAccessFile file = new RandomAccessFile('a.txt', 'rw');FileChannel channel = file.getChannel(); // 獲取一個可讀寫文件通道

1.3 通過 FileChannel.open() 打開

通過靜態(tài)靜態(tài)方法 FileChannel.open() 打開的通道可以指定打開模式,模式通過 StandardOpenOption 枚舉類型指定。

FileChannel channel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.READ); // 以只讀的方式打開一個文件 a.txt 的通道2. 讀取數(shù)據(jù)

讀取數(shù)據(jù)的 read(ByteBuffer buf) 方法返回的值表示讀取到的字節(jié)數(shù),如果讀到了文件末尾,返回值為 -1。讀取數(shù)據(jù)時,position 會往后移動。

2.1 將數(shù)據(jù)讀取到單個緩沖區(qū)

和一般通道的操作一樣,數(shù)據(jù)也是需要讀取到1個緩沖區(qū)中,然后從緩沖區(qū)取出數(shù)據(jù)。在調(diào)用 read 方法讀取數(shù)據(jù)的時候,可以傳入?yún)?shù) position 和 length 來指定開始讀取的位置和長度。

FileChannel channel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.READ);ByteBuffer buf = ByteBuffer.allocate(5);while(channel.read(buf)!=-1){ buf.flip(); System.out.print(new String(buf.array())); buf.clear();}channel.close();

2.2 讀取到多個緩沖區(qū)

文件通道 FileChannel 實現(xiàn)了 ScatteringByteChannel 接口,可以將文件通道中的內(nèi)容同時讀取到多個 ByteBuffer 當(dāng)中,這在處理包含若干長度固定數(shù)據(jù)塊的文件時很有用。

ScatteringByteChannel channel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.READ);ByteBuffer key = ByteBuffer.allocate(5), value=ByteBuffer.allocate(10);ByteBuffer[] buffers = new ByteBuffer[]{key, value};while(channel.read(buffers)!=-1){ key.flip(); value.flip(); System.out.println(new String(key.array())); System.out.println(new String(value.array())); key.clear(); value.clear();}channel.close();3. 寫入數(shù)據(jù)

3.1 從單個緩沖區(qū)寫入

單個緩沖區(qū)操作也非常簡單,它返回往通道中寫入的字節(jié)數(shù)。

FileChannel channel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.WRITE);ByteBuffer buf = ByteBuffer.allocate(5);byte[] data = 'Hello, Java NIO.'.getBytes();for (int i = 0; i < data.length; ) { buf.put(data, i, Math.min(data.length - i, buf.limit() - buf.position())); buf.flip(); i += channel.write(buf); buf.compact();}channel.force(false);channel.close();

3.2 從多個緩沖區(qū)寫入

FileChannel 實現(xiàn)了 GatherringByteChannel 接口,與 ScatteringByteChannel 相呼應(yīng)。可以一次性將多個緩沖區(qū)的數(shù)據(jù)寫入到通道中。

FileChannel channel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.WRITE);ByteBuffer key = ByteBuffer.allocate(10), value = ByteBuffer.allocate(10);byte[] data = '017 Robothy'.getBytes();key.put(data, 0, 3);value.put(data, 4, data.length-4);ByteBuffer[] buffers = new ByteBuffer[]{key, value};key.flip();value.flip();channel.write(buffers);channel.force(false); // 將數(shù)據(jù)刷出到磁盤channel.close();

3.3 數(shù)據(jù)刷出

為了減少訪問磁盤的次數(shù),通過文件通道對文件進(jìn)行操作之后可能不會立即刷出到磁盤,此時如果系統(tǒng)崩潰,將導(dǎo)致數(shù)據(jù)的丟失。為了減少這種風(fēng)險,在進(jìn)行了重要數(shù)據(jù)的操作之后應(yīng)該調(diào)用 force() 方法強制將數(shù)據(jù)刷出到磁盤。

無論是否對文件進(jìn)行過修改操作,即使文件通道是以只讀模式打開的,只要調(diào)用了 force(metaData) 方法,就會進(jìn)行一次 I/O 操作。參數(shù) metaData 指定是否將元數(shù)據(jù)(例如:訪問時間)也刷出到磁盤。

channel.force(false); // 將數(shù)據(jù)刷出到磁盤,但不包括元數(shù)據(jù)4. 文件鎖

可以通過調(diào)用 FileChannel 的 lock() 或者 tryLock() 方法來獲得一個文件鎖,獲取鎖的時候可以指定參數(shù)起始位置 position,鎖定大小 size,是否共享 shared。如果沒有指定參數(shù),默認(rèn)參數(shù)為 position = 0, size = Long.MAX_VALUE, shared = false。

位置 position 和大小 size 不需要嚴(yán)格與文件保持一致,position 和 size 均可以超過文件的大小范圍。例如:文件大小為 100,可以指定位置為 200, 大小為 50;則當(dāng)文件大小擴展到 250 時,[200,250) 的部分會被鎖住。

shared 參數(shù)指定是排他的還是共享的。要獲取共享鎖,文件通道必須是可讀的;要獲取排他鎖,文件通道必須是可寫的。

由于 Java 的文件鎖直接映射為操作系統(tǒng)的文件鎖實現(xiàn),因此獲取文件鎖時代表的是整個虛擬機,而非當(dāng)前線程。若操作系統(tǒng)不支持共享的文件鎖,即使指定了文件鎖是共享的,也會被轉(zhuǎn)化為排他鎖。

FileLock lock = channel.lock(0, Long.MAX_VALUE, false);// 排它鎖,此時同一操作系統(tǒng)下的其它進(jìn)程不能訪問 a.txtSystem.out.println('Channel locked in exclusive mode.');Thread.sleep(30 * 1000L); // 鎖住 30 slock.release(); // 釋放鎖lock = channel.lock(0, Long.MAX_VALUE, true); // 共享鎖,此時文件可以被其它文件訪問System.out.println('Channel locked in shared mode.');Thread.sleep(30 * 1000L); // 鎖住 30 slock.release();

與 lock() 相比,tryLock() 是非阻塞的,無論是否能夠獲取到鎖,它都會立即返回。若 tryLock() 請求鎖定的區(qū)域已經(jīng)被操作系統(tǒng)內(nèi)的其它的進(jìn)程鎖住了,則返回 null;而 lock() 會阻塞,直到獲取到了鎖、通道被關(guān)閉或者線程被中斷為止。

5. 通道轉(zhuǎn)換

普通的讀寫方式是利用一個 ByteBuffer 緩沖區(qū),作為數(shù)據(jù)的容器。但如果是兩個通道之間的數(shù)據(jù)交互,利用緩沖區(qū)作為媒介是多余的。文件通道允許從一個 ReadableByteChannel 中直接輸入數(shù)據(jù),也允許直接往 WritableByteChannel 中寫入數(shù)據(jù)。實現(xiàn)這兩個操作的分別為 transferFrom(ReadableByteChannel src, position, count) 和 transferTo(position, count, WritableChannel target) 方法。

這進(jìn)行通道間的數(shù)據(jù)傳輸時,這兩個方法比使用 ByteBuffer 作為媒介的效率要高;很多操作系統(tǒng)支持文件系統(tǒng)緩存,兩個文件之間實際可能并沒有發(fā)生復(fù)制。

transferFrom 或者 transferTo 在調(diào)用之后并不會改變 position 的位置。

下面示例是一個 spring 源碼中的一個工具方法。

public static void copy(File source, File target) throws IOException { FileInputStream sourceOutStream = new FileInputStream(source); FileOutputStream targetOutStream = new FileOutputStream(target); FileChannel sourceChannel = sourceOutStream.getChannel(); FileChannel targetChannel = targetOutStream.getChannel(); sourceChannel.transferTo(0, sourceChannel.size(), targetChannel); sourceChannel.close(); targetChannel.close(); sourceOutStream.close(); targetOutStream.close();}

需要注意的是,調(diào)用這兩個轉(zhuǎn)換方法之后,某些情況下并不保證數(shù)據(jù)能夠全部完成傳輸,確切傳輸了多少字節(jié)的數(shù)據(jù)需要根據(jù)返回的值來進(jìn)行判斷。例如:從一個非阻塞模式下的 SocketChannel 中輸入數(shù)據(jù)就不能夠一次性將數(shù)據(jù)全部傳輸過來,或者將文件通道的數(shù)據(jù)傳輸給一個非阻塞模式下的 SocketChannel 不能一次性傳輸過去。

下面給出一個示例,客戶端連接到服務(wù)端,然后從服務(wù)端下載一個叫 video.mp4 文件,文件在當(dāng)前目錄存在。

錯誤示例:

/** 服務(wù)端 **/ServerSocketChannel serverSocketChannel = ServerSocketChannel.open(); // 打開服務(wù)通道serverSocketChannel.bind(new InetSocketAddress(9090)); // 綁定端口號SocketChannel clientChannel = serverSocketChannel.accept(); // 等待客戶端連接,獲取 SocketChannelFileChannel fileChannel = FileChannel.open(Paths.get('video.mp4'), StandardOpenOption.READ); // 打開文件通道fileChannel.transferTo(0, fileChannel.size(), clientChannel); // 【可能出錯位置】文件通道數(shù)據(jù)輸出轉(zhuǎn)化到 socket 通道,輸出范圍為整個文件。文件太大將導(dǎo)致輸出不完整/** 客戶端 **/SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress('localhost', 9090)); // 打卡 socket 通道并連接到服務(wù)端FileChannel fileChannel = FileChannel.open(Paths.get('video-downloaded.mp4'), StandardOpenOption.TRUNCATE_EXISTING, StandardOpenOption.WRITE, StandardOpenOption.CREATE); // 打開文件通道fileChannel.transferFrom(socketChannel, 0, Long.MAX_VALUE); // 【非阻塞模式下可能出錯】fileChannel.force(false); // 確保數(shù)據(jù)刷出到磁盤

正確的姿勢是:transferTo/transferFrom 的時候應(yīng)該用一個循環(huán)檢查實際輸出內(nèi)容大小是否和期望輸出內(nèi)容大小一致,特別是通道處于非阻塞模式下,極大概率不能夠一次傳輸完成。

所以服務(wù)端正確的轉(zhuǎn)換方式是:

long transfered = 0;while (transfered < fileChannel.size()){ transfered += fileChannel.transferTo(transfered, fileChannel.size(), clientChannel);}

本例中客戶端使用的是阻塞模式,服務(wù)端通道關(guān)閉輸出(socketChannel.shutdownOutput())之后 transferFrom 才退出,服務(wù)端正常關(guān)閉通道的情況下數(shù)據(jù)傳輸不會出錯,這里就不處理非正常關(guān)閉的情況了。(完整代碼)。

6. 截取文件

FileChannel.truncate(long size) 可以截取指定的文件,指定大小之后的內(nèi)容將被丟棄。size 的值可以超過文件大小,超過的話不會截取任何內(nèi)容,也不會增加任何內(nèi)容。

FileChannel fileChannel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.WRITE);fileChannel.truncate(1);System.out.println(fileChannel.size()); // 輸出 1fileChannel.write(ByteBuffer.wrap('Hello'.getBytes()));System.out.println(fileChannel.size()); // 輸出 5fileChannel.force(true);fileChannel.close();7. 映射文件到直接內(nèi)存

文件通道 FileChannel 可以將文件的指定范圍映射到程序的地址空間中,映射部分使用字節(jié)緩沖區(qū)的一個子類 MappedByteBuffer 的對象表示,只要對映射字節(jié)緩沖區(qū)進(jìn)行操作就能夠達(dá)到操作文件的效果。與之相對應(yīng)的,前面介紹的內(nèi)容是通過操作文件通道和堆內(nèi)存中的字節(jié)緩沖區(qū) HeapByteBuffer 來達(dá)到操作文件的目的。

通過 ByteBuffer.allocate() 分配的緩沖區(qū)是一個 HeapByteBuffer,存在于 JVM 堆中;而 FileChannle.map() 將文件映射到直接內(nèi)存,返回的是一個 MappedByteBuffer,存在于堆外的直接內(nèi)存中;這塊內(nèi)存在 MappedByteBuffer 對象本身被回收之前有效。

7.1 內(nèi)存映射原理

前面使用堆緩沖區(qū) ByteBuffer 和文件通道 FileChannel 對文件的操作使用的是 read()/write() 系統(tǒng)調(diào)用。讀取數(shù)據(jù)時數(shù)據(jù)從 I/O 設(shè)備讀到內(nèi)核緩存,再從內(nèi)核緩存復(fù)制到用戶空間緩存,這里是 JVM 的堆內(nèi)存。而映射磁盤文件是使用 mmap() 系統(tǒng)調(diào)用,將文件的指定部分映射到程序地址空間中;數(shù)據(jù)交互發(fā)生在 I/O 設(shè)備于用戶空間之間,不需要經(jīng)過內(nèi)核空間。

雖然映射磁盤文件減少了一次數(shù)據(jù)復(fù)制,但對于大多數(shù)操作系統(tǒng)來說,將文件映射到內(nèi)存這個操作本身開銷較大;如果操作的文件很小,只有數(shù)十KB,映射文件所獲得的好處將不及其開銷。因此,只有在操作大文件的時候才將其映射到直接內(nèi)存。

7.2 映射緩沖區(qū)用法

文件通道 FileChanle 通過成員方法 map(MapMode mode, long position, long size) 將文件映射到應(yīng)用內(nèi)存。

FileChannel fileChannel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.READ, StandardOpenOption.WRITE); // 以讀寫的方式打開文件通道MappedByteBuffer buf = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, fileChannel.size()); // 將整個文件映射到內(nèi)存

mode 表示打開模式,為枚舉值,其值可以為 READ_ONLY, READ_WRITE, PRIVATE。+ 模式為 READ_ONLY 時,不能對 buf 進(jìn)行寫操作;+ 模式為 READ_WRITE 時,通道 fileChannel 必須具有讀寫文件的權(quán)限;對 buf 進(jìn)行的寫操作將對文件生效,但不保證立即同步到 I/O 設(shè)備;+ 模式為 PRIVATE 時,通道 fileChannle 必須對文件有讀寫權(quán)限;但是對文件的修改操作不會傳播到 I/O 設(shè)備,而是會在內(nèi)存復(fù)制一份數(shù)據(jù)。此時對文件的修改對其它線程和進(jìn)程不可見。

position 指定文件的開始映射到內(nèi)存的位置;

size 指定映射的大小,值為非負(fù) int 型整數(shù)。

調(diào)用 map() 方法之后,返回的 MappedByteBuffer 就于 fileChannel 脫離了關(guān)系,關(guān)閉 fileChannel 對 buf 沒有影響。同時,如果要確保對 buf 修改的數(shù)據(jù)能夠同步到文件 I/O 設(shè)備中,需要調(diào)用 MappedByteBuffer 中的無參數(shù)的 force() 方法,而調(diào)用 FileChannel 中的 force(metaData) 方法無效。

此時可以通過操作緩沖區(qū)來操作文件了。不過映射的內(nèi)容存在于 JVM 程序的堆外內(nèi)存中,這部分內(nèi)存是虛擬內(nèi)存,意味著 buf 中的內(nèi)容不一定都在物理內(nèi)存中,要讓這些內(nèi)容加載到物理內(nèi)存,可以調(diào)用 MappedByteBuffer 中的 load() 方法。另外,還可以調(diào)用 isLoaded() 來判斷 buf 中的內(nèi)容是否在物理內(nèi)存中。

FileChannel fileChannel = FileChannel.open(Paths.get('a.txt'), StandardOpenOption.WRITE, StandardOpenOption.READ);MappedByteBuffer buf = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, fileChannel.size());fileChannel.close(); // 關(guān)于文件通道對 buf 沒有影響System.out.println(buf.capacity()); // 輸出 fileChannel.size()System.out.println(buf.limit()); // 輸出 fileChannel.size()System.out.println(buf.position()); // 輸出 0buf.put((byte)’R’); // 寫入內(nèi)容buf.compact(); // 截掉 positoin 之前的內(nèi)容buf.force(); // 將數(shù)據(jù)刷出到 I/O 設(shè)備8. 小結(jié)

1)文件通道 FileChannel 能夠?qū)?shù)據(jù)從 I/O 設(shè)備中讀入(read)到字節(jié)緩沖區(qū)中,或者將字節(jié)緩沖區(qū)中的數(shù)據(jù)寫入(write)到 I/O 設(shè)備中。

2)文件通道能夠轉(zhuǎn)換到 (transferTo) 一個可寫通道中,也可以從一個可讀通道轉(zhuǎn)換而來(transferFrom)。這種方式使用于通道之間地數(shù)據(jù)傳輸,比使用緩沖區(qū)更加高效。

3)文件通道能夠?qū)⑽募牟糠謨?nèi)容映射(map)到 JVM 堆外內(nèi)存中,這種方式適合處理大文件,不適合處理小文件,因為映射過程本身開銷很大。

4)在對文件進(jìn)行重要的操作之后,應(yīng)該將數(shù)據(jù)刷出刷出(force)到磁盤,避免操作系統(tǒng)崩潰導(dǎo)致的數(shù)據(jù)丟失。

到此這篇關(guān)于Java NIO 文件通道 FileChannel 用法的文章就介紹到這了,更多相關(guān)Java NIO 文件通道 FileChannel內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Java
相關(guān)文章:
主站蜘蛛池模板: 手机看片日本 | 97视频在线播放 | 精品一精品国产一级毛片 | 中文字幕 日韩在线 | 久久综合久久久久 | 国产一区二区在线 |播放 | 国产欧美亚洲三区久在线观看 | 久久国产精品99久久久久久牛牛 | 精品国产一二三区 | 久久成人国产 | 欧美极品在线视频 | 久久不见久久见免费影院 | 欧美片欧美日韩国产综合片 | 一级视频在线 | 欧美一级毛片免费观看 | 亚洲高清一区二区三区久久 | 日韩欧美一级毛片精品6 | 精品久久久久久久久久久 | 一级做a爱 一区 | 久久精品久久精品国产大片 | 久久成人在线 | 成人精品一区二区不卡视频 | 国产成人一区二区三区影院免费 | 华人黄网站| 在线中文字幕日韩 | 在线a毛片免费视频观看 | 91成人免费观看网站 | 国产精品久久久久久久久久直 | 久久成年人视频 | 久久久久女人精品毛片九一 | 国产一区二区在免费观看 | 在线日本视频 | 久久精品视频2 | 亚洲精品一区国产二区 | 免费观看日本高清a毛片 | 亚洲欧美国产一区二区三区 | 欧美亚洲免费 | 色偷偷888欧美精品久久久 | 2021国产精品自在拍在线播放 | 日韩欧美一级毛片在线 | 亚洲高清在线播放 |