标签题目
大文件处理相关面试题
两个大文件如何找共同出现的单词?
这题考大文件处理的内存约束意识,回答要先确认精确性和重复语义,再给出哈希分桶或外部排序方案。
如何在大文件中找出出现频率最高的前100个内容?
大文件中找出现频率最高的前 100 个内容,本质是大数据 TopK 频次统计:先统计每个内容出现次数,再从频次结果中选 Top100。答案要根据内存是否能容纳全部去重内容,选择 HashMap 计数、小根堆、哈希切分、外部排序、分布式聚合或流式近似算法。
当文件无法一次全部加载内存时,如何对大文件内容排序?
当文件无法一次全部加载内存时,如何对大文件内容排序?这道腾讯牛客题的关键是围绕“大文件外部排序”讲清概念、机制、取舍和边界。大文件无法一次加载内存时,用外部排序:按内存上限分块读取,每块在内存中排序后写成临时有序 run,再用 k 路归并把多个有序 run 合成最终有序文件。